如果提到“大數(shù)據(jù)”,你會(huì)想到什么?也許大部分人會(huì)聯(lián)想到有多少人使用運(yùn)動(dòng)APP進(jìn)行鍛煉?女生喜歡什么樣的口紅?中國(guó)網(wǎng)民有多少人?……
可以說(shuō),過(guò)去數(shù)據(jù)被認(rèn)為是冰冷的數(shù)字,只要求提供一些事實(shí)數(shù)據(jù),而如今大數(shù)據(jù)的深度和廣度遠(yuǎn)不止這些,大數(shù)據(jù)已經(jīng)在人類(lèi)社會(huì)實(shí)踐中發(fā)揮著巨大的優(yōu)勢(shì),其利用價(jià)值也超出我們的想象。
但大數(shù)據(jù)的本質(zhì)還是數(shù)據(jù),只不過(guò)在處理量、速度要求、處理效率等方面,傳統(tǒng)工具無(wú)法滿(mǎn)足,那么就需要用大數(shù)據(jù)的一系列工具來(lái)解決。
華永道移動(dòng)數(shù)據(jù)和分析計(jì)劃首席技術(shù)官Ritesh Ramesh說(shuō):“數(shù)據(jù)學(xué)習(xí)工具是客戶(hù)進(jìn)行數(shù)據(jù)質(zhì)量和性能分析的工具包中的重要工具,可處理5000萬(wàn)行數(shù)據(jù),以發(fā)現(xiàn)洞察力”。現(xiàn)如今頂級(jí)的大數(shù)據(jù)工具包括:Cloudera、MongoDB、OpenRefine、DataCleaner、RapidMiner、Tableau等。
通過(guò)這些工具,使得大數(shù)據(jù)更能廣泛地應(yīng)用于各個(gè)場(chǎng)景,比如說(shuō):了解和優(yōu)化業(yè)務(wù)流程、微博等社交網(wǎng)絡(luò)的數(shù)據(jù)分析運(yùn)用、電子商務(wù)中的數(shù)據(jù)分析推薦、搜索引擎中的數(shù)據(jù)分析處理等等。大數(shù)據(jù)應(yīng)用為何如此廣泛?我們?cè)倏纯匆韵?個(gè)技術(shù)特征就知道原因了!
大數(shù)據(jù)的技術(shù)特征我們可以用4個(gè)“V”來(lái)表示。
首先第一個(gè)“V”(Volume)是指數(shù)據(jù)體量巨大,從TB級(jí)到PB級(jí)。對(duì)于傳統(tǒng)企業(yè)來(lái)講,不一定能達(dá)到PB級(jí)別。但面向終端用戶(hù)的一般互聯(lián)網(wǎng)行業(yè)公司是可能達(dá)到PB級(jí)別的,倘若數(shù)據(jù)體量達(dá)到十幾TB甚至幾十TB時(shí),還是需要大數(shù)據(jù)技術(shù)進(jìn)行處理。
第二個(gè)“V”(Velocity)是指速度,這里指數(shù)據(jù)的產(chǎn)生速度快,處理速度快。在實(shí)時(shí)計(jì)算、流計(jì)算的場(chǎng)景下,我們要求大數(shù)據(jù)本身對(duì)于數(shù)據(jù)的處理速度要快,因?yàn)閺膫鞲衅鳎蛘呤怯脩?hù)在前端的一些點(diǎn)擊行為,這些操作都會(huì)在短時(shí)間內(nèi)產(chǎn)生大量數(shù)據(jù)。因此就要求大數(shù)據(jù)系統(tǒng)、大數(shù)據(jù)工具對(duì)數(shù)據(jù)的處理速度要能跟上其產(chǎn)生的速度。
第三個(gè)“V”(Variety)是指數(shù)據(jù)類(lèi)型,數(shù)據(jù)類(lèi)型在大數(shù)據(jù)的場(chǎng)景下是繁多的,所處理的數(shù)據(jù)一般都是半結(jié)構(gòu)化,甚至是非結(jié)構(gòu)化的。比如日志、視頻、圖片、地理位置信息等,就要求大數(shù)據(jù)的一些處理系統(tǒng)、處理技術(shù)能夠?qū)Π虢Y(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行相應(yīng)的處理。
第四個(gè)“V”(Value)是指價(jià)值,高價(jià)值總量,低價(jià)值密度。也就是說(shuō),在大數(shù)據(jù)的場(chǎng)景下,若能對(duì)大數(shù)據(jù)進(jìn)行全量分析,那么其價(jià)值總量是巨大的。當(dāng)然大數(shù)據(jù)本身是要求對(duì)數(shù)據(jù)做全量分析,因此如果只是對(duì)其中一部分?jǐn)?shù)據(jù)做分析的話,那么其價(jià)值密度相對(duì)來(lái)講是較低的。
針對(duì)大數(shù)據(jù)以上四個(gè)特征,我們對(duì)大數(shù)據(jù)的思維有所了解后,對(duì)于是否適合建造項(xiàng)目也就有了明確的判斷。
那么,有人會(huì)問(wèn):建設(shè)大數(shù)據(jù)項(xiàng)目的必備條件是什么呢?請(qǐng)聽(tīng)下回分解。
——未完待續(xù)——