有研究表明:人類70%的活動(dòng)都是有規(guī)律可循的。大數(shù)據(jù),可以讓我們看到這種規(guī)律并預(yù)知未來,例如通過整理近期的氣象情況和衛(wèi)星云圖,我們能夠判斷未來幾天的天氣狀況。去年,央視兩次攜手百度分別打造“據(jù)說春運(yùn)”與“據(jù)說春節(jié)”特別節(jié)目——“據(jù)說春運(yùn)”攜手百度地圖,用大數(shù)據(jù)展現(xiàn)春節(jié)前后人口大遷徙的軌跡與特征;“據(jù)說春節(jié)”運(yùn)用百度大數(shù)據(jù)來述說回娘家、恐婚族等春節(jié)長(zhǎng)假期間的熱門話題?梢姡ㄟ^解讀數(shù)據(jù)可以發(fā)現(xiàn)有趣的現(xiàn)象、挖掘以往被忽視的規(guī)律,還可以對(duì)人類的行為進(jìn)行預(yù)測(cè)。
事實(shí)上,數(shù)據(jù)分析的案例自古有之,在前幾年也有很多數(shù)據(jù)挖掘技術(shù)和應(yīng)用的出現(xiàn)。但這些數(shù)據(jù)挖掘技術(shù)對(duì)數(shù)據(jù)的使用,都是先抽樣、萃取人們或系統(tǒng)認(rèn)為有價(jià)值的數(shù)據(jù),再分析、挖掘,而并不是使用全部數(shù)據(jù)。原因很簡(jiǎn)單——信息的收集、存儲(chǔ)和信息分析的系統(tǒng)構(gòu)建、維護(hù)成本過于巨大,所以人們總是習(xí)慣在信息收集的過程中,把有關(guān)聯(lián)的少部分精確數(shù)據(jù)留下。
以人們的日常購買行為為例,傳統(tǒng)超市會(huì)通過對(duì)“時(shí)間、產(chǎn)品銷售量/銷售額”這幾個(gè)指標(biāo)的分析,判斷近期哪些貨品是熱銷產(chǎn)品,在短期更受用戶的歡迎,進(jìn)而對(duì)熱銷貨品提供充足的貨源保障,把熱銷貨品放在超市最容易接觸的位置,提供某些促銷優(yōu)惠等等。
再看另一個(gè)來自美國的零售商塔吉特的案例,它使用大數(shù)據(jù)進(jìn)行“懷孕趨勢(shì)分析”。通過對(duì)大量消費(fèi)記錄的分析,塔吉特公司注意到,準(zhǔn)媽媽很可能在懷孕第三個(gè)月的時(shí)候購買某種乳液,并陸續(xù)購買營養(yǎng)品(如鈣、鎂、鋅等)。塔吉特公司找到了幾十種關(guān)聯(lián)物,通過這些關(guān)聯(lián)關(guān)系,預(yù)判客戶是否懷孕以及預(yù)產(chǎn)期的大概日期。在客戶懷孕的不同階段,該公司會(huì)向客戶推銷相應(yīng)的產(chǎn)品或優(yōu)惠券。
前兩個(gè)案例,分別是典型的“小數(shù)據(jù)”分析和“大數(shù)據(jù)”分析。大數(shù)據(jù)不僅是數(shù)據(jù)量大,同時(shí)數(shù)據(jù)種類多;不是數(shù)據(jù)的抽樣,而是數(shù)據(jù)的全集;不是與目標(biāo)有因果關(guān)系的數(shù)據(jù),而是所有有關(guān)聯(lián)的數(shù)據(jù)。與傳統(tǒng)的數(shù)據(jù)分析相比,大數(shù)據(jù)可以被用來開發(fā)新產(chǎn)品和新型服務(wù),其價(jià)值越來越受到關(guān)注。
為什么在幾年前,沒有人收集和利用全部的數(shù)據(jù),再進(jìn)行大數(shù)據(jù)分析呢?除了成本上的考慮,還存在另一個(gè)問題:傳統(tǒng)上,人們是基于單一“業(yè)務(wù)”去構(gòu)建系統(tǒng),而不是基于“數(shù)據(jù)”去構(gòu)建系統(tǒng)。例如,某超市要建設(shè)一個(gè)CRM系統(tǒng),IT部門會(huì)基于“客戶管理”這個(gè)業(yè)務(wù)采購軟硬件,所有建設(shè)都圍繞“客戶管理”,很少考慮開放、兼容等特性;如果想再上一套“行為分析”系統(tǒng),則圍繞“行為分析”這個(gè)業(yè)務(wù)去采購軟、硬件。當(dāng)需要把兩個(gè)系統(tǒng)的數(shù)據(jù)進(jìn)行統(tǒng)一分析時(shí),由于兩套系統(tǒng)不兼容,需要中間件來轉(zhuǎn)接、編譯,因此兩套系統(tǒng)各自要進(jìn)行二次開發(fā)以實(shí)現(xiàn)兼容,使得操作難度變高,造成有價(jià)值的“數(shù)據(jù)”被困在了“系統(tǒng)”這個(gè)孤島里。因此在規(guī)劃初期,就應(yīng)充分考慮到數(shù)據(jù)的流動(dòng)性、系統(tǒng)的兼容性,考慮到數(shù)據(jù)將會(huì)被各種系統(tǒng)多次使用的情況。
也許有人會(huì)說:這樣的系統(tǒng)規(guī)劃會(huì)非常復(fù)雜,構(gòu)建成本太高,很難把系統(tǒng)的模型和方案想清楚。我們?cè)賮砜纯椿ヂ?lián)網(wǎng)公司。大型互聯(lián)網(wǎng)公司這幾年在構(gòu)建IT系統(tǒng)時(shí),都會(huì)采用標(biāo)準(zhǔn)架構(gòu):如X86服務(wù)器、標(biāo)準(zhǔn)化的網(wǎng)絡(luò)協(xié)議、開源的數(shù)據(jù)庫、分布式存儲(chǔ)等等。因?yàn)橹挥羞@樣,才能夠通過統(tǒng)一的硬件和軟件平臺(tái)來承載各種各樣的業(yè)務(wù)。比如微信、QQ、游戲、視頻等業(yè)務(wù)都是承載在同一個(gè)平臺(tái)上,所有數(shù)據(jù)的流動(dòng)在基礎(chǔ)設(shè)施這個(gè)維度里都是自由的。所以我們看到如騰訊、阿里巴巴等互聯(lián)網(wǎng)公司上線新業(yè)務(wù)的速度非常快,而且能夠根據(jù)用戶各種網(wǎng)絡(luò)行為,判斷互聯(lián)網(wǎng)用戶感興趣的“熱點(diǎn)”,在某項(xiàng)業(yè)務(wù)上再疊加新服務(wù)。這就是大數(shù)據(jù)的典型應(yīng)用。
在構(gòu)建了標(biāo)準(zhǔn)的硬件、軟件基礎(chǔ)設(shè)施之后,業(yè)務(wù)可以被逐步規(guī)劃,分階段上線,但是所有的業(yè)務(wù)架構(gòu)、程序接口,都應(yīng)按照標(biāo)準(zhǔn)基礎(chǔ)設(shè)施的統(tǒng)一要求進(jìn)行設(shè)計(jì)開發(fā)。大數(shù)據(jù)本身是“業(yè)務(wù)”,需要建設(shè)者用更多的時(shí)間去摸索業(yè)務(wù)模型,在實(shí)踐中完善新技術(shù),把現(xiàn)有的封閉的系統(tǒng)逐步改良為開放的標(biāo)準(zhǔn)化架構(gòu)。
從IT的發(fā)展趨勢(shì)看,大數(shù)據(jù)時(shí)代是在云計(jì)算建設(shè)成熟之后到來的,大多數(shù)互聯(lián)網(wǎng)公司的建設(shè)歷程也遵循了這種規(guī)律。云計(jì)算將帶來標(biāo)準(zhǔn)、統(tǒng)一的IT架構(gòu),消除割裂和信息孤島,并且簡(jiǎn)化大規(guī)模IT部署和運(yùn)維的復(fù)雜程度,而這些都是大數(shù)據(jù)分析系統(tǒng)建設(shè)的前提。
杭州華三通信技術(shù)有限公司(以下簡(jiǎn)稱華三通信)的云計(jì)算方案,就是要實(shí)現(xiàn)IT基礎(chǔ)設(shè)施的標(biāo)準(zhǔn)化、智能化,為大數(shù)據(jù)分析提供更加智能靈活的基礎(chǔ)設(shè)施平臺(tái)。例如統(tǒng)一的云管理平臺(tái)CSM,將所有IT資源拉通管理,并且把溝通過程流程化;X86服務(wù)器+虛擬化軟件CAS,屏蔽底層硬件服務(wù)器間的差異,使虛擬機(jī)應(yīng)用可以在不同的物理服務(wù)器間飄移;SDN網(wǎng)絡(luò)虛擬化技術(shù),使網(wǎng)絡(luò)真正成為資源池,由上層應(yīng)用調(diào)用;VSAN分布式存儲(chǔ),屏蔽了底層硬件存儲(chǔ)間的壁壘,存儲(chǔ)數(shù)據(jù)可以分布在不同的物理服務(wù)器的硬盤上。
身處大數(shù)據(jù)時(shí)代的前夕,伴隨著云計(jì)算建設(shè)的浪潮,我們已經(jīng)清晰地看到云計(jì)算和大數(shù)據(jù)的價(jià)值,也在期待它們?yōu)槲覀儙砀嗟母淖,更多的驚喜。
關(guān)于華三
杭州華三通信技術(shù)有限公司,致力于IT基礎(chǔ)架構(gòu)產(chǎn)品及方案的研究、開發(fā)、生產(chǎn)、銷售及服務(wù),擁有完備的路由器、以太網(wǎng)交換機(jī)、無線、網(wǎng)絡(luò)安全、服務(wù)器、存儲(chǔ)、IT管理系統(tǒng)、云管理平臺(tái)等產(chǎn)品。