大數(shù)據(jù)時(shí)代到來
隨著信息化技術(shù)的不斷發(fā)展,數(shù)字化現(xiàn)在已經(jīng)深深的滲透進(jìn)了我們生活中的點(diǎn)點(diǎn)滴滴。生活在Web 2.0 時(shí)代的我們,已經(jīng)不僅僅是一個(gè)信息的被動(dòng)接受者,同時(shí)還是一個(gè)信息的創(chuàng)造者。全球每秒鐘發(fā)送 290萬封電子郵件;Twitter上每天發(fā)布 5 千萬條消息;每天亞馬遜上將產(chǎn)生 630萬筆訂單;每個(gè)月網(wǎng)民在Facebook 上要花費(fèi)7 千億分鐘;一個(gè)8Mbps(兆比特每秒)的攝像頭一小時(shí)能產(chǎn)生3.6GB數(shù)據(jù),一個(gè)城市若安裝幾十萬個(gè)交通和安防攝像頭,每月產(chǎn)生的數(shù)據(jù)量將達(dá)幾十PB;一個(gè)病人的CT影像數(shù)據(jù)量達(dá)幾十GB,而全國每年門診人數(shù)以數(shù)十億計(jì),并且他們的信息需要長時(shí)間保存。總之,大數(shù)據(jù)存在于各行各業(yè),一個(gè)大數(shù)據(jù)時(shí)代正在到來。
由于數(shù)據(jù)產(chǎn)生成本急速下降,人類產(chǎn)生的數(shù)據(jù)量正在呈指數(shù)級(jí)增長,而大量新數(shù)據(jù)源的出現(xiàn)則導(dǎo)致了非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)爆發(fā)式的增長,數(shù)據(jù)的結(jié)構(gòu)正在日趨復(fù)雜。全球在2010 年正式進(jìn)入ZB 時(shí)代,根據(jù)IDC監(jiān)測,全球數(shù)據(jù)量大約每兩年翻一番,預(yù)計(jì)到2020 年,全球?qū)⒖偣矒碛?0ZB 的數(shù)據(jù)量,相較于2009 年,數(shù)據(jù)量將增長近50倍。我們正處于大數(shù)據(jù)時(shí)代的邊緣。
CIO們遇到的挑戰(zhàn)
新生代客戶群的需求推動(dòng)企業(yè)業(yè)務(wù)面臨轉(zhuǎn)型挑戰(zhàn),驅(qū)動(dòng)企業(yè)IT基礎(chǔ)設(shè)施變革適應(yīng)大數(shù)據(jù)時(shí)代要求。影響企業(yè)命脈的,永遠(yuǎn)都是客戶需求。新生代客戶手持Post-PC,除了工資以外使用各種投資方式積累財(cái)富,每天關(guān)注微博,在社交網(wǎng)站中維系人際關(guān)系,青睞網(wǎng)購,要求享受自由的、共享的、娛樂的、完美的信息生活。這個(gè)過程將產(chǎn)生大量數(shù)據(jù),這些ZB級(jí)的數(shù)據(jù)管理和數(shù)據(jù)分析,將不是傳統(tǒng)的IT服務(wù)器、磁帶、縱向擴(kuò)展設(shè)備能夠承載的。
世界經(jīng)濟(jì)形勢趨緊,高額的IT預(yù)算,究竟應(yīng)該在哪里投入?據(jù)調(diào)查,企業(yè)目前73%的預(yù)算都用在基本業(yè)務(wù)運(yùn)轉(zhuǎn)上,剩下的27%才對(duì)商業(yè)運(yùn)營有支撐作用。CIO的難處在于IT設(shè)施不斷的膨脹,僅僅是因?yàn)闃I(yè)務(wù)的數(shù)量漲了,但是沒有給企業(yè)經(jīng)營帶來真正的增值。值得注意的,未來一到兩年,70%的客戶都將部署私有云,當(dāng)大數(shù)據(jù)遇到云,會(huì)同時(shí)對(duì)私有云架構(gòu)提出要求和挑戰(zhàn)。同時(shí)公有云會(huì)繼續(xù)擴(kuò)張和蔓延,催生新型企業(yè)和新型業(yè)務(wù)。另外值得探討的是,為了應(yīng)對(duì)“大數(shù)據(jù)”浪潮,很多企業(yè)在具備一定結(jié)構(gòu)化處理能力的基礎(chǔ)上,將85%以上非結(jié)構(gòu)化數(shù)據(jù)依托給了Hadoop,隨著對(duì)Hadoop的深入探索,有投資人給出這樣的感受——使用Hadoop構(gòu)建分析性查詢,會(huì)變成類似用錘子來建造房屋的活動(dòng),不是不可能,但是會(huì)帶來不必要的痛苦和可笑的低效成本。主要的痛點(diǎn)在于:
- Hadoop適合處理流水線任務(wù),但是對(duì)于特定的數(shù)據(jù)模式分析任務(wù)性能極低;
- Hadoop的前期投入低廉,但是后期開發(fā)成本和維護(hù)成本非常昂貴;
- Hadoop導(dǎo)致企業(yè)信息孤島;
- Hadoop的數(shù)據(jù)容易產(chǎn)生單點(diǎn)故障。
華為大數(shù)據(jù)解決之道:應(yīng)需而變,融易致遠(yuǎn)
大數(shù)據(jù)時(shí)代,華為推出了“三位一體”的大數(shù)據(jù)解決方案:N9000存儲(chǔ)系統(tǒng)。N9000以“應(yīng)需而變,融易致遠(yuǎn)”的理念幫助客戶從容應(yīng)對(duì)大數(shù)據(jù)的挑戰(zhàn)。
圖1:“三位一體”示意圖
N9000是在一個(gè)系統(tǒng)內(nèi)融合數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)分析和數(shù)據(jù)歸檔,三種功能集于一體。具有以下特點(diǎn):它能解決信息孤島,用統(tǒng)一的并行任務(wù)調(diào)度框架支撐結(jié)構(gòu)化、非結(jié)構(gòu)化海量數(shù)據(jù)清洗、數(shù)據(jù)分析;通過對(duì)海量數(shù)據(jù)的生命周期管理,支持歷史數(shù)據(jù)的歸檔、壓縮、下電策略;基于海量非結(jié)構(gòu)化數(shù)據(jù)的內(nèi)容感知(元數(shù)據(jù)管理),建立海量非結(jié)構(gòu)化數(shù)據(jù)的搜索引擎,加速熱點(diǎn)數(shù)據(jù)的快速訪問;并且其彈性空間能夠支持初始低配置,隨著客戶業(yè)務(wù)的發(fā)展,容量和性能可以隨需擴(kuò)展,并實(shí)現(xiàn)性能線性增長,保護(hù)客戶初始投資,降低TCO。
華為以業(yè)界領(lǐng)先的性能、大規(guī)模橫向擴(kuò)展能力和超大單一文件系統(tǒng)為用戶提供結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)共享資源池、基于數(shù)據(jù)全生命周期管理的存儲(chǔ)與歸檔解決方案,充分切合廣電媒體、高性能計(jì)算、地質(zhì)能源、數(shù)據(jù)中心存儲(chǔ)、互聯(lián)網(wǎng)運(yùn)營等多種大數(shù)據(jù)業(yè)務(wù)應(yīng)用的需求,幫助客戶輕松應(yīng)對(duì)大數(shù)據(jù)挑戰(zhàn)。