IBM Power靜態(tài)大數(shù)據(jù)解決方案基于IBM天合應(yīng)用服務(wù)器(PowerLinux)和GPFS-FPO或HDFS并行文件系統(tǒng),再上面是Platform Symphony管理軟件、InfoSphere BigInsight分析工具或開源Hadoop,形成軟硬一體化的解決方案。“Symphony是同類中最佳的MapReduce執(zhí)行方案,對計(jì)算密集型大數(shù)據(jù)應(yīng)用優(yōu)勢明顯;BigInsight在Hadoop框架上增加了IBM獨(dú)特的技術(shù)優(yōu)勢,如安全管理和工作流等,并融入了IBM獨(dú)特的數(shù)據(jù)分析、機(jī)器學(xué)習(xí)和文本數(shù)據(jù)分析挖掘等技術(shù)。”
IBM系統(tǒng)與科技部大中華區(qū)Power Systems產(chǎn)品總監(jiān)李紅女士介紹大數(shù)據(jù)方案
李紅女士特別提到了GPFS-FPO并行文件系統(tǒng),它支持1000個(gè)節(jié)點(diǎn),支持遠(yuǎn)程復(fù)制、支持大規(guī)模的水平擴(kuò)展,支持Symphony和BigInsight,并且經(jīng)過多家數(shù)據(jù)庫廠商認(rèn)證。對于需要先行排序的Sort操作,提供2~3倍Hadoop性能,對于文件檢索等查找工作,提供17倍開源Hadoop的效率,是一個(gè)更加適合大規(guī)模應(yīng)用的并行文件系統(tǒng)。
大數(shù)據(jù)應(yīng)用并不僅僅是靜態(tài)的,還包括GPS、醫(yī)療檢測分析、天氣預(yù)報(bào)、金融交易等實(shí)時(shí)數(shù)據(jù)分析,為此,IBM提供了Power流數(shù)據(jù)解決方案,同樣基于天合應(yīng)用服務(wù)器和GPFS-FPO并行文件系統(tǒng)。“實(shí)時(shí)大數(shù)據(jù)處理對內(nèi)存要求高, Power對大內(nèi)存的支持非常符合;實(shí)時(shí)性大數(shù)據(jù)應(yīng)用中有大量數(shù)據(jù)在流動(dòng),對網(wǎng)絡(luò)帶寬要求高,這方面Power也有天然優(yōu)勢”,李紅女士表示。
數(shù)據(jù)倉庫是最傳統(tǒng)的數(shù)據(jù)應(yīng)用類型,是文本型關(guān)系型數(shù)據(jù)庫分析,比如經(jīng)營分析系統(tǒng)。在數(shù)據(jù)倉庫方面IBM也有著完善的解決方案。李紅女士介紹說,IBM Power系統(tǒng)采用集中式架構(gòu),具有強(qiáng)大的向上擴(kuò)展能力,為OLTP和OLAP應(yīng)用提供了性能保障;Power平臺(tái)的RAS特性更加適合數(shù)據(jù)庫所要求的苛刻可靠性;DB2 PureScale能夠?qū)崿F(xiàn)對Power集中式架構(gòu)的進(jìn)一步增強(qiáng),性能及可靠性大幅提高。
在數(shù)據(jù)集市方面,李紅女士介紹了IBM獨(dú)有的DB2 BLU加速器技術(shù)。BLU加速器采用內(nèi)存列式計(jì)算方式,能夠動(dòng)態(tài)移動(dòng)無用數(shù)據(jù),這就降低了硬件平臺(tái)的內(nèi)存要求;無需解壓就能使用壓縮數(shù)據(jù),更加快速高效。“DB2 BLU+Power的組合,報(bào)告和分析能夠快8~25倍,在一些十余年測試中可能高達(dá)1000倍;客戶測試結(jié)果達(dá)到10倍存儲(chǔ)空間節(jié)省。”
李紅女士認(rèn)為,IBM Power平臺(tái)大數(shù)據(jù)解決方案的優(yōu)勢還表現(xiàn)在技術(shù)的傳承和完整性方面:“Power傳承了以前的數(shù)據(jù)倉庫、數(shù)據(jù)挖掘、數(shù)據(jù)集市、業(yè)務(wù)數(shù)據(jù)庫的優(yōu)勢,和以前的系統(tǒng)鏈接可以做平滑無縫的鏈接,還可以拓展新的需求,如開源的、非結(jié)構(gòu)化數(shù)據(jù)、流數(shù)據(jù)分析等,都可以集成到新的方案里。IBM提供的不光是一個(gè)硬件,是一整套的解決方案。”
IBM大中華區(qū)副總裁及系統(tǒng)與科技部Power Systems總經(jīng)理侯淼先生認(rèn)為,IBM Power平臺(tái)的另一大優(yōu)勢是長期的投入和對客戶的承諾,今年,IBM聯(lián)合谷歌、NV等廠商成立了OpenPower聯(lián)盟,并宣布投入10億美金投入Linux和Power平臺(tái)的開源創(chuàng)新,推出基于PowerLinux的天合應(yīng)用服務(wù)器,并在北京成立Power Systems Linux中心,這些投入為IBM Power大數(shù)據(jù)解決方案提供了有力支撐。
IBM大數(shù)據(jù)方案電信行業(yè)顯身手
電信運(yùn)營商每天要處理大量的數(shù)據(jù),有著天然的大數(shù)據(jù)“金礦”,故而電信成為中國最早涉足大數(shù)據(jù)分析應(yīng)用的行業(yè)之一,北京電信正是一個(gè)典型的例子。據(jù)介紹,北京電信有著豐富的“數(shù)據(jù)資產(chǎn)”,通過判定用戶的使用習(xí)慣實(shí)現(xiàn)精準(zhǔn)的定向營銷、制定符合用戶習(xí)慣的資費(fèi)政策,或者通過用戶興趣愛好提供有針對性的網(wǎng)絡(luò)便利性服務(wù),成為北京電信新的利潤增長點(diǎn)。
北京電信選擇了基于IBM PowerLinux天合應(yīng)用服務(wù)器的大數(shù)據(jù)解決方案建立了大數(shù)據(jù)分析平臺(tái),實(shí)現(xiàn)了獨(dú)立的DPI流量即席查詢功能,并開展了有針對性的內(nèi)容與應(yīng)用推薦營銷。負(fù)責(zé)北京電信大數(shù)據(jù)平臺(tái)搭建工作的北京信合運(yùn)通科技有限公司華北大區(qū)技術(shù)總監(jiān)徐振介紹說,相比9臺(tái)x86服務(wù)器,4臺(tái)PowerLinux服務(wù)器在測試中每核加載速度是x86內(nèi)核的11.18倍,每核處理能力是x86內(nèi)核的9.63倍。Symphony提供了可視化界面,簡化了人員的操作。
IBM大數(shù)據(jù)方案的表現(xiàn)獲得了徐振的認(rèn)可,他表示,PowerLinux是性能與成本平衡的硬件平臺(tái),GPFS-FPO并行文件系統(tǒng)要更加成熟可靠,Symphony更加適合計(jì)算密集型應(yīng)用。
PowerLinux天合應(yīng)用服務(wù)器是IBM Power家族中一條獨(dú)特的產(chǎn)品線,將PowerLinux服務(wù)器、Linux操作系統(tǒng)、VAD(增值分銷商)合作伙伴的軟件打包在一起,形成以應(yīng)用為導(dǎo)向的解決方案。據(jù)侯淼先生介紹,天合應(yīng)用服務(wù)器獲得了中國市場的肯定,獲得了高速增長,今年第三季度的銷售額達(dá)到上半年的一倍。