“在本次Hadoop大數(shù)據(jù)項目中,華為向農行提供了良好的計算平臺,除了RH2288 V2服務器具有比較高的性價比之外,華為還能夠提供快速響應客戶需求的研發(fā)能力、以及業(yè)界最快捷的售后服務,解除了農行的后顧之憂,是農行值得信賴的IT供應商。”
客戶簡介
中國農業(yè)銀行(Agricultural Bank of China),簡稱農行,成立于1951年,是中國四大商業(yè)銀行之一。中國農業(yè)銀行在中國境內擁有2.34萬家分支機構,服務逾4.2億客戶。2012年,在美國《財富》雜志全球500強排名中,中國農業(yè)銀行位列第84位。
業(yè)務挑戰(zhàn)
商業(yè)銀行的信息化建設涉及多個方面,從面向客戶服務的網(wǎng)上銀行、電話銀行、移動支付、呼叫中心,到面向企業(yè)經(jīng)營與管理的電子票據(jù)、電子報表、業(yè)務影像、自動化辦公等,信息化已經(jīng)滲透到銀行業(yè)務與管理的方方面面,并成為商業(yè)銀行核心競爭力的一項重要內容。
隨著信息化的快速發(fā)展,商業(yè)銀行產生的各類電子數(shù)據(jù)近年來呈幾何級數(shù)增長,形成了海量的數(shù)據(jù)。據(jù)不完全統(tǒng)計,目前中國農業(yè)銀行各應用系統(tǒng)每年產生的結構化數(shù)據(jù)已經(jīng)突破100TB,而非結構化數(shù)據(jù)更是突破1PB(1024TB)大關。
在信息化時代,數(shù)據(jù)深刻影響著銀行的未來發(fā)展,誰擁有數(shù)據(jù)誰就獲得了話語權。數(shù)據(jù)的價值來源于對海量的客戶交易數(shù)據(jù)、客戶行為數(shù)據(jù)等的深層挖掘和分析,以便做到精準定位和營銷,進而根據(jù)不同的客戶和市場需求設計不同的金融產品,提升銀行的盈利能力。這種基于大數(shù)據(jù)的金融業(yè)務創(chuàng)新,目前已經(jīng)成為各商業(yè)銀行的競爭焦點之一。
對大數(shù)據(jù)進行挖掘與分析,一是要能夠廉價處理海量的數(shù)據(jù),例如一次性可處理100GB甚至更高的數(shù)據(jù)量;二是要能夠敏捷處理非結構化的海量數(shù)據(jù),例如可以從海量的客戶電話投訴記錄中挖掘出有價值的營銷機會點。
近年來,隨著Hadoop大數(shù)據(jù)方案在互聯(lián)網(wǎng)行業(yè)廣泛應用并持續(xù)創(chuàng)造價值,中國農業(yè)銀行開始關注并研究大數(shù)據(jù)方案在金融領域的應用。2012年7月,農行正式引入業(yè)內廣受關注的Hadoop大數(shù)據(jù)方案,并對相關的軟硬件技術及其在銀行內的應用可行性進行了充分的研究,明確了大數(shù)據(jù)方案在農行的應用場景。
“在互聯(lián)網(wǎng)時代,我們必須要轉變經(jīng)營方式,用互聯(lián)網(wǎng)的思維來做金融,為客戶提供創(chuàng)新的、量身定制的、體驗良好的金融服務,這樣才能持續(xù)保持商業(yè)銀行的競爭力”,農行的專家這樣認為。
農行的大數(shù)據(jù)方案首先被應用于支撐對歷史交易數(shù)據(jù)進行查詢與分析,其采用業(yè)界流行的Hadoop分布式計算框架,具備處理海量結構化和非結構化數(shù)據(jù)的能力。Hadoop框架的一個顯著特點是,將以往需要高性能小型機才能完成的計算任務,分解為由多臺x86服務器(甚至PC機)組成的計算集群來完成。在計算平臺的選擇上,農行的IT技術團隊在經(jīng)過認真的評估與論證后認為,由x86服務器組成的計算集群,在計算性能上可以滿足Hadoop大數(shù)據(jù)方案的要求,但在經(jīng)濟性方面比小型機更具有優(yōu)勢。
為了驗證這種可行性,2012年下半年,農行的IT技術團隊與華為的服務器研發(fā)團隊成立了聯(lián)合工作組。根據(jù)雙方達成的合作協(xié)議,華為將提供x86服務器組成計算集群,由農行在華為的計算平臺上運行Hadoop的相關軟件,并進行相關的業(yè)務測試。農行與華為均希望通過試點“x86服務器”的分布式并行計算架構,來共同應對金融大數(shù)據(jù)業(yè)務帶來的挑戰(zhàn)。
首先,農行希望x86服務器在計算性能上應具備“秒級響應”的能力。目前,農行在中國境內的分支機構超過2.34萬,服務的客戶超過4.2億,各營業(yè)網(wǎng)點、自助終端設備、網(wǎng)上銀行等對數(shù)據(jù)中心的訪問屬于高并發(fā)訪問。對于歷史交易數(shù)據(jù)的查詢與分析業(yè)務,為確保客戶的滿意度與銀行的工作效率,農行要求大數(shù)據(jù)處理平臺對交易明細數(shù)據(jù)的隨機查詢要在“秒級”完成響應。
“這就意味著,在1秒鐘之內,大數(shù)據(jù)處理平臺要從120TB的5年歷史交易數(shù)據(jù)中,也就是大約650億條的歷史交易記錄中,將查詢結果反饋給用戶”,農行的專家這樣跟華為說。
其次,農行希望x86服務器具備良好的經(jīng)濟性。在應用x86服務器之前,農行多采用小型機來承載歷史交易數(shù)據(jù)的查詢與分析業(yè)務。為滿足業(yè)務要求,小型機首先需要存放至少5年120TB的歷史數(shù)據(jù),同時每天新增的交易記錄在4000萬條以上,需要約100G的存儲空間。但小型機相對封閉的硬件架構設計,使得其可擴展性受到很大的限制,導致每次擴容的成本都很高昂。此外,小型機非通用的架構設計,也給農行帶來了不菲的維保費用。
“我們之所以選擇x86服務器,一方面,是因為近年來x86服務器的技術性能得到了大幅提升;另一方面,采用通用架構的x86服務器,其在采購成本、擴容成本及維護成本方面,相對于小型機的優(yōu)勢也是很明顯的”,農行的專家說。
談到未來的發(fā)展趨勢,農行的專家表示,開放化、標準化一直是全球IT產業(yè)發(fā)展的規(guī)律之一,因為它可以帶來更高的性價比、更出色的擴展性、更優(yōu)秀的兼容性和更大的投資回報率。在談到與華為的合作時,該專家表示,他期待農行與華為合作成功,也希望華為的x86服務器能夠為金融業(yè)的信息化建設注入新的活力。
解決方案
基于農行與華為聯(lián)合工作組的良好運作,華為在深入分析了農行對大數(shù)據(jù)處理平臺的需求后,向農行提供了基于華為RH2288 V2服務器的分布式并行計算集群進行測試。農行的測試結果表明,華為解決方案完全滿足農行對海量數(shù)據(jù)進行分布式處理的要求。
華為RH2288 V2服務器基于業(yè)界通用的x86架構設計,相比農行現(xiàn)有的小型機系統(tǒng),其CPU、硬盤、內存等配件可以很容易從市場上獲取,因而具備良好的可擴展性和經(jīng)濟性。農行評估后認為,相比小型機方案,采用華為RH2288 V2可以節(jié)約40%的運維成本,節(jié)約總體擁有成本(TCO)20%以上。
同時,分布式的計算集群架構使得服務器節(jié)點可以按需配置,系統(tǒng)具備從TB級到PB級的數(shù)據(jù)處理能力,完全滿足農行當前與未來業(yè)務的發(fā)展需要,充分保護農行的初期和遠期投資。
最令農行感到滿意的是,華為RH2288 V2服務器支持現(xiàn)場調整與優(yōu)化,農行可以按照業(yè)務需求對服務器的配置進行現(xiàn)場調優(yōu),從而使服務器的計算性能在Hadoop大數(shù)據(jù)環(huán)境下發(fā)揮到最優(yōu)。在測試中,農行85GB的原始數(shù)據(jù)加載(3份冗余)或者5000萬定期賬戶批量處理,華為RH2288 V2服務器計算集群能在10分鐘內完成。而對于2億條交易詳單、600并發(fā)隨機查詢的平均響應時間,華為解決方案的測試結果低于40ms,遠遠超出農行的預期。
基于華為RH2288 V2服務器在測試過程中的優(yōu)秀表現(xiàn),及其開放架構帶來的良好經(jīng)濟性,2013年4月,中國農業(yè)銀行宣布,在其正式生產環(huán)境的Hadoop大數(shù)據(jù)處理平臺中,將采用200臺華為RH2288 V2服務器進行部署。
客戶收益
目前,采用開放架構的x86服務器建設銀行的IT系統(tǒng)(尤其是開放平臺系統(tǒng)),已經(jīng)成為金融行業(yè)信息化的發(fā)展趨勢之一。
“在本次Hadoop大數(shù)據(jù)項目中,華為向農行提供了良好的計算平臺,除了RH2288 V2服務器具有比較高的性價比之外,華為還能夠提供快速響應客戶需求的研發(fā)能力、以及業(yè)界最快捷的售后服務,解除了農行的后顧之憂,是農行值得信賴的IT供應商”,農行的一位專家這樣評價道。