金融行業(yè)目前面臨許多挑戰(zhàn):新興市場指數(shù)級增長、經(jīng)營利潤不斷縮減、制度框架日益嚴格,以及不斷有新公司進入市場。金融行業(yè)生成并使用大量數(shù)據(jù)。規(guī)章制度的變化迫使金融公司需要保存更多歷史數(shù)據(jù),此外,業(yè)務(wù)分析與數(shù)據(jù)挖掘?qū)е聰?shù)據(jù)量不斷增長。業(yè)務(wù)用戶希望能夠使用前所未有的來源眾多的大規(guī)模數(shù)據(jù)集,他們希望實時接入這些信息。在IT預(yù)算緊縮的情況下,金融公司很難滿足為業(yè)務(wù)用戶高速交付大量數(shù)據(jù)集的需求。
金融行業(yè)數(shù)據(jù)發(fā)展存在如下特點。
- 數(shù)據(jù)重要性提高:部分應(yīng)用系統(tǒng)平臺下移;統(tǒng)計、報表、分析數(shù)據(jù)多在網(wǎng)絡(luò)上實現(xiàn);經(jīng)營對計算機數(shù)據(jù)的依賴增加;
- 網(wǎng)絡(luò)數(shù)據(jù)大大增加:實現(xiàn)分布式數(shù)據(jù);跨平臺數(shù)據(jù)共享;衍生數(shù)據(jù)大大增加;硬件價格下降;
- 時間窗口日趨瓶頸:新業(yè)務(wù)不斷出現(xiàn);作用時間增加,用于數(shù)據(jù)管理的時間減少;自動后臺作業(yè)的需求增加;
- 網(wǎng)絡(luò)數(shù)據(jù)管理繁瑣:多平臺混雜,物理位置分散,多種備份策略并存,存儲設(shè)備多樣。
為了在安全穩(wěn)定的運營中提高創(chuàng)造力和響應(yīng)速度,實現(xiàn)價值增值,金融企業(yè)對數(shù)據(jù)存儲系統(tǒng)提出了更高的要求。
- 快速擴展容量和性能來滿足不斷增長的存儲需求;
- 允許多用戶并發(fā)高速訪問信息;
- 多數(shù)據(jù)源的共享整合;
- 存儲數(shù)據(jù)的高可靠、高可用;
- 系統(tǒng)安全穩(wěn)定運行;
- 多種策略并存,便于針對不同應(yīng)用系統(tǒng)靈活設(shè)置;
- 自動精簡配置,降低初期成本;
- 經(jīng)濟高效的管理。
為滿足金融企業(yè)發(fā)展需求,中興通訊提出針對金融行業(yè)的云存儲解決方案(見圖1)。系統(tǒng)采用去中心化設(shè)計,不需要配置單獨的元數(shù)據(jù)服務(wù)器,不會出現(xiàn)元數(shù)據(jù)瓶頸;支持在線橫向擴容,避免了傳統(tǒng)擴容方式帶來的風(fēng)險和損失;采用完全的分布式架構(gòu),采用存儲服務(wù)器集群全冗余技術(shù),無單點故障;另外,系統(tǒng)可將數(shù)據(jù)在多個分布的存儲節(jié)點或數(shù)據(jù)中心備份,使應(yīng)用可以在多個節(jié)點或站點之上進行條帶化的并發(fā)讀寫,以獲取最高的IO性能。
中興通訊云存儲底層硬件資源采用通用X86存儲服務(wù)器,提供分布式塊存儲、分布式文件存儲和分布式對象存儲服務(wù),分別以iSCSI塊接口,NFS、CIFS、POSIX、FTP和HDFS文件接口,Http/REST、S3和SWIFT對象接口對外部應(yīng)用提供服務(wù)。
- 塊存儲:虛機存儲、數(shù)據(jù)庫存儲、iSCSI直存等海量高性能塊存儲應(yīng)用;
- 文件存儲:視頻、音頻、圖片、日志、話單等海量非結(jié)構(gòu)化文件存儲場景;
- 對象存儲:云盤等互聯(lián)網(wǎng)類應(yīng)用、云存儲空間租賃、托管等公有云應(yīng)用。
中興通訊金融云存儲解決方案保證金融企業(yè)數(shù)據(jù)高效、可靠存儲,實現(xiàn)在線動態(tài)擴容,支持大并發(fā)讀寫,綠色節(jié)能。
- 高效、可靠存儲
系統(tǒng)采用完全的分布式架構(gòu),元數(shù)據(jù)支持3臺以上分布式集群,全系統(tǒng)無單點故障,任意設(shè)備宕機不影響業(yè)務(wù),即使是災(zāi)難性機房掉電,系統(tǒng)也可在幾十分鐘內(nèi)恢復(fù)。
支持多副本、EC糾刪編碼的跨節(jié)點冗余備份策略,允許多臺服務(wù)器和多塊硬盤同時故障,數(shù)據(jù)不丟失、服務(wù)不中斷。
通過使用重刪策略、壓縮策略,進一步提升存儲利用率。
- 橫向伸縮,在線動態(tài)擴容
云存儲作為后端的數(shù)據(jù)集中存儲平臺,必須具備動態(tài)伸縮的能力,這樣才能滿足前端應(yīng)用系統(tǒng)不斷擴展、存儲收縮的需求。這種動態(tài)擴展能力必須體現(xiàn)在性能和存儲空間上的動態(tài)擴展兩方面,并且動態(tài)擴展不會影響到前端應(yīng)用系統(tǒng)的正常運行,也不會增加整個存儲云在管理、監(jiān)控和使用上的復(fù)雜性。
中興通訊云存儲系統(tǒng)支持在線動態(tài)擴容,使得增加存儲容量和CPU處理能力的同時不中斷業(yè)務(wù)運行;擴容后,根據(jù)容量和IO統(tǒng)計,自動在新舊設(shè)備間實現(xiàn)數(shù)據(jù)遷移達到新的負載均衡;存儲容量和系統(tǒng)吞吐率近線性增長。
- 系統(tǒng)高可用
中興通訊云存儲系統(tǒng)是一個分布式系統(tǒng),存在著若干在功能上對等的處理節(jié)點,個別機器宕機時故障節(jié)點會自動被其他節(jié)點接管,不影響整個系統(tǒng)的對外服務(wù)。
個別機器故障或毀損之后不會破壞系統(tǒng)數(shù)據(jù)的完整性,故障節(jié)點的數(shù)據(jù)從其他完好節(jié)點的副本中恢復(fù),并且利用系統(tǒng)中所有剩余硬盤并發(fā)的快速重構(gòu)恢復(fù),避免再次硬件故障產(chǎn)生的數(shù)據(jù)丟失風(fēng)險;同時,系統(tǒng)允許設(shè)置數(shù)據(jù)重構(gòu)的時間窗口和流控速度,避免數(shù)據(jù)重構(gòu)本身對正常業(yè)務(wù)的影響。
另外,系統(tǒng)采用多域技術(shù),實現(xiàn)故障域安全隔離,某一個域的軟硬件故障不影響其他域的正常讀寫訪問;冗余策略以域為單位,多域使得整個系統(tǒng)支持更多設(shè)備故障情況下還可以正常讀寫訪問。
- 支持大并發(fā)讀寫,高性能
中興通訊云存儲系統(tǒng)將數(shù)據(jù)切片后存儲在多個分布的存儲節(jié)點上,并將數(shù)據(jù)在多個存儲節(jié)點或數(shù)據(jù)中心進行多份備份,使應(yīng)用可以在多個節(jié)點或站點之上進行條帶化的并發(fā)讀寫,以獲取最高的IO性能。
支持冷熱數(shù)據(jù)分級存儲,根據(jù)訪問統(tǒng)計,將熱點文件遷移到SSD等高性能設(shè)備,將冷門數(shù)據(jù)遷移到SATA等低性能設(shè)備,提升資源利用率,提高系統(tǒng)性能。
同時,系統(tǒng)采用全局單一命名空間,保證每個存儲服務(wù)節(jié)點具有相同的數(shù)據(jù)存儲能力和系統(tǒng)管理能力,全分布式架構(gòu)提供系統(tǒng)海量的讀寫服務(wù)能力。
- 快速部署,擴容簡單
系統(tǒng)采用軟硬件一體機,出廠預(yù)設(shè)置;實現(xiàn)運維管理自動化和智能化;硬件平臺模塊化,以“搭積木”的方式構(gòu)建,方便部署和擴容。
多地區(qū)可快速部署新的數(shù)據(jù)中心,并且彼此形成統(tǒng)一資源池進行無縫調(diào)度和管理,提高運營收益。
- 綠色節(jié)能
采用2U/4U的高密度存儲服務(wù)器,機架資源占用低,無需特殊制冷,大大減少相關(guān)的電源、制冷、維護等開支;對于長期不活動的文件數(shù)據(jù)沉降到特定存儲區(qū)域中,對該存儲域的硬盤采用休眠輪休機制,降低能耗、提高硬盤壽命;幫助客戶進行機柜供電、散熱及承重規(guī)劃,合理配置UPS和空調(diào)系統(tǒng),避免投資浪費,降低整體機房固定資產(chǎn)總擁有成本。
中興通訊云存儲系統(tǒng)在全球各地承載著大量的電信及政企應(yīng)用系統(tǒng),其中中國移動南方基地存儲資源池達到13PB容量,存儲了上百億文件,實現(xiàn)了大規(guī)模成熟商用,具有豐富的技術(shù)積累和實施維護經(jīng)驗。中興通訊云存儲系統(tǒng)為客戶提供海量數(shù)據(jù)存儲的安全港灣,助力客戶金融業(yè)務(wù)創(chuàng)新。