FusionStorage 8.0是華為存儲近年來最重要的戰(zhàn)略級產品。它不僅是華為存儲產品線的一次重大升級，也承載著幫助用戶實現One Data Center One Storage（一個數據中心一套存儲）的愿望。
時光荏苒，時鐘不經意間已經來到5月15日。這一天，華為新一代智能分布式存儲產品FusionStorage 8.0正式對外發(fā)布。此刻，曹長斌如釋重負，連續(xù)奮戰(zhàn)多日帶來的疲憊并不能掩蓋住激動之情：“如果需要打分，我愿意給FusionStorage 8.0打十分，它不僅在整體架構、性能、功能等方面遙遙領先，更是華為存儲研發(fā)以客戶需求為中心，通過全球化協作，率先克服業(yè)界眾多挑戰(zhàn)而打造出來的產品。”
FusionStorage 8.0實現了分布式存儲性能全球第一，單節(jié)點性能高達16.8萬 IOPS和1毫秒以內時延，在業(yè)界標準SPC-1測試中排名第一；首次實現在一套存儲中同時支持塊、文件、對象、HDFS協議；并且，率先將人工智能技術融入到存儲全生命周期管理。
在這一系列靚麗數字的背后，其實是華為北京、上海、深圳等全球六個研發(fā)團隊，設計出一套全新的存儲架構，進行了數千萬行代碼開發(fā)與移植，并先后進行了近十個版本的迭代，反復打磨、優(yōu)化的成果。
NO.1 簡而不減
“客戶經常跟我們的架構師們反饋，存儲真的太復雜了。”身為研發(fā)的曹長斌會定期與架構師交流，他介紹到，華為存儲架構師們每年會花費30%的時間與一線客戶進行交流，從而將一線業(yè)務需求盡可能地反饋給研發(fā)人員，進而精準研發(fā)出符合客戶需求的產品和解決方案。
存儲的復雜性一直困擾著用戶的數據中心，這種復雜性主要體現為，經過長期的信息化建設，用戶數據中心普遍面臨著多種類型的存儲，生產、備份、容災通常采用了不同廠商的不同存儲產品，煙囪式的存儲環(huán)境帶來了巨大的管理復雜度，還無法讓數據之間很好地流動、共享和價值挖掘。曹長斌表示：“客戶希望更加聚焦在核心業(yè)務創(chuàng)新上，強烈渴望數據能夠流動起來，通過一套存儲來支撐數據中心業(yè)務，實現數據之間的生產、流動、共享和價值挖掘。”
另一方面，大量行業(yè)客戶都在加快數字化轉型的步伐，對于基于數據的數字化創(chuàng)新和業(yè)務敏捷性更加渴求，這也要求承載數據的存儲產品，除了需要簡化管理復雜度之外，還需要在性能、擴展性、功能、智能化等方面有著質的提升。
曹長斌以電信行業(yè)為例：“4K/8K、AR/VR等新業(yè)務不斷涌現，并且充滿著不確定性，傳統存儲產品很難去滿足新業(yè)務從小到大的成長，用戶們希望不花費更多精力在存儲運維上，通過一套存儲來支撐業(yè)務的變化。”
事實上，FusionStorage 8.0研發(fā)之前，華為已經對產品醞釀了很久。最終，華為將FusionStorage 8.0定位為一個戰(zhàn)略級的平臺產品，在保持分布式存儲的靈活性和高擴展性之時，可以長出其他豐富的功能，包括文件系統、數據庫、數據分析、數據湖等。用戶可以通過FusionStorage 8.0來構建起自身的智能數據基礎設施，以滿足智能時代下對于數據存儲、管理、分析的訴求。
NO.2、打通性能的任督二脈
分布式存儲最大的優(yōu)勢在于靈活性，可以幫助用戶擺脫昂貴的高端硬件，通過普通的服務器即可為用戶提供靈活、可擴展的存儲服務。但分布式存儲的性能通常很容易遇到瓶頸，與傳統存儲采用“專用堆棧”優(yōu)化性能相比，分布式存儲隨著節(jié)點數量的增加，性能達到一定量級之后，往往會因為硬件、網絡等原因，遇到各種意想不到的“瓶頸”。因此，分布式存儲單節(jié)點穩(wěn)定、出色的性能是考驗分布式存儲成色的重要因素。
在曹長斌看來，性能問題是FusionStorage 8.0研發(fā)過程中遇到的最大挑戰(zhàn)之一。“從立項設計時，我們就希望FusionStorage 8.0能夠達到企業(yè)級全閃存陣列的性能，單節(jié)點性能能夠達到14萬IOPS，并且時延控制在1毫秒之內，可以承載企業(yè)級關鍵應用。研發(fā)團隊為此做了很多預研究的工作。但是在實際研發(fā)過程中，的確是遇到了巨大的挑戰(zhàn)。”曹長斌所言的挑戰(zhàn)即是性能波動問題，分布式存儲節(jié)點的性能波動浮動范圍大且不穩(wěn)定，從而給整個分布式存儲性能提升帶來瓶頸。
FusionStorage 8.0在開發(fā)之初，單節(jié)點性能達到10萬IOPS之后，性能始終上不去。令研發(fā)團隊更加頭疼的是，產生性能波動的“隱形瓶頸”很多，需要研發(fā)人員去逐個發(fā)現和解決。曹長斌表示：“整個性能波動問題的解決前前后后花了4個月時間，幾乎每天都討論和研究到凌晨2、3點。”
華為存儲研發(fā)團隊探討研發(fā)中遇到的挑戰(zhàn)
為此，在這段時間里，華為存儲研發(fā)團隊聯系了華為全球研發(fā)體系中的操作系統調度專家、網絡專家等，從不同的角度去探索性能波動的問題所在。“我們首先發(fā)現中斷分配不均的問題，有些服務器中斷過度，使得服務器性能發(fā)揮不出來。因此，經過多個方案探索之后，實現了中斷均攤化，將單節(jié)點性能提升了20%。解決這個優(yōu)化點之后，研發(fā)團隊再從業(yè)務干擾、軟件堆棧、分布式鎖等方面進行優(yōu)化，最終達到了最初設計的性能目標。”
經過華為研發(fā)團隊優(yōu)化、落地、再優(yōu)化的螺旋上升式改進，FusionStorage 8.0打通了性能的任督二脈，對于服務器硬件、網絡等方面的控制越來越精準，實現了單節(jié)點16.8萬IOPS的穩(wěn)定性。
NO.3、鑄就強大的存儲生命線
隨著FusionStorage 8.0性能不斷提升，華為存儲研發(fā)團隊又遇到了一個大挑戰(zhàn)：在高性能、大并發(fā)的數據讀寫情況下如何保持數據一致性。
一直以來，確保數據可靠和一致是存儲產品的生命線。“在存儲產品中，數據一致是核心中的核心。如果寫進去的數據和讀出來的數據不一樣，那將對用戶的業(yè)務產生巨大影響。”曹長斌表示。與傳統存儲不同，分布式存儲產品由于采用了普通的服務器硬件，必須采用不一樣的實現數據可靠和一致的方法；并且隨著集群節(jié)點的不斷擴展，分布式存儲系統的復雜性隨之提高，對于數據一致性也帶來更大的挑戰(zhàn)。
在FusionStorage 8.0的性能調優(yōu)期間，華為存儲研發(fā)團隊就遇到了較多數據不一致的情況。“當時為了提升性能，有些數據不一定馬上寫到盤中，而是寫入內存，之前一些并發(fā)機制導致了老數據把新數據覆蓋了，出現數據不一致的情況。”經過將近一個月時間的反復研究，華為存儲研發(fā)團隊決定設計和開發(fā)出一套新的日志機制與工具來解決數據不一致難題。“通過新的日志機制，在數據訪問入口和數據落盤前的出口，進行關鍵信息的打印，加上CRC校驗，來發(fā)現和解決數據不一致性的問題。”曹長斌表示，“通過對IO通道從頭到尾的追蹤，可以具體定位到整個IO通道哪個模塊、具體模塊中哪個具體函數導致的數據不一致，層層推進來解決問題。”
在解決數據不一致性的過程中，華為存儲研發(fā)團隊面臨最大的困難就是：在高性能、大并發(fā)的讀寫數據中去尋找哪個IO導致的數據不一致。“數據不一致之所以是存儲業(yè)界最難最大的挑戰(zhàn)，就是因為存在巨大的不確定性。在海量數據中去追蹤和查看IO異常，就像是大海撈針。”曹長斌回憶當時的場景依然歷歷在目，“整個團隊在那段時間經常需要倒班，以跨夜、跨周的方式去跟蹤和查看一個IO異常。”
最終，華為存儲研發(fā)團隊完成FusionStorage 8.0在上百個節(jié)點、幾百個節(jié)點、上千個節(jié)點等不同場景下的數據不一致情況的檢驗，解決了將近30個業(yè)務IO異常的問題，完美地鑄就了FusionStorage 8.0強大的生命線。
NO.4 功能與性能的完美平衡
當解決好FusionStorage 8.0性能、數據一致性等挑戰(zhàn)的同時，華為存儲研發(fā)團隊又聚焦到如何解決性能與功能的平衡難題上。如果用一個比喻來形容性能與功能之間的關系，那么魚和熊掌不可兼得就是最真實的寫照。比如，重復數據刪除和壓縮功能已經誕生多時，但是業(yè)界依然沒有在分布式存儲上對重刪壓縮功能與存儲性能之間做好平衡。
“重刪壓縮功能其實是IO通道上的一個動作，對于存儲性能影響很大。像在線重刪，對于分布式存儲的性能要求很高，而離線重刪則對存儲產品中的存儲介質壽命有著影響。”曹長斌表示。
為此，華為存儲研發(fā)團隊在FusionStorage 8.0中研發(fā)出一項在線和離線自適應的重刪壓縮功能，根據存儲系統的CPU、內存、存儲介質等資源狀況，通過加權算法來實現重刪功能的自適應調整。“團隊在開發(fā)這套加權算法時前后花費了將近兩個月時間，通過反復的理論推導和調整，讓FusionStorage 8.0的重刪壓縮功能可以與性能之間完美平衡。”據悉，在高負載情況下，業(yè)界的重刪壓縮功能打開對性能影響可達到30%-50%；而FusionStorage 8.0重刪壓縮功能的自適應機制則可以將對主機性能的影響降到15%以內，一旦達到15%就自動切換到后端重刪。
在海量數據成為常態(tài)的情況下，分布式存儲的數據可用性也變得至關重要。分布式存儲中的冗余功能可以提升數據可靠性和存儲系統的可用性。通常，業(yè)界采用多副本或者糾刪碼功能（Erasure Coding，簡稱EC）來實現數據冗余。相比于多副本對存儲空間的巨大消耗，糾刪碼技術可以在更小的存儲空間實現更優(yōu)的容錯和安全性，但是對于存儲系統的性能也有著較大影響。因此，分布式存儲中的糾刪碼功能如何做到存儲空間利用率與性能二者兼得就成為業(yè)界的難題。
“EC功能有兩大難題，一個是打開功能之后對主機性能的影響，有些存儲產品在該項功能打開之后對主機性能影響可以達到30%左右；另外一個就是，如何做到大比例的EC。”曹長斌表示。為此，華為存儲研發(fā)團隊設計出多套模型和備選方案來降低EC功能對主機性能的影響，經過多次驗證之后，華為智能增強EC功能實現了性能和容量的完美平衡。
“在高并發(fā)和高負載的情況下，智能增強EC功能通過IO聚合，并利用存儲盤的特質，將隨機讀寫改成順序讀寫，來解決性能問題。另外，對于大比例EC，我們采用了追加寫的方式，這意味著修改某個數據時，不需要讀老數據和校驗，從而大幅降低對性能的影響。”
NO.5 讓存儲智能起來
存儲多年以來一直被人所詬病的就是復雜性，容量怎么規(guī)劃和分配、QoS優(yōu)先級如何劃分、資源利用情況如何、何時進行擴容、故障如何發(fā)現和處理等等，這一系列問題會牽扯到用戶大量的精力和時間。如何讓存儲智能起來，這是存儲未來的發(fā)展趨勢，也是FusionStorage 8.0正在全力前進的方向。
存儲智能化是智能時代下用戶的必然訴求。為此，華為率先在FusionStorage 8.0中將人工智能技術融入到存儲全生命周期管理，從資源規(guī)劃、業(yè)務發(fā)放、系統調優(yōu)、風險預測、故障定位等方面實現智能運維管理。
根據華為介紹，FusionStorage 8.0在存儲資源規(guī)劃方面可以對性能容量趨勢進行60天預判；還擁有超過1000個應用模板，實現一鍵式的資源發(fā)放；并且可以進行個性化調優(yōu)，100%滿足SLA訴求；超過2000個故障模式庫，93%的問題發(fā)現即可給出方案。
事實上，存儲是一個利用人工智能技術非常理想的環(huán)境，擁有豐富的狀態(tài)數據和信息，以及固定的業(yè)務場景，很容易形成收集狀態(tài)數據、機器學習和訓練、預測預報、智能決策的閉環(huán)，通過不斷的學習和訓練，讓存儲的運維和管理愈發(fā)智能。
FusionStorage 8.0在智能化方面的突破還在于采用云上訓練+本地訓練的方式，云上擁有超過2PB的特征數據和1000個場景，通過云上和云下結合和協同，可以實現本地的增強訓練和提升個性化體驗。
NO.6 讓數據永存
“我們在新產品中需要盡一切可能防止數據丟失，進一步提升數據可靠性。”
事實上，在數字化時代下，數據已經成為一種生產資料，數據正在成為企業(yè)與組織機構賴以生存的基礎資源。并且，相比于信息化時代，用戶在數字化時代下需要面臨的數據類型更加豐富、應用場景更加復雜化。比如，物聯網應用場景開始逐漸豐富，業(yè)務與云之間的聯系日漸頻繁，這也導致數據丟失的潛在因素正在變多。
為此，華為的思路在于針對各種數據丟失時間的原因和背景進行深入分析，并且提煉和總結出相應的場景可靠性方案，從根源上提供數據防丟失的保障。但是，新問題又出現了：如何在保存可靠性校驗的有限空間中容納這些場景的可靠性方案。
“這的確是一個非常具有挑戰(zhàn)性的難題。華為在FusionStorage 8.0中已經包含了能夠支撐30多種數據丟失場景的可靠性方案，但是可靠性校驗的空間只有64個字節(jié)。要充分利用64個字節(jié)去容納30多個場景的預防方案，極具難度。”曹長斌如是說。整個過程就猶如一場精確無比的手術，研發(fā)人員將每一個預防方案“植入”到極為可靠性交易空間中，精確到每個比特位。
更加難得的是，數據丟失場景并不是一次性收集完，它是一個持續(xù)增加的過程，研發(fā)團隊在可靠性校驗空間中每增加一個預防方案都需要在確保方案可行的前提下，盡可能地節(jié)省空間。曹長斌直言：“這是一個無比精細化的處理過程。前前后后調整四、五次之后，整個數據防丟失的預防方案實現了完美存儲到可靠性校驗空間中。”
NO.7、從跟隨到差異化
“我們希望在FusionStorage 8.0中做出業(yè)界競爭對手沒有的東西，形成自己的差異化優(yōu)勢。”作為華為存儲研發(fā)的一名老兵，曹長斌見證和參與了FusionStorage從1.0到8.0的全過程。
眾所周知，存儲是一個技術門檻較高、相對封閉的領域，國外存儲巨頭常年處于領先的位置，中國本土存儲品牌多年以來一直處于跟隨者的角色。曹長斌對此深有感觸：“在過去，競爭對手做什么，我們就跟著做什么，采用的是‘Me too, but cheaper’的策略；之后隨著自身不斷成長，在技術層面迎頭趕上，則變成了‘Me too, but Better’�，F在則是去尋求開發(fā)出別人沒有的功能和技術，確定自身的差異化優(yōu)勢。”
除此之外，華為在容災、備份一體化方案方面進行了創(chuàng)新，并且利用自身在通信網絡領域的深厚積累，構建存儲+智能AI網絡的一體化解決方案，大幅提升自身的競爭力。
“FusionStorage 8.0的成功研發(fā)，背后是整個公司傾注的大量心血，不僅僅是公司的成就，也是對包括我在內的廣泛研發(fā)團隊成員個人能力的提升。為此，我感到無比驕傲。”曹長斌最后表示道。
NO.8 寫在最后
華為FusionStorage誕生于2012年，源自于“用普通服務器硬件去構建出企業(yè)級存儲系統”這個想法。一路走來，FusionStorage從1.0成長到8.0，是華為存儲人堅持不懈和精益求精的精神，也是華為存儲人解決一個個業(yè)界難題、逐步實現當初想法的過程，更是中國分布式存儲從無到有、從弱到強的真實寫照。
未來，隨著5G、聯網、人工智能等應用的興起，一個更加豐富、更加智能的新數據時代也將到來。華為FusionStorage 8.0不僅讓One Data Center One Storage（一個數據中心一套存儲）在新數據時代走向落地，也將開啟華為智能數據戰(zhàn)略嶄新的一頁。
