《逍遙游》是《莊子》一書的第一篇,作者用天馬行空的想象描述了一種理想狀態(tài):“乘天地之正,馭六氣之變,以游無窮”,即順應(yīng)天地萬物的本性,把握環(huán)境的變化,不受任何束縛,自由自在地活動(dòng),實(shí)現(xiàn)“逍遙”的境界!跺羞b游》很能代表莊子的哲學(xué)思想,因其寓哲理于離奇想象,寫的奇?zhèn)ス妍惗鵀槿朔Q道。
無獨(dú)有偶,云計(jì)算、大數(shù)據(jù)時(shí)代,隨著數(shù)據(jù)量、應(yīng)用數(shù)量和使用者數(shù)量的增加,企業(yè)存儲(chǔ)系統(tǒng)面臨著擴(kuò)容不易、效率不高、管理復(fù)雜和可用性差等難題,成為困擾高端存儲(chǔ)發(fā)展的一道道“繩索”。如何突破限制,將存儲(chǔ)操作系統(tǒng)打造為高端存儲(chǔ)的“智慧引擎”,統(tǒng)籌管理整個(gè)存儲(chǔ)系統(tǒng)的軟硬件資源,實(shí)現(xiàn)數(shù)據(jù)的“逍遙”流動(dòng),發(fā)揮出高端存儲(chǔ)設(shè)備應(yīng)有功能、性能、可靠性,成為存儲(chǔ)廠商技術(shù)實(shí)力的核心展現(xiàn)。
操作系統(tǒng)大家都很熟悉,是一種特殊的系統(tǒng)軟件,它負(fù)責(zé)管理整個(gè)計(jì)算機(jī)系統(tǒng)的軟硬件資源,一個(gè)良好的操作系統(tǒng)對(duì)計(jì)算機(jī)至關(guān)重要。同理,存儲(chǔ)操作系統(tǒng)就是存儲(chǔ)系統(tǒng)中負(fù)責(zé)管理所有存儲(chǔ)資源的系統(tǒng)軟件,它對(duì)于存儲(chǔ)設(shè)備的可靠性、功能、性能起決定性作用。
很多存儲(chǔ)廠商都有自己的存儲(chǔ)操作系統(tǒng),如NetApp的統(tǒng)一存儲(chǔ)操作系統(tǒng)Data ONTAP,EMC Symmetrix的存儲(chǔ)操作系統(tǒng)Enginuity,華為的虛擬化存儲(chǔ)操作系統(tǒng)XVE等。而存儲(chǔ)操作系統(tǒng)對(duì)存儲(chǔ)系統(tǒng)的市場(chǎng)競(jìng)爭(zhēng)力有很大影響,比如說Data ONTAP在設(shè)計(jì)之初即采用統(tǒng)一存儲(chǔ)的設(shè)計(jì)理念,通過WAFL融合了文件系統(tǒng)和塊設(shè)備層,同時(shí)在底層RAID技術(shù)、快照技術(shù)等關(guān)鍵點(diǎn)上具有創(chuàng)新性的設(shè)計(jì),使Data ONTAP成為業(yè)界最優(yōu)秀的存儲(chǔ)操作系統(tǒng)。NetApp憑借這款先進(jìn)的存儲(chǔ)操作系統(tǒng)快速推出產(chǎn)品,成為存儲(chǔ)市場(chǎng)的三強(qiáng)之一。
DCS,打造高端存儲(chǔ)核心競(jìng)爭(zhēng)力
如今,浪潮自研的DCS(Data Control System)存儲(chǔ)操作系統(tǒng),是浪潮高端存儲(chǔ)的技術(shù)基石,存儲(chǔ)系統(tǒng)的各種高級(jí)軟件功能都運(yùn)行在DCS存儲(chǔ)操作系統(tǒng)之上;今后DCS將進(jìn)一步遷移到浪潮全系列的存儲(chǔ)系統(tǒng)上。如下是DCS存儲(chǔ)操作系統(tǒng)的架構(gòu)圖。
DCS存儲(chǔ)操作系統(tǒng)示意圖
在常規(guī)軟件層,DCS存儲(chǔ)操作系統(tǒng)是存儲(chǔ)系統(tǒng)配置管理、遠(yuǎn)程復(fù)制、快照、克隆、服務(wù)質(zhì)量管理、監(jiān)控與告警、存儲(chǔ)虛擬化等軟件子系統(tǒng)的平臺(tái),為高端存儲(chǔ)提供豐富的增值功能。
在DCS操作系統(tǒng)層,DCS具備統(tǒng)一存儲(chǔ)資源管理、多協(xié)議主機(jī)接口、全局高速共享緩存、智能存儲(chǔ)資源池、高速互聯(lián)通信、全局資源調(diào)度等功能。
而在存儲(chǔ)硬件層,DCS可以兼容多種平臺(tái)。
整體上DCS實(shí)現(xiàn)了真正的虛擬化設(shè)計(jì),重點(diǎn)在穩(wěn)定性、實(shí)時(shí)性、可靠性、管理部署等方面進(jìn)行了優(yōu)化,打造浪潮高端存儲(chǔ)的四大核心競(jìng)爭(zhēng)力。
No.1實(shí)時(shí)響應(yīng),業(yè)務(wù)效率提升
存儲(chǔ)系統(tǒng)的實(shí)時(shí)性是關(guān)鍵,計(jì)算服務(wù)器發(fā)送過來的IO數(shù)據(jù)必須及時(shí)得到處理,否則將造成IO超時(shí),進(jìn)而影響前端計(jì)算業(yè)務(wù)。因此,對(duì)于存儲(chǔ)系統(tǒng)來說,存儲(chǔ)操作系統(tǒng)的實(shí)時(shí)性必須得到有效的保障。針對(duì)存儲(chǔ)系統(tǒng)的特點(diǎn),DCS操作系統(tǒng)在線程調(diào)度方面做了特殊的優(yōu)化,保證任務(wù)運(yùn)行的實(shí)時(shí)性。
在優(yōu)化線程調(diào)度算法時(shí),DCS存儲(chǔ)操作系統(tǒng)特別針對(duì)多處理器進(jìn)行了相關(guān)優(yōu)化。主要考慮到存儲(chǔ)系統(tǒng)性能更多的還是需要硬件的支持,因此2路或者4路控制器上的線程調(diào)度優(yōu)化顯得尤為必要。多處理器實(shí)時(shí)任務(wù)調(diào)度研究主要包含三個(gè)方面的問題:實(shí)時(shí)任務(wù)的分派策略、調(diào)度算法和可調(diào)度性判定邊界。這三個(gè)方面都會(huì)對(duì)系統(tǒng)的實(shí)時(shí)性和性能產(chǎn)生明顯的影響,因此DCS存儲(chǔ)操作系統(tǒng)對(duì)其分別進(jìn)行了優(yōu)化。
No.2安如磐石,捍衛(wèi)數(shù)據(jù)資產(chǎn)
可靠性是存儲(chǔ)的基石,只有穩(wěn)定可靠的存儲(chǔ)才能為用戶持續(xù)的提供服務(wù),保證用戶數(shù)據(jù)的安全。DCS存儲(chǔ)操作系統(tǒng)在可靠性方面做了諸多優(yōu)化和改進(jìn),具體包括磁盤系統(tǒng)的優(yōu)化、RAID系統(tǒng)的優(yōu)化和緩存系統(tǒng)的優(yōu)化等等。從多個(gè)方面保證存儲(chǔ)操作系統(tǒng)本身的可靠性,進(jìn)而為存儲(chǔ)系統(tǒng)提供了可靠的保障。
磁盤子系統(tǒng)方面,DCS采用多個(gè)層次增加磁盤子系統(tǒng)的可靠性。首先,針對(duì)存儲(chǔ)系統(tǒng)后端鏈路的不可靠性,采用鏈路故障判定算法。該算法可以有效的處理后端鏈路的閃斷問題,保證對(duì)后端磁盤陣列訪問的連續(xù)性。其次,針對(duì)磁盤壞塊/壞道問題,采用跳躍磁盤掃描和修復(fù)算法。該算法通過對(duì)磁盤特定區(qū)域進(jìn)行測(cè)試驗(yàn)證,將損壞的磁盤通過校驗(yàn)碼進(jìn)行恢復(fù),并重映射到磁盤的其它區(qū)域。同時(shí)本算法可以根據(jù)磁盤的負(fù)載情況動(dòng)態(tài)調(diào)整掃描的頻度。再次,針對(duì)磁盤壽命問題,采用磁盤智能替換算法。該算法通過統(tǒng)計(jì)磁盤壞塊數(shù)量和使用時(shí)間等參數(shù)決定是否替換磁盤,當(dāng)滿足要求時(shí),該算法將在不影響前端業(yè)務(wù)的情況下將舊磁盤的數(shù)據(jù)遷移到新的磁盤上,實(shí)現(xiàn)磁盤的替換。
No.3全局加速,數(shù)據(jù)自動(dòng)遷移
為了提供高性能的存儲(chǔ)系統(tǒng),DCS存儲(chǔ)操作系統(tǒng)在兩個(gè)方面進(jìn)行了高性能相關(guān)設(shè)計(jì),分別是高性能存儲(chǔ)池和高性能緩存。高性能存儲(chǔ)池可以將數(shù)百塊硬盤整合成為一個(gè)容錯(cuò)的大存儲(chǔ)池,再提供給上層使用。高性能緩存提供大容量的緩存系統(tǒng),降低訪問后端存儲(chǔ)的概率,從而提高計(jì)算節(jié)點(diǎn)訪問存儲(chǔ)的性能。
存儲(chǔ)池層將磁盤數(shù)據(jù)分塊,按指定單條帶成員盤(塊)數(shù)、負(fù)載均衡、離散分布原則進(jìn)行組織,可靈活更改條帶塊。當(dāng)單個(gè)盤失效時(shí),存儲(chǔ)池層可以智能計(jì)算熱備塊在池中的分布,使用多塊成員盤進(jìn)行重構(gòu),避免傳統(tǒng)單盤寫入性能瓶頸造成RAID重構(gòu)時(shí)間過長(zhǎng)帶來的數(shù)據(jù)可靠性風(fēng)險(xiǎn)。在可靠分布式RAID基礎(chǔ)上,將數(shù)據(jù)進(jìn)一步分塊虛擬化,形成邏輯卷,使用分布式和多副本元數(shù)據(jù)組織。同時(shí),存儲(chǔ)池層還實(shí)現(xiàn)了分級(jí)混合存儲(chǔ),可以構(gòu)建基于SSD和普通機(jī)械硬盤的混合存儲(chǔ)池,通過SSD硬盤實(shí)現(xiàn)更高性能的存儲(chǔ)池。
高性能緩存通過全局共享緩存實(shí)現(xiàn),采用全局共享緩存的方式可以實(shí)現(xiàn)緩存空間的共享,從而提高緩存命中率,提升計(jì)算節(jié)點(diǎn)訪問存儲(chǔ)的性能。
No.4智慧管理,釋放存儲(chǔ)潛力
傳統(tǒng)的存儲(chǔ)系統(tǒng)中,當(dāng)計(jì)算節(jié)點(diǎn)需要一部分存儲(chǔ)空間的時(shí)候,往往是預(yù)先從后端存儲(chǔ)系統(tǒng)中劃分出一部分足夠大的空間。這個(gè)空間往往不是被馬上用掉,而是需要一個(gè)月甚至是更長(zhǎng)時(shí)間才能用到的空間;但由于這部分存儲(chǔ)空間已經(jīng)被預(yù)留了出來,其它計(jì)算節(jié)點(diǎn)將無法利用這些已經(jīng)部署但閑置的存儲(chǔ)容量。這種情況下,尤其是有多個(gè)計(jì)算節(jié)點(diǎn)連接統(tǒng)一存儲(chǔ)的情況下,就會(huì)預(yù)分配很多空間,進(jìn)而造成存儲(chǔ)空間的極大浪費(fèi)。
在DCS存儲(chǔ)操作系統(tǒng)的存儲(chǔ)池層,采用一種基于自動(dòng)精簡(jiǎn)配置的資源分配算法。在初始階段,計(jì)算系統(tǒng)會(huì)感知到一個(gè)與傳統(tǒng)存儲(chǔ)相同的存儲(chǔ)空間,但該空間為虛擬空間,并不占用實(shí)際的存儲(chǔ)資源;存儲(chǔ)資源不是即刻被分配給計(jì)算節(jié)點(diǎn),而是根據(jù)實(shí)際使用量逐步分配,從而實(shí)現(xiàn)空間的高效利用。
不滯于物,以游無窮
一言以蔽之,存儲(chǔ)系統(tǒng),尤其是高端存儲(chǔ),往往服務(wù)于大型企業(yè)的核心業(yè)務(wù)系統(tǒng),如何保證關(guān)鍵數(shù)據(jù)不丟失、全年業(yè)務(wù)不中斷,是高端存儲(chǔ)的終極使命,對(duì)企業(yè)生存和發(fā)展至關(guān)重要;DCS可以集數(shù)據(jù)管理功能、可用性和出色效能表現(xiàn)與一體,幫助客戶提高存儲(chǔ)架構(gòu)效率,實(shí)現(xiàn)高效的訪問數(shù)據(jù)和不受限制的發(fā)展業(yè)務(wù),實(shí)現(xiàn)數(shù)據(jù)“隨需而用、不滯于物”的逍遙境界。
如今,浪潮存儲(chǔ)發(fā)展迅猛,H1市場(chǎng)增長(zhǎng)149.3%,DCS已在高端存儲(chǔ)系統(tǒng)上規(guī);瘧(yīng)用。在DCS等核心技術(shù)的支持下,如同Data ONTAP推動(dòng)NetApp成為全球領(lǐng)先的存儲(chǔ)廠商那樣,浪潮將在高端存儲(chǔ)市場(chǎng)有所建樹。