當(dāng)OpenStack遇見(jiàn)頂尖學(xué)府

　　CTI論壇(ctiforum)10月28日消息（記者 李文杰):OpenStack正在全球范圍掀起應(yīng)用熱潮，僅在科研領(lǐng)域，便有歐洲核子研究組織CERN借助OpenStack去探求宇宙起源，NASA借助OpenStack去尋找地外人類家園。日前，頂尖學(xué)府清華大學(xué)交叉信息研究院成功構(gòu)建國(guó)內(nèi)最大規(guī)模的OpenStack科研云平臺(tái)，單個(gè)集群規(guī)模達(dá)到6000個(gè)Core，16TB內(nèi)存，540TB存儲(chǔ)的規(guī)模，幫助清華大學(xué)在生物醫(yī)療、基因測(cè)序、社交網(wǎng)絡(luò)、自然語(yǔ)言分析等新興學(xué)科領(lǐng)域進(jìn)行了卓有成效的探索。這一項(xiàng)目同時(shí)讓清華大學(xué)交叉信息研究院的數(shù)據(jù)中心采購(gòu)成本降低60%，例行IT管理任務(wù)所花時(shí)間減少33%，能源成本降低80%。

　　清華大學(xué)交叉信息研究院

　　清華大學(xué)交叉信息研究院成立于2010年12月30日，由世界著名計(jì)算機(jī)學(xué)家、2000年計(jì)算機(jī)科學(xué)最高獎(jiǎng)圖靈獎(jiǎng)得主、美國(guó)科學(xué)院院士、美國(guó)藝術(shù)與科學(xué)學(xué)院院士、中國(guó)科學(xué)院外籍院士姚期智院士領(lǐng)導(dǎo)，是國(guó)內(nèi)首個(gè)致力于交叉信息科學(xué)研究的教學(xué)科研單位，致力于在計(jì)算機(jī)科學(xué)與技術(shù)和物理學(xué)兩大學(xué)科方向上開(kāi)展交叉建設(shè)，也是國(guó)內(nèi)在量子信息研究最前沿的科研機(jī)構(gòu)。

　　新科研需求與院校云平臺(tái)選型

　　隨著越來(lái)越多科研項(xiàng)目的需要借助計(jì)算機(jī)集群，原有的使用單一HPC集群處理單一科研項(xiàng)目的“好日子”一去不復(fù)返了。舊的IT架構(gòu)讓科學(xué)家們?cè)诿媾R科學(xué)研究時(shí)，已經(jīng)不能將注意力放在科研本身了。

　　“不應(yīng)讓科學(xué)家們?nèi)ヒ�求IT具備靈活性，而是IT系統(tǒng)隨時(shí)都可以按需而動(dòng)。”著名生物學(xué)家John Boyle在Nature的論文《生物學(xué)需要發(fā)展自身的大數(shù)據(jù)系統(tǒng)》這樣對(duì)IT系統(tǒng)的靈活性提出了強(qiáng)烈的需求。

　　“這該死的I/O！”加州大學(xué)圣克魯茲分銷的David Haussler教授更直接的對(duì)IT系統(tǒng)中的性能優(yōu)化十分懊惱。

　　如今，讓院校IT運(yùn)維人員頭疼的是各種科研需求均需要使用計(jì)算機(jī)集群來(lái)進(jìn)行計(jì)算分析，清華大學(xué)交叉信息研究院目前就需要對(duì)科學(xué)影像處理、冷凍電鏡與蛋白質(zhì)結(jié)構(gòu)、在線教育數(shù)據(jù)分析、社交網(wǎng)絡(luò)分析、自然語(yǔ)言處理、基因組測(cè)序分析等一系列項(xiàng)目進(jìn)行支持。盡管擁有超過(guò)200臺(tái)x86服務(wù)器，但不同項(xiàng)目對(duì)計(jì)算資源的不同需求、系統(tǒng)配置讓清華大學(xué)交叉信息研究院的IT運(yùn)維難堪重負(fù)。

　　200臺(tái)物理服務(wù)器，超過(guò)2PB的存儲(chǔ)空間，10TB的固態(tài)存儲(chǔ)、光纖+軟交換的IT架構(gòu)已經(jīng)讓包括清華大學(xué)交叉信息研究院助理院長(zhǎng)的徐葳在內(nèi)也僅有兩名的IT運(yùn)維人員捉襟見(jiàn)肘，就更不要說(shuō)原本希望自己嘗試解決IT系統(tǒng)靈活性的OpenStack+Ceph+Hadoop\Spark\Matlab\SAP HANA的云計(jì)算嘗試了。

　　為了更好的利用原有的硬件資源，同時(shí)構(gòu)建起國(guó)內(nèi)最大規(guī)模的產(chǎn)學(xué)研一體化OpenStack云平臺(tái)。尋找一家值得信賴的長(zhǎng)期戰(zhàn)略合作伙伴，提供企業(yè)級(jí)可靠、開(kāi)放、高性能的方案和專業(yè)服務(wù)至關(guān)重要。由于對(duì)EasyStack專業(yè)性的認(rèn)可，清華大學(xué)交叉信息研究院選擇了與其共建OpenStack產(chǎn)學(xué)研云平臺(tái)。

　　需求與方案設(shè)計(jì)

　　清華交叉學(xué)院的數(shù)據(jù)中心，根據(jù)現(xiàn)有服務(wù)器硬件基礎(chǔ)上，設(shè)計(jì)合理的云平臺(tái)方案，配備網(wǎng)卡/SSD/SATA盤等，達(dá)到OpenStack的硬件配置要求，利用暑假的一周停機(jī)時(shí)間，完成OpenStack產(chǎn)學(xué)研云平臺(tái)的部署上線。

　　-- HA

　　OpenStack作為清華大學(xué)內(nèi)部的公有云平臺(tái)，首期規(guī)模為125個(gè)物理節(jié)點(diǎn)，綜合集群規(guī)模和訪問(wèn)負(fù)載情況，控制節(jié)點(diǎn)采用5節(jié)點(diǎn)高可用方案。未來(lái)根據(jù)使用情況，可隨時(shí)增擴(kuò)。通過(guò)使用集群/主備/負(fù)載均衡等HA方式，對(duì)MySQL/Message Queue/API服務(wù)/Web訪問(wèn)等服務(wù)配置全方位高可用方案。

　　-- 存儲(chǔ)

　　通過(guò)對(duì)OpenStack各服務(wù)的改進(jìn)增強(qiáng)，Nova/Glance/Cinder統(tǒng)一使用Ceph RBD作為后端存儲(chǔ)，實(shí)現(xiàn)云主機(jī)/快照/云硬盤等云資源的秒級(jí)獲取。Ceph存儲(chǔ)集群設(shè)置三副本，保證數(shù)據(jù)的高可用性。為充分利用物理機(jī)資源，在計(jì)算節(jié)點(diǎn)增加SSD/SATA盤和萬(wàn)兆網(wǎng)卡，采用存儲(chǔ)與計(jì)算融合方式，并通過(guò)Cgroup/taskset等手段對(duì)計(jì)算和存儲(chǔ)進(jìn)程進(jìn)行資源隔離，保證計(jì)算和存儲(chǔ)性能穩(wěn)定可靠，互不干擾。

　　-- 網(wǎng)絡(luò)

　　使用VLAN＋OVS方式配置網(wǎng)絡(luò)，合理分配不同網(wǎng)絡(luò)平面的流量，并為生產(chǎn)網(wǎng)絡(luò)預(yù)留足夠的VLAN ID范圍，方便眾多老師和學(xué)生搭建自己的私有網(wǎng)絡(luò)。L3 agent將負(fù)載均分到五個(gè)控制節(jié)點(diǎn)上，在單個(gè)L3失效的情況下，其上的配置會(huì)自動(dòng)reschedule到其他節(jié)點(diǎn)，最大程度減少網(wǎng)絡(luò)中斷，并可根據(jù)需要對(duì)南北向和東西向網(wǎng)絡(luò)流量進(jìn)行合理限速。

　　-- 賬號(hào)管理

　　OpenStack集群部署完畢之后，通過(guò)對(duì)Keystone配置文件的調(diào)整來(lái)對(duì)接LDAP，LDAP所有用戶將呈現(xiàn)在OpenStack的用戶列表中。再通過(guò)對(duì)現(xiàn)有LDAP用戶權(quán)限的調(diào)整，用戶登錄后將呈現(xiàn)所在權(quán)限級(jí)別的訪問(wèn)界面。新創(chuàng)建的LDAP用戶將通過(guò)OpenStack聯(lián)動(dòng)腳本，帳號(hào)創(chuàng)建完畢即可登錄云平臺(tái)訪問(wèn)。在LDAP中通過(guò)分組來(lái)區(qū)分不同的院系，每個(gè)院系將指定一位“企業(yè)”管理員，管理他所在院系的用戶/項(xiàng)目/計(jì)費(fèi)等。

　　-- 計(jì)費(fèi)

　　通過(guò)對(duì)Ceilometer的增強(qiáng)，計(jì)費(fèi)系統(tǒng)實(shí)現(xiàn)對(duì)云資源的秒級(jí)精確計(jì)費(fèi)。配合分級(jí)帳號(hào)管理系統(tǒng)，每個(gè)院系作為一個(gè)單獨(dú)的計(jì)費(fèi)單位進(jìn)行收費(fèi)。計(jì)費(fèi)價(jià)格可以由云管理員隨時(shí)調(diào)整，并在指定的日期生效。通過(guò)支付寶等在線支付方式可以隨時(shí)為本院系充值。

　　-- 節(jié)點(diǎn)部署方案

　　

　　清華大學(xué)遇見(jiàn)OpenStack

　　通過(guò)合理分配網(wǎng)絡(luò)平面的流量，將不同網(wǎng)絡(luò)的訪問(wèn)進(jìn)行隔離，保證網(wǎng)絡(luò)訪問(wèn)通暢。其中，計(jì)算與存儲(chǔ)融合的節(jié)點(diǎn)上，兩個(gè)萬(wàn)兆網(wǎng)口做Load Balance綁定，提升網(wǎng)絡(luò)吞吐量，保證Ceph副本的快速寫入。

　　部署

　　-- 虛擬機(jī)備份/恢復(fù)

　　在實(shí)施之前，通過(guò)Ansible自動(dòng)化工具，在現(xiàn)有集群的物理節(jié)點(diǎn)上將虛擬機(jī)并行備份。利用本地磁盤作為虛擬機(jī)備份的快速周轉(zhuǎn)空間，并在遠(yuǎn)端保留副本。新集群部署完畢之后，再將虛擬機(jī)恢復(fù)到對(duì)應(yīng)的用戶賬號(hào)下。通過(guò)自動(dòng)化腳本批量將虛擬機(jī)鏡像直接傳入Ceph集群中，極大縮短導(dǎo)入時(shí)間，再將權(quán)限屬性匹配原有賬戶，用戶登陸后即可使用虛擬機(jī)鏡像恢復(fù)原有的云主機(jī)了。

　　-- 磁盤分布

　　將SSD盤作為大容量SATA盤的Ceph OSD日志盤，大幅提升Ceph集群的IO性能，支撐Hadoop/Spark等應(yīng)用對(duì)高性能的要求。

　　-- 網(wǎng)絡(luò)

　　按照網(wǎng)絡(luò)規(guī)劃，在交換機(jī)上設(shè)置VLAN以對(duì)應(yīng)不同網(wǎng)絡(luò)平面。同時(shí)，在路由器和防火墻上設(shè)置網(wǎng)絡(luò)地址映射，對(duì)外公開(kāi)OpenStack集群的Web訪問(wèn)。 Ceph cluster網(wǎng)絡(luò)使用Load Balance方式，綁定兩個(gè)萬(wàn)兆網(wǎng)卡，實(shí)現(xiàn)Ceph副本數(shù)據(jù)的快速傳輸。

　　-- 資源管理

　　大規(guī)模集群的部署涉及到資產(chǎn)管理的問(wèn)題，所有物理機(jī)機(jī)器均已登記在冊(cè)，并在機(jī)架的固定位置標(biāo)號(hào)。EasyStack的安裝工具Roller為指定MAC地址分配IP，保證新集群部署完畢之后與現(xiàn)有資產(chǎn)表保持完全一致。后期運(yùn)維同樣可以使用Roller靈活擴(kuò)展集群規(guī)模。

　　-- 權(quán)限管理

　　OpenStack實(shí)現(xiàn)三層分級(jí)賬戶權(quán)限管理， ESCloud為不同權(quán)限級(jí)別的用戶呈現(xiàn)不同的導(dǎo)航界面，admin云管理員管理整個(gè)OpenStack集群，每個(gè)學(xué)院將有各自獨(dú)立的“企業(yè)”管理員管理自己學(xué)院的老師/學(xué)生對(duì)云資源的申請(qǐng)及日常運(yùn)維工作，普通用戶申請(qǐng)?jiān)破脚_(tái)的各項(xiàng)云資源。

　　運(yùn)維

　　-- 監(jiān)控

　　為集群定制監(jiān)控項(xiàng)目，通過(guò)直觀的Web dashboard，查看集群各項(xiàng)指標(biāo)的當(dāng)前及歷史運(yùn)行狀態(tài)。設(shè)置異常告警閾值，即時(shí)通知管理員，修復(fù)異常狀況。通過(guò)各項(xiàng)數(shù)據(jù)的規(guī)律提前判斷是否需要擴(kuò)容等。

　　-- 帳號(hào)

　　ESCloud除支持本地創(chuàng)建用戶之外，全面支持與AD/LDAP的對(duì)接。在清華項(xiàng)目中，OpenStack對(duì)接LDAP帳號(hào)管理系統(tǒng)，并與OpenStack聯(lián)動(dòng)。創(chuàng)建LDAP賬戶時(shí)，自動(dòng)為賬戶創(chuàng)建OpenStack項(xiàng)目和網(wǎng)絡(luò)，新建的LDAP賬戶可以即刻登陸集群使用云服務(wù)。

　　-- Log集中管理

　　集群各物理節(jié)點(diǎn)中的日志數(shù)據(jù)通過(guò)rsyslog遠(yuǎn)程集中存儲(chǔ)，方便日志分析。

　　-- 公告欄

　　云系統(tǒng)管理員具有權(quán)限發(fā)布公告，公告內(nèi)容將發(fā)布在云平臺(tái)登陸首頁(yè)，方便對(duì)所有用戶廣播消息。

　　-- QoS

　　根據(jù)使用情況對(duì)云主機(jī)/云硬盤進(jìn)行訪問(wèn)限速，合理分配集群資源。對(duì)南北/東西向網(wǎng)絡(luò)流量合理配置帶寬限制。

　　-- 對(duì)集群中的MySQL/Message Queue跟蹤

　　所有對(duì)集群的MySQL數(shù)據(jù)的操作都將出發(fā)新建一個(gè)數(shù)據(jù)項(xiàng)目，并在RabbitMQ添加跟蹤項(xiàng)目，通過(guò)對(duì)這些收集的數(shù)據(jù)進(jìn)行整理分析，可以通過(guò)圖形化的方式展現(xiàn)現(xiàn)有集群的狀態(tài)，并動(dòng)態(tài)檢測(cè)/定位集群出現(xiàn)的問(wèn)題。

　　項(xiàng)目特點(diǎn)

　　-- 高可用

　　通過(guò)HA以及EasyStack ESCloud云平臺(tái)的高可靠設(shè)計(jì)等方案的實(shí)施使之區(qū)別并領(lǐng)先于其它OpenStack發(fā)行版，可用于承載核心業(yè)務(wù)的中大規(guī)模云計(jì)算環(huán)境，輕松應(yīng)對(duì)業(yè)務(wù)挑戰(zhàn)。

　　-- 開(kāi)放兼容利舊

　　ESCloud云管理平臺(tái)具有極高的開(kāi)放性，屏蔽底層不同品牌，讓學(xué)院擁有大量舊有基礎(chǔ)設(shè)施，能夠充分的利用起來(lái)。

　　-- 性能優(yōu)化

　　EasyStack的ESCloud平臺(tái)深入優(yōu)化計(jì)算、存儲(chǔ)以及網(wǎng)絡(luò)性能，從KVM、OVS、CEPH等最底層技術(shù)開(kāi)始源代碼級(jí)優(yōu)化，最終提供接近物理硬件能力的計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)性能，為該項(xiàng)目的Hadoop、Spark、Docker、入侵檢測(cè)等研究課題提供高性能服務(wù)，勝任科研需求。

　　-- 多層權(quán)限管理

　　運(yùn)維上，ESCloud提供了三層權(quán)限管理，各個(gè)課題項(xiàng)目組或者其它院系可以按照實(shí)際需求再行分配和管理資源，配合精細(xì)化計(jì)費(fèi)功能，大大降低了學(xué)院的運(yùn)維成本。

　　最終，清華大學(xué)交叉信息研究院的OpenStack產(chǎn)學(xué)研云平臺(tái)項(xiàng)目的單個(gè)集群規(guī)模達(dá)到6000個(gè)Core，16TB存儲(chǔ)，540TB存儲(chǔ)的規(guī)模，是國(guó)內(nèi)最大規(guī)模的產(chǎn)學(xué)研一體化OpenStack云平臺(tái)。

　　同時(shí)，這一項(xiàng)目讓清華大學(xué)交叉信息研究院的數(shù)據(jù)中心采購(gòu)成本降低60%，例行IT管理任務(wù)所花時(shí)間減少33%，能源成本降低80%。

　　結(jié)語(yǔ)

　　“EasyStack幫助學(xué)院采用ESCloud全開(kāi)源云計(jì)算解決方案搭建了國(guó)內(nèi)高校最大規(guī)模的產(chǎn)學(xué)研一體化OpenStack云環(huán)境，投產(chǎn)后主要用于大數(shù)據(jù)分析、分布式系統(tǒng)的教學(xué)科研，以及為其他院系提供付費(fèi)云服務(wù)，不僅降低了采購(gòu)和運(yùn)維成本，更讓學(xué)校內(nèi)有限的人員力量投入到更有價(jià)值的科研項(xiàng)目之中！” 清華大學(xué)交叉信息研究院助理院長(zhǎng)徐葳表示。