大數(shù)據(jù)作為在復(fù)雜多樣的大量數(shù)據(jù)中創(chuàng)造價(jià)值的一項(xiàng)戰(zhàn)略,使得特定行業(yè)中的組織機(jī)構(gòu)在了解客戶、部署產(chǎn)品,以及運(yùn)營業(yè)務(wù)的方式正在發(fā)生改變。
大數(shù)據(jù)的發(fā)展使得各種組織開始應(yīng)用如ApacheHadoop框架不同的數(shù)據(jù)處理及存儲(chǔ)技術(shù),而不僅僅采用SQL(NoSQL)數(shù)據(jù)存儲(chǔ)等大數(shù)據(jù)管理、處理和分析解決方案。
什么是大數(shù)據(jù)?
截止到2014年,每一天都有25億GB的數(shù)據(jù)產(chǎn)生。在過去的十年中,技術(shù)進(jìn)步幫助創(chuàng)造了連續(xù)數(shù)據(jù)流。數(shù)據(jù)的產(chǎn)生有多種方式,包括:上網(wǎng)瀏覽,智能手機(jī)的信息交流,數(shù)字業(yè)務(wù)流程,社會(huì)媒體的活動(dòng),以及針對(duì)建筑、產(chǎn)品和人的傳感器的數(shù)據(jù)。
數(shù)據(jù)在數(shù)量、速度和多樣性方面呈爆炸式增長,因此被稱之為大數(shù)據(jù)。
(1)數(shù)量。數(shù)量是指所有產(chǎn)生的數(shù)據(jù)量。十年前,數(shù)據(jù)存儲(chǔ)和分析都是用TB字節(jié)進(jìn)行計(jì)數(shù)。而如今,企業(yè)至少需要PB級(jí)的存儲(chǔ)需求。
(2)速度。數(shù)據(jù)的速度既表示數(shù)據(jù)的移動(dòng)量,又表示數(shù)據(jù)的吞吐量。第一個(gè)表示數(shù)據(jù)的移動(dòng)量(以GB或TB/秒來衡量),第二個(gè)是表示數(shù)據(jù)提取和數(shù)據(jù)分析(以毫秒計(jì))之間的延遲。
(3)多樣性。多樣性是指數(shù)據(jù)量和數(shù)據(jù)的異質(zhì)性(結(jié)構(gòu)化、半結(jié)構(gòu)化或非結(jié)構(gòu)化)。
捕捉、處理、存儲(chǔ)和分析數(shù)據(jù)的需求促進(jìn)了新技術(shù)的產(chǎn)生,這其中包括使用NoSQL數(shù)據(jù)存儲(chǔ)、大規(guī)模并行處理(MPP),以及存儲(chǔ)和分布式系統(tǒng)等。
大數(shù)據(jù)的雙重性
由于數(shù)據(jù)中心是數(shù)據(jù)存儲(chǔ)公司的核心,自然大數(shù)據(jù)會(huì)對(duì)其公司戰(zhàn)略產(chǎn)生深刻影響。雖然一開始人們可能覺得大數(shù)據(jù)對(duì)數(shù)據(jù)中心的影響只是在存儲(chǔ)方面,但專家認(rèn)為大數(shù)據(jù)的影響則要大得多,并且影響到數(shù)據(jù)中心的多個(gè)方面。
例如大數(shù)據(jù)在一級(jí)方程式賽車(F1)賽事中的應(yīng)用。蓮花F1車隊(duì)就建立了自己的私有云,通過運(yùn)行50個(gè)虛擬服務(wù)器來分析每一場比賽。在賽車的每一圈中,團(tuán)隊(duì)都要收集和分析他們每一輛賽車中250個(gè)傳感器傳來的30MB的數(shù)據(jù)。
因此,在最后的蒙扎大獎(jiǎng)賽中,蓮花F1車隊(duì)實(shí)時(shí)處理分析的數(shù)據(jù)超過了3TB。因此這給人們一個(gè)提示,大數(shù)據(jù)和數(shù)據(jù)中心之間的復(fù)雜關(guān)系所面臨的挑戰(zhàn),不僅要具有適當(dāng)?shù)募軜?gòu),還要能夠處理好帶寬和數(shù)據(jù)流的工作。專家已經(jīng)確認(rèn)了大數(shù)據(jù)對(duì)數(shù)據(jù)中心的兩個(gè)影響:大數(shù)據(jù)在數(shù)據(jù)中心基礎(chǔ)設(shè)施中維護(hù)需求的來源復(fù)雜性,以及大數(shù)據(jù)驅(qū)使數(shù)據(jù)中心的優(yōu)化。
大數(shù)據(jù)來源的復(fù)雜性
大數(shù)據(jù)對(duì)數(shù)據(jù)中心基礎(chǔ)設(shè)施的影響三個(gè)方面:
。1)不斷增長的數(shù)據(jù)存儲(chǔ)需求;
(2)增加內(nèi)部和數(shù)據(jù)中心外部的數(shù)據(jù)傳輸?shù)男枨螅?/p>
。3)增加對(duì)高密度和或無架構(gòu)(或非關(guān)系)計(jì)算環(huán)境的需求。
這三個(gè)因素正在推動(dòng)數(shù)據(jù)中心部署更多的機(jī)架、布線和服務(wù)器,并改善其基礎(chǔ)設(shè)施以應(yīng)對(duì)大數(shù)據(jù)的需求。數(shù)據(jù)中心還需要更多的服務(wù)器進(jìn)行存儲(chǔ)和處理,并對(duì)大量數(shù)據(jù)進(jìn)行安全分析。還要增加電力容量和制冷設(shè)施以滿足電力和冷卻的需求。機(jī)架和布線中的情況也是如此。
隨著全球?qū)Υ髷?shù)據(jù)的需求,數(shù)據(jù)中心基礎(chǔ)設(shè)施將變得比以往更加重要,雖然其最初的重點(diǎn)是大數(shù)據(jù)軟件。然而,資源的稀缺性對(duì)數(shù)據(jù)中心架構(gòu)來說更具有挑戰(zhàn)性。專家指出,人們正在利用大數(shù)據(jù)技術(shù)尋找有效的方法,以平衡能源和資源之間的關(guān)系。
大數(shù)據(jù)的優(yōu)化
如今,企業(yè)之間在基礎(chǔ)設(shè)施和運(yùn)營管理競爭是一個(gè)常見問題。數(shù)據(jù)中心基礎(chǔ)設(shè)施組件(如存儲(chǔ)設(shè)備、服務(wù)器、網(wǎng)絡(luò)設(shè)備、機(jī)架、電源和冷卻系統(tǒng)、虛擬化、云計(jì)算,等等),每天都會(huì)產(chǎn)生這些組件的運(yùn)行狀況成千上萬的提示信息,以及性能和可用性報(bào)告。然而分析所有這些提示和報(bào)告以提高運(yùn)營效率,這個(gè)過程費(fèi)時(shí)費(fèi)力,成本高昂,因此不能被有效地由IT人員人工完成。
數(shù)據(jù)中心基礎(chǔ)設(shè)施的動(dòng)態(tài)觀察是一個(gè)漸進(jìn)的過程。因此,要在整個(gè)數(shù)據(jù)中心基礎(chǔ)設(shè)施部署大量傳感器。技術(shù)人員的目標(biāo)是能夠收集數(shù)據(jù)中心的關(guān)鍵信息,如溫度,濕度和氣流等等。這些信息可以提高監(jiān)測和分析數(shù)據(jù)中心現(xiàn)有的技術(shù)能力(機(jī)箱或服務(wù)器硬件和軟件,如DCIM)。
該儀器可以被理解為一個(gè)場景中有多個(gè)信息源(傳感器和信息管理系統(tǒng)),其中的數(shù)據(jù)分析是連續(xù)不斷(實(shí)時(shí)流媒體),因此產(chǎn)生了大量的數(shù)據(jù)。
大數(shù)據(jù)正在成為分析數(shù)據(jù)中心全生命周期的解決方案,能使數(shù)據(jù)中心得到進(jìn)一步優(yōu)化、操作和設(shè)計(jì)。這種價(jià)值不僅僅是來自大數(shù)據(jù)技術(shù);它還可以作為提高性能的應(yīng)用分析模型。該應(yīng)用包括IT運(yùn)營分析、虛擬化基礎(chǔ)設(shè)施的監(jiān)測、環(huán)境監(jiān)測(或綠色I(xiàn)T),以及操作系統(tǒng)分析等。
大數(shù)據(jù)分析的好處
部署大數(shù)據(jù)分析的好處是多方面的,其中包括:
(1)獲得跨數(shù)據(jù)中心基礎(chǔ)設(shè)施的運(yùn)營可視性。
。2)監(jiān)控基礎(chǔ)設(shè)施的實(shí)時(shí)和關(guān)聯(lián)跨層事件。
。3)與歷史數(shù)據(jù)相結(jié)合,解決流數(shù)據(jù)檢測模式和阻止性能差的問題。
大數(shù)據(jù)被要求成為一個(gè)數(shù)據(jù)中心變革者的組織管理和優(yōu)化方式。但公司是否真正意識(shí)到對(duì)大數(shù)據(jù)對(duì)數(shù)據(jù)中心的影響?更重要的是,他們?nèi)绾螒?yīng)對(duì)這種影響?然而不管怎么說,大數(shù)據(jù)已經(jīng)在數(shù)據(jù)中心中贏得了一席之地。