華為安全產(chǎn)品領(lǐng)域總經(jīng)理 左文樹/
伴隨著互聯(lián)網(wǎng)的發(fā)展,黑客網(wǎng)絡(luò)攻擊也在不斷增加和發(fā)展,在眾多的網(wǎng)絡(luò)攻擊中,拒絕服務(wù)攻擊DDoS(Distributed Denial of Service)始終被認(rèn)為是黑客攻擊的終極武器,在互聯(lián)網(wǎng)發(fā)展不同階段均能掀起血雨腥風(fēng)。
當(dāng)前,DDoS攻擊產(chǎn)生了革命性的變化,由純粹的黑客技術(shù)炫耀逐漸形成了完整的黑客產(chǎn)業(yè)鏈,進(jìn)而以惡意競(jìng)爭(zhēng)、黑色產(chǎn)業(yè)鏈為目的的DDoS攻擊越來越多,攻擊流量也越來越高,2013年3月,針對(duì)歐洲反垃圾郵件公司Spamhaus的300G DDoS攻擊創(chuàng)歷史新高。DDoS攻擊,可謂互聯(lián)網(wǎng)揮之不去的夢(mèng)魘。
防御技術(shù)面臨新挑戰(zhàn)在開始談DDoS流量清洗或者防護(hù)技術(shù)之前,先一起來看看DDoS攻擊發(fā)展趨勢(shì):一方面,以SYN Flood、UDP Flood、DNS Flood為代表的虛假源攻擊,大部分僵尸主機(jī)都來自IDC服務(wù)器,因此攻擊峰值流量帶寬越來越大,直接威脅網(wǎng)絡(luò)基礎(chǔ)設(shè)施,如網(wǎng)絡(luò)帶寬擁塞導(dǎo)致網(wǎng)絡(luò)訪問變慢、DNS服務(wù)器癱瘓?jiān)斐删W(wǎng)絡(luò)業(yè)務(wù)大面積癱瘓;另一方面,針對(duì)具體應(yīng)用的真實(shí)源攻擊越來越多,典型代表如針對(duì)電子商務(wù)、網(wǎng)頁游戲的CC攻擊,此類攻擊因需要僵尸主機(jī)和被攻擊服務(wù)器建立TCP連接,為了隱藏僵尸網(wǎng)絡(luò),攻擊流量越來越小,仿真程度越來越高,以有效躲避安全設(shè)備的識(shí)別。
2013年3月,歐洲反垃圾郵件公司Spamhaus的網(wǎng)站遭遇史上最大流量DDoS攻擊,攻擊流量峰值高達(dá)300G。同樣從業(yè)界最大Anti-DDoS服務(wù)提供商Prolexic于2013年Q2發(fā)布的《Prolexic Quarterly Global DDoS Attack Report》可看到,有17%的DDoS攻擊流量平均帶寬超過60G。大流量DDoS攻擊相對(duì)容易檢測(cè),但直接挑戰(zhàn)防御系統(tǒng)的處理性能及對(duì)攻擊的快速響應(yīng)能力,否則攻擊流量如決堤的洪水般會(huì)瞬間涌至被攻擊網(wǎng)絡(luò),導(dǎo)致網(wǎng)絡(luò)鏈路完全擁塞,部署在接入側(cè)的安全設(shè)備完全失效。此類攻擊必須依靠部署在網(wǎng)絡(luò)上游的超大容量防御系統(tǒng)阻斷,可見對(duì)超大帶寬DDoS攻擊的清洗系統(tǒng)比較適合由運(yùn)營(yíng)商或?qū)I(yè)Anti-DDoS服務(wù)提供商構(gòu)筑。業(yè)界針對(duì)大流量DDoS攻擊的檢測(cè)技術(shù)比較成熟,采用低成本的flow流分析技術(shù)即可。但清洗系統(tǒng)必須由高性能的硬件平臺(tái)構(gòu)成,單機(jī)可提供上百G的防御能力,否則防御設(shè)備本身就會(huì)成為網(wǎng)絡(luò)瓶頸。
從DDoS攻擊技術(shù)發(fā)展趨勢(shì)看,攻擊手段越來越復(fù)雜,應(yīng)用層攻擊越來越像客戶端訪問,直接威脅業(yè)務(wù)可用性。針對(duì)業(yè)務(wù)的應(yīng)用層DDoS攻擊,最大特點(diǎn)是攻擊目標(biāo)經(jīng)過精心挑選,攻擊流量小,攻擊流量速度慢、持續(xù)時(shí)間長(zhǎng)、手段隱蔽、攻擊源分散等,最終形成的攻擊效果是服務(wù)器IP可達(dá),業(yè)務(wù)不可用。
DDoS攻擊檢測(cè)系統(tǒng)主要依靠流量模型識(shí)別攻擊,流量模型越精確,越容易發(fā)現(xiàn)攻擊。應(yīng)用層小流量攻擊檢測(cè)難點(diǎn)在于小流量的攻擊報(bào)文淹沒在大流量的網(wǎng)絡(luò)訪問報(bào)文中,直接挑戰(zhàn)檢測(cè)設(shè)備流量模型的精準(zhǔn)度。以10G訪問背景流量下,針對(duì)移動(dòng)Web應(yīng)用的DDoS攻擊為例,攻擊流量峰值僅有250kbps(50QPS,平均包長(zhǎng)600字節(jié)),但只要攻擊目標(biāo)選擇合理,比如請(qǐng)求不存在的資源,每次查詢都需要查詢數(shù)據(jù)庫,即可導(dǎo)致被攻擊URI無法響應(yīng)正常用戶請(qǐng)求。當(dāng)采用傳統(tǒng)flow檢測(cè)技術(shù)時(shí),為了減少flow流日志對(duì)路由器轉(zhuǎn)發(fā)性能的影響,一般抽樣比設(shè)置為10000:1,而250k的攻擊流量隱藏在10G的正常訪問流量中,攻擊報(bào)文僅占三十萬分之一,這么大的抽樣比,很難抽取到攻擊報(bào)文。因此對(duì)flow流分析設(shè)備而言,攻擊流量越小,越難反映到流量基線的變化。此外,flow流技術(shù)描述流量基線的模型僅限于pps和bps,無法深入到應(yīng)用層,無法用QPS描述業(yè)務(wù)訪問流量模型。由此可見,flow流技術(shù)確實(shí)不適合做應(yīng)用層攻擊檢測(cè)。
而且針對(duì)應(yīng)用層的攻擊高度模擬業(yè)務(wù)訪問行為,攻擊源分散,每個(gè)源的訪問流量甚至還小于正?蛻舳说脑L問流量。尤其是針對(duì)移動(dòng)Web應(yīng)用的DDoS攻擊,導(dǎo)致傳統(tǒng)防御系統(tǒng)重定向防御技術(shù)失效,傳統(tǒng)防御系統(tǒng)則只能采取類似限制源的連接數(shù)以緩解攻擊。但對(duì)移動(dòng)應(yīng)用而言,正常訪問源即智能終端來自大量移動(dòng)網(wǎng)關(guān),最終體現(xiàn)為每個(gè)正常源IP(移動(dòng)網(wǎng)關(guān)IP)的連接數(shù)比攻擊源的連接數(shù)還高,因此限制連接數(shù)的做法會(huì)直接導(dǎo)致訪問中斷。
引入大數(shù)據(jù)分析華為率先把“大數(shù)據(jù)”技術(shù)應(yīng)用到DDoS檢測(cè)和防御中,從而在高仿真、高隱蔽性DDoS攻擊檢測(cè)與防御方面走在了業(yè)界前列。
為什么要大數(shù)據(jù)?
RSA執(zhí)行主席Art Coviello在2013年RSA大會(huì)上談到他對(duì)安全行業(yè)中大數(shù)據(jù)應(yīng)用的觀點(diǎn):“我看好大數(shù)據(jù)。從大數(shù)據(jù)分析中獲取情報(bào)意味著我們不再只是響應(yīng)攻擊。黑客將如何攻擊我們,這并不重要。重點(diǎn)在于從預(yù)防模式跳出來,大數(shù)據(jù)將讓你更快速地檢測(cè)和響應(yīng)攻擊。”
快速發(fā)現(xiàn)和響應(yīng)應(yīng)用層攻擊的首要條件是防御系統(tǒng)能夠多維度地精確描述流量模型。流量模型又可分為業(yè)務(wù)訪問的流量模型和攻擊的流量模型兩種,業(yè)務(wù)訪問的流量模型用于描述沒有攻擊時(shí)的網(wǎng)絡(luò)狀態(tài),一旦業(yè)務(wù)訪問流量模型發(fā)生變化,說明網(wǎng)絡(luò)有異常。對(duì)于一次50QPS的CC攻擊,250k的攻擊流量隱藏在10G的正常訪問流量中,攻擊報(bào)文僅占30萬分之一,僅僅用針對(duì)80端口的TCP報(bào)文的pps顯然難以描述出業(yè)務(wù)訪問模型的變化。事實(shí)上,用于檢測(cè)攻擊的業(yè)務(wù)訪問模型必須用到目的IP的http get報(bào)文速率即QPS描述。為了防止正常訪問流量突變,比如“雙11”網(wǎng)絡(luò)購物熱潮引起的QPS突變引入檢測(cè)誤判,還可以依靠高危URI訪問流量模型變化監(jiān)控攻擊。而對(duì)攻擊的流量模型則比較適合各類針對(duì)會(huì)話缺陷或應(yīng)用缺陷的慢速攻擊檢測(cè),比如TCP retransmission attack、socktress、SSL-DoS/DDoS、http slow headers/post attack,此類攻擊流量更小,隱蔽性更強(qiáng),但攻擊效果非常明顯。此類攻擊必須基于源+會(huì)話的維度描述,由此可見,針對(duì)攻擊的流量模型的描述是否準(zhǔn)確是快速檢測(cè)慢速攻擊的關(guān)鍵。
由以上分析可以看出,防御系統(tǒng)要想快速發(fā)現(xiàn)和響應(yīng)攻擊,必須具備完整、無誤地描述防護(hù)網(wǎng)絡(luò)的各種流量模型的能力,這就要求防御系統(tǒng)能夠?qū)Ψ雷o(hù)網(wǎng)絡(luò)做全流量拷貝,基于大數(shù)據(jù)逐包統(tǒng)計(jì)、分析、對(duì)比。
華為擁有一個(gè)超過300人的專業(yè)攻防團(tuán)隊(duì),實(shí)時(shí)監(jiān)控和分析全球安全事件,針對(duì)每一類新型DDoS構(gòu)建數(shù)據(jù)模型、開發(fā)關(guān)聯(lián)分析算法,以確保高檢出率。
大數(shù)據(jù)全流量采集及分析
- 全流量采集:首先從流量選取上一定要“全”,大數(shù)據(jù)的核心理念之一就是只有提取全面,后續(xù)的分析才能精準(zhǔn)。華為Anti-DDoS方案采用旁路部署方式,對(duì)1:1鏡像或者分光過來的流量進(jìn)行全流量分析,以確保防護(hù)網(wǎng)絡(luò)流量模型學(xué)習(xí)及攻擊檢測(cè)的精準(zhǔn)度。以數(shù)據(jù)中心邊界防護(hù)為例進(jìn)行說明,要以低成本部署實(shí)現(xiàn)對(duì)來自外部的DDoS攻擊的防御能力,僅對(duì)入數(shù)據(jù)中心的流量進(jìn)行全流量采集。以百G帶寬數(shù)據(jù)中心為例,假設(shè)數(shù)據(jù)中心入和出的流量比例為1:10,進(jìn)入檢測(cè)系統(tǒng)的流量,1秒鐘10G,1分鐘600G,1天高達(dá)864T,1周的數(shù)據(jù)就更大得驚人——756TB!
華為Anti-DDoS方案對(duì)從防護(hù)網(wǎng)絡(luò)鏈路拷貝到的流量,從3/4/7層分60多種維度建立流量模型,進(jìn)行關(guān)聯(lián)分析,生成業(yè)務(wù)訪問動(dòng)態(tài)流量基線,然后基于動(dòng)態(tài)流量基線自動(dòng)生成攻擊防護(hù)策略檢測(cè)閾值。動(dòng)態(tài)流量基線的學(xué)習(xí)周期默認(rèn)為1周,為適應(yīng)網(wǎng)絡(luò)流量模型因業(yè)務(wù)變化而發(fā)生變化,流量基線學(xué)習(xí)也是以學(xué)習(xí)周期為一個(gè)循環(huán),不斷學(xué)習(xí)不斷調(diào)整、更新檢測(cè)閾值。因此,對(duì)一個(gè)10G帶寬網(wǎng)絡(luò)鏈路,華為Anti-DDoS方案每建立一套DDoS檢測(cè)閾值,就必須處理高達(dá)756TB的數(shù)據(jù)。帶寬越大,需要處理的數(shù)據(jù)就越多。
- 大數(shù)據(jù)關(guān)聯(lián)分析技術(shù),提升檢測(cè)和防御精度:華為Anti-DDoS方案對(duì)防護(hù)網(wǎng)絡(luò)進(jìn)行60多種維度的流量基線模型學(xué)習(xí)時(shí),基于高性能多核CPU并行處理硬件,采用大數(shù)據(jù)處理技術(shù),以確;學(xué)習(xí)的高效性;竟ぷ髟硎牵毫髁窟M(jìn)入Anti-DDoS系統(tǒng)的接口板,進(jìn)行并發(fā)分流處理,到達(dá)各業(yè)務(wù)板的每個(gè)CPU,一個(gè)CPU又可分為多個(gè)微處理器,各微處理器同一時(shí)間并行處理采集到的流量,以提升處理性能。整個(gè)系統(tǒng)采用“MapReduce”大數(shù)據(jù)處理思想,將學(xué)習(xí)的60多種維度的流量模型定義成層次化的數(shù)據(jù)結(jié)構(gòu),根據(jù)報(bào)文類型有針對(duì)性地分解、統(tǒng)計(jì)、分析,最后將分析結(jié)果記錄到相應(yīng)的數(shù)據(jù)結(jié)構(gòu)。
動(dòng)態(tài)基線學(xué)習(xí)結(jié)束后,攻擊檢測(cè)流程實(shí)質(zhì)上就是不斷將進(jìn)入設(shè)備的報(bào)文按3/4/7層逐層解析,以1秒為計(jì)算單位,按照這60多種維度進(jìn)行精細(xì)化統(tǒng)計(jì),然后將統(tǒng)計(jì)結(jié)果和攻擊檢測(cè)閾值相比較,當(dāng)流量統(tǒng)計(jì)值大于攻擊檢測(cè)閾值,則認(rèn)為流量異常,觸發(fā)防御流程,這個(gè)響應(yīng)時(shí)間在秒級(jí)。一般現(xiàn)網(wǎng)DDoS攻擊在5分鐘之內(nèi),可輕松升至20G,可見,秒級(jí)的響應(yīng)攻擊延遲是領(lǐng)先的Anti-DDoS系統(tǒng)的必備條件。
由此可見,Anti-DDoS系統(tǒng)要做到輕松應(yīng)對(duì)網(wǎng)絡(luò)層攻擊、應(yīng)用層攻擊、會(huì)話層威脅及各類慢速攻擊,且做到秒級(jí)攻擊響應(yīng)延遲,必須依托高性能的硬件平臺(tái),在大數(shù)據(jù)全流量采集的前提下,實(shí)施多維度的統(tǒng)計(jì)和檢測(cè),真正有能力做到不漏判、不誤判。
精準(zhǔn)與實(shí)時(shí)性缺一不可
攻擊檢測(cè)的精準(zhǔn)度完全取決于流量模型的精細(xì)化程度。華為Anti-DDoS系統(tǒng)可實(shí)現(xiàn)從防護(hù)網(wǎng)段、防護(hù)目標(biāo)IP、及源IP這3個(gè)維度展開學(xué)習(xí),按網(wǎng)絡(luò)層次不同又可將統(tǒng)計(jì)點(diǎn)分為網(wǎng)絡(luò)層、會(huì)話層、應(yīng)用層3大縱向維度,統(tǒng)計(jì)點(diǎn)又可以進(jìn)一步細(xì)分為pps、bps、QPS、訪問比例。為了提升檢測(cè)精度和降低防御誤判,系統(tǒng)還分別從網(wǎng)絡(luò)層、會(huì)話層及應(yīng)用層對(duì)TOP N訪問源IP及訪問資源進(jìn)行學(xué)習(xí),這些業(yè)務(wù)訪問TOP N流量模型,不僅可用來快速發(fā)現(xiàn)攻擊,還可用于檢驗(yàn)防御效果。其中基于會(huì)話的多維度統(tǒng)計(jì)分析,并結(jié)合行為分析技術(shù)進(jìn)行關(guān)聯(lián)分析發(fā)現(xiàn)和防御各類慢速攻擊是華為Anti-DDoS解決方案的特有技術(shù)。
同時(shí)為提升防御時(shí)的客戶體驗(yàn),華為Anti-DDoS系統(tǒng)采用會(huì)話維度建立業(yè)務(wù)訪問IP信譽(yù)體系,當(dāng)攻擊發(fā)生時(shí),直接作為白名單,快速轉(zhuǎn)發(fā)業(yè)務(wù)訪問流量。業(yè)務(wù)訪問IP信譽(yù)的數(shù)量最大最高可達(dá)40M,足以滿足攻擊發(fā)生時(shí)業(yè)務(wù)訪問流量快速轉(zhuǎn)發(fā)需求。
從以上分析可以看出,為了應(yīng)對(duì)越來越像正常用戶業(yè)務(wù)訪問的DDoS攻擊,基于大數(shù)據(jù)的DDoS攻擊檢測(cè),必須保證攻擊檢測(cè)的精準(zhǔn)以確保快速響應(yīng)攻擊,同時(shí)又要保證防御的精準(zhǔn),以確保防御不影響用戶體驗(yàn)。
歷經(jīng)考驗(yàn),表現(xiàn)卓越2013年11月11日——“雙11”網(wǎng)絡(luò)購物節(jié)當(dāng)天,國(guó)內(nèi)著名的電子商務(wù)網(wǎng)站阿里巴巴的網(wǎng)上流量峰值達(dá)到了數(shù)Tbps,與此同時(shí)阿里巴巴的業(yè)務(wù)系統(tǒng)也遭受著多輪DDoS攻擊,有近20Gbps的大流量攻擊,也有小于500Mbps的應(yīng)用層攻擊,每輪攻擊華為的清洗方案均在2秒內(nèi)成功阻斷,無漏報(bào)誤報(bào)現(xiàn)象,有力地保障了阿里巴巴“雙11”的業(yè)務(wù)正常運(yùn)轉(zhuǎn),充分驗(yàn)證了大數(shù)據(jù)時(shí)代華為Anti-DDoS技術(shù)的優(yōu)勢(shì)。
除此之外,華為Anti-DDoS系統(tǒng)在全球多個(gè)國(guó)家的數(shù)據(jù)中心均有成功部署,每天成功抵御攻擊次數(shù)上萬次,防護(hù)效果獲得客戶的一致好評(píng)。