Amazon首度公開過去電商平臺(tái)采用多年的線上交易與數(shù)據(jù)存儲(chǔ)服務(wù)架構(gòu)圖
（還未全面改用AWS數(shù)據(jù)存儲(chǔ)前）。（圖片來源／AWS）

　　從這個(gè)架構(gòu)圖來看，不只數(shù)據(jù)存儲(chǔ)是采用Oracle RAC數(shù)據(jù)庫(kù)架構(gòu)，在它上方，還有提供3個(gè)針對(duì)營(yíng)運(yùn)、探查與BIM數(shù)據(jù)設(shè)計(jì)的專用數(shù)據(jù)存儲(chǔ)或數(shù)據(jù)庫(kù)，里面用也都是Oracle， 再透過DB Link方式相連，連各種交易資料存放的OLTP數(shù)據(jù)庫(kù)，也都有部分使用到Oracle產(chǎn)品。

　　「這是一個(gè)高達(dá)35PB的超大型數(shù)據(jù)存儲(chǔ)遷移的挑戰(zhàn)�！笰mazon.com大數(shù)據(jù)技術(shù)資深經(jīng)理Thomas Park在今年AWS re:Invent一場(chǎng)專談DBFreedom的黑板開講（Chalk Talk）上，對(duì)著臺(tái)下聽眾分享Amazon數(shù)據(jù)庫(kù)上云經(jīng)驗(yàn)時(shí)首度公開揭露這項(xiàng)數(shù)據(jù)。

　　Amazon在11月1日正式關(guān)閉電商平臺(tái)使用多年的Oracle數(shù)據(jù)存儲(chǔ)系統(tǒng)，改搬到自家AWS云端數(shù)據(jù)存儲(chǔ)Redshift上，當(dāng)時(shí)這個(gè)消息一出，科技圈譁然，成了熱議話題。也讓全球云端龍頭AWS與企業(yè)數(shù)據(jù)庫(kù)巨人甲骨文（Oracle）的數(shù)據(jù)庫(kù)之爭(zhēng)正式浮上臺(tái)面。

　　也因此，今年每一場(chǎng)只要打著Amazon數(shù)據(jù)庫(kù)上云的相關(guān)議程，都成了今年最搶手的熱門場(chǎng)次，早在活動(dòng)前兩周，議程才剛公布，坐位就早已全數(shù)被預(yù)定一空，只剩下現(xiàn)場(chǎng)候位，甚至活動(dòng)前一天下午，議程還沒開始，場(chǎng)外就已經(jīng)排滿人潮，等著搶聽Amazon分享第一手的搬移經(jīng)驗(yàn)。Thomas Park就是其中一場(chǎng)專談「Amazon.com從Oracle數(shù)據(jù)庫(kù)搬上AWS經(jīng)驗(yàn)」的講者。

　　Thomas Park表示，Amazon很早就開始采用Oracle數(shù)據(jù)存儲(chǔ)，在換成AWS以前，系統(tǒng)存放的資料總共有多達(dá)35PB（壓縮後），1個(gè)PB（Petabytes）等同於1,000個(gè)TB，若以一個(gè)1TB硬碟厚度平均0.7公分來計(jì)算的話，35PB的硬碟，堆成的高度超過200公尺高，這還不包括還有一個(gè)同樣壓縮過的5PB的核心資料集，也都要一并改上AWS，這正是Amazon數(shù)據(jù)存儲(chǔ)上云面對(duì)的最大挑戰(zhàn)。

　　Amazon大數(shù)據(jù)技術(shù)資深經(jīng)理Thomas Park
（攝影／余至浩）

　　Amazon大數(shù)據(jù)技術(shù)資深經(jīng)理Thomas Park坦言，舊有的數(shù)據(jù)庫(kù)設(shè)計(jì)方式，已無(wú)法跟上Amazon事業(yè)快速成長(zhǎng)的腳步，所以，Amazon決定將數(shù)據(jù)庫(kù)重新打掉重練，改用新的云端數(shù)據(jù)庫(kù)設(shè)計(jì)方式來取代，以便能夠快速橫向擴(kuò)展，來因應(yīng)業(yè)務(wù)成長(zhǎng)需求。

　　Thomas Park在傳授數(shù)據(jù)庫(kù)搬遷經(jīng)驗(yàn)的過程時(shí)，也首度公開過去Amazon電子商務(wù)平臺(tái)背後采用的線上交易與數(shù)據(jù)存儲(chǔ)服務(wù)架構(gòu)圖（自11月1日以後，Amazon數(shù)據(jù)存儲(chǔ)已全面改由AWS取代）。

　　從這個(gè)架構(gòu)圖來看，首先，Amazon所建置的一個(gè)超大型數(shù)據(jù)存儲(chǔ)叢集，全部都是采用Oracle RAC數(shù)據(jù)庫(kù)架構(gòu)，在它上方，還有提供3個(gè)針對(duì)營(yíng)運(yùn)、探查與BIM數(shù)據(jù)設(shè)計(jì)的專用數(shù)據(jù)存儲(chǔ)或數(shù)據(jù)庫(kù)，里面用也都是Oracle， 再透過DB Link方式相連，連做為各種交易資料存放的OLTP數(shù)據(jù)庫(kù)，也都有部分使用到Oracle產(chǎn)品，并透過Amazon自行開發(fā)一個(gè)可以用來管理不同數(shù)據(jù)庫(kù)處理流程的ETLM管理平臺(tái)，來進(jìn)行協(xié)助交易資料萃取和轉(zhuǎn)置。

　　Thomas Park指出，就像其他電商平臺(tái)，Amazon剛開始，也使用許多OLTP數(shù)據(jù)庫(kù)與Oracle數(shù)據(jù)存儲(chǔ)，用來處理不同類型的工作負(fù)載，像是Oracle數(shù)據(jù)庫(kù)可以被用於承載交易型與非交易的工作任務(wù)，能處理的資料型態(tài)，包括目錄、庫(kù)存、線上交易、網(wǎng)頁(yè)點(diǎn)擊串流，以及行銷等資料。而數(shù)據(jù)存儲(chǔ)則是用於蒐集大量交易數(shù)據(jù)與分析所用。

　　但是，為何Amazom後來決定換掉原本數(shù)據(jù)庫(kù)？Thomas Park說：「就是為了要讓數(shù)據(jù)庫(kù)具備橫向擴(kuò)展（Scale Out）的能力�！顾�表示，Amazon成立20多年來，在業(yè)務(wù)發(fā)展上，從開始用來查詢交易資料與儲(chǔ)存使用的數(shù)據(jù)庫(kù)，用的就是Oracle數(shù)據(jù)庫(kù)及其技術(shù)，并用這些數(shù)據(jù)庫(kù)來建立Amazon網(wǎng)站底層的架構(gòu)。但是當(dāng)業(yè)務(wù)量逐漸成長(zhǎng)，需要擴(kuò)建更多的銷售據(jù)點(diǎn)與資料中心，并且跨入不同領(lǐng)域市場(chǎng)，對(duì)於IT團(tuán)隊(duì)來說，必須要能很快擴(kuò)展原有基礎(chǔ)設(shè)施，來迎合業(yè)務(wù)快速成長(zhǎng)需求。

　　但是舊有的數(shù)據(jù)庫(kù)設(shè)計(jì)方式，已無(wú)法跟上Amazon事業(yè)快速成長(zhǎng)的腳步，所以，Amazon決定將自己的舊數(shù)據(jù)庫(kù)全部打掉重練，改用新的云端數(shù)據(jù)庫(kù)設(shè)計(jì)方式來取代，以便能夠快速橫向擴(kuò)展，來因應(yīng)業(yè)務(wù)迅速成長(zhǎng)�！高@也是我們會(huì)決定從使用已久的Oracle數(shù)據(jù)庫(kù)搬上AWS的最重要原因�！巩�(dāng)然成本也是另一大考量，他事後補(bǔ)充說到。

　　一般來說，在新舊數(shù)據(jù)庫(kù)搬遷過程中，企業(yè)會(huì)先針對(duì)舊數(shù)據(jù)庫(kù)的綱要（Schema），先經(jīng)過復(fù)制或轉(zhuǎn)換，改到了目標(biāo)的數(shù)據(jù)庫(kù)後，才接著將舊數(shù)據(jù)庫(kù)里存放的資料，透過如AWS DMS等數(shù)據(jù)庫(kù)搬遷工具，再將全部資料移到新的數(shù)據(jù)庫(kù)。

　　不過，Thomas Park強(qiáng)調(diào)，當(dāng)一家企業(yè)發(fā)展成長(zhǎng)到達(dá)一定規(guī)模，要遷移數(shù)據(jù)庫(kù)，就不是一件容易的事，隨著業(yè)務(wù)量成長(zhǎng)，系統(tǒng)架構(gòu)也將日益龐大復(fù)雜，例如需要不斷擴(kuò)增新數(shù)據(jù)庫(kù)與備份數(shù)據(jù)庫(kù)，來滿足營(yíng)運(yùn)所需，還要能依據(jù)不同關(guān)鍵性應(yīng)用，來針對(duì)數(shù)據(jù)庫(kù)采用分層架構(gòu)，以便於依資料使用頻率與重要程度，對(duì)應(yīng)到不同的數(shù)據(jù)庫(kù)層存放，或是配合業(yè)務(wù)發(fā)展需求，采用新的數(shù)據(jù)庫(kù)架構(gòu)設(shè)計(jì)，如分散式數(shù)據(jù)庫(kù)等。

　　以這次35PB遷移經(jīng)驗(yàn)來說，Thomas Park坦言，光是要將這些資料全部搬遷到AWS環(huán)境，就花了1年多才完成，同時(shí)搬移的過程，還要確保整個(gè)數(shù)據(jù)存儲(chǔ)服務(wù)不能中斷，能持續(xù)穩(wěn)定運(yùn)作，繼續(xù)提供原有的數(shù)據(jù)蒐集與分析服務(wù)。對(duì)Amazon的IT團(tuán)隊(duì)來說，這是一大挑戰(zhàn)。

　　最後，Thomas Park也說到，Amazon至今已經(jīng)關(guān)掉的Oracle數(shù)據(jù)庫(kù)，少說也有數(shù)千到數(shù)萬(wàn)個(gè)，現(xiàn)在，都已改用AWS的數(shù)據(jù)庫(kù)服務(wù)，如Redshift、Amazon RDS，Aurora與DynamoDB等。

　　除了數(shù)據(jù)存儲(chǔ)之外，Amazon也將過去沿用了20年關(guān)鍵核心財(cái)務(wù)系統(tǒng)用的Oracle數(shù)據(jù)庫(kù)，也都一并搬上AWS，總共搬遷多達(dá)93個(gè)數(shù)據(jù)庫(kù)、185個(gè)實(shí)例，累積120TB的資料量，現(xiàn)在都改使用DynamoDB云端數(shù)據(jù)庫(kù)。經(jīng)過改用新的數(shù)據(jù)庫(kù)以後，除了更易於管理，更高可靠，更加快近一倍的反應(yīng)處理時(shí)間，也替Amazon省下70%整體成本。

　　1. 必須先提高能見度，全盤了解數(shù)據(jù)庫(kù)使用狀況，以利掌控進(jìn)度。

　　2. 搬遷工程影響許多單位，事前須盡早尋求高層支持。

　　3. 須先獲得所有數(shù)據(jù)庫(kù)管理人員的支持，搬遷才能順利。

　　4. 搬遷過程，應(yīng)單獨(dú)設(shè)立一組開發(fā)團(tuán)隊(duì)，解決不同數(shù)據(jù)庫(kù)團(tuán)隊(duì)的共通問題，有助加快遷移。

　　5. 執(zhí)行全程須與AWS團(tuán)隊(duì)保持密切合作。

　　6. 團(tuán)隊(duì)?wèi)?yīng)克服對(duì)技術(shù)的恐懼，找出最棘手及真正的技術(shù)問題。

　　7. 認(rèn)清便宜沒好貨，應(yīng)追求最高價(jià)值，而非最省成本。

　　8. 以整體效率的改善，來說服尚未轉(zhuǎn)換的單位。

　　9. 資料上云後，要建立統(tǒng)一管理平臺(tái)。

　　10. 隨時(shí)保有擴(kuò)充彈性，然後慶祝勝利到來。

　　資料來源：AWS，iThome整理，2018年12月