有一說一，騰訊已經(jīng)成為中國實(shí)時數(shù)據(jù)計(jì)算量最大的公司。

　　騰訊云聯(lián)合內(nèi)部打造一套算力共享平臺，該算力彈性資源池有20萬的規(guī)模，大數(shù)據(jù)平臺每天有1500萬的分析任務(wù)、30萬億次的實(shí)時計(jì)算量，并且每天數(shù)據(jù)接入條數(shù)達(dá)35萬億條數(shù)據(jù)。騰訊云自身的分布式機(jī)器學(xué)習(xí)平臺，則能支撐1萬億維度的數(shù)據(jù)訓(xùn)練。

　　走到這一步，騰訊大數(shù)據(jù)能力在十年間進(jìn)行了四次大規(guī)模升級。自研，正在成為騰訊的關(guān)鍵詞。

　　十年前，騰訊管理幾百個節(jié)點(diǎn)都很困難，為了有效解決計(jì)算能力和大規(guī)模集群問題，騰訊自研調(diào)度器，相對原生調(diào)度器性能提升150倍，大大提升了集群可擴(kuò)展性。

　　2016年，騰訊打破Sort Benchmark四項(xiàng)世界紀(jì)錄，標(biāo)志著算力已經(jīng)達(dá)到世界領(lǐng)先水平。

　　由于騰訊20萬臺彈性資源池的機(jī)器分布在多個數(shù)據(jù)中心，不同地區(qū)甚至不同國家，為了降低數(shù)據(jù)使用壁壘，騰訊在2018年自研了漂移計(jì)算引擎SuperSQL。

　　作為統(tǒng)一的數(shù)據(jù)分析入口，SuperSQL通過智能CBO優(yōu)化器，將計(jì)算下推到分布在各地的異構(gòu)數(shù)據(jù)源，數(shù)據(jù)分析性能提高N倍，且數(shù)據(jù)量越大優(yōu)勢越明顯。

　　隨著模型的增大，最初用來做數(shù)據(jù)訓(xùn)練的MR、Spark已經(jīng)不能滿足上億的模型維度的需求。2015年初，騰訊開始自研高性能的分布式機(jī)器學(xué)習(xí)平臺Angel，采用PS架構(gòu)，能支持10億維度。

　　目前Angel發(fā)展到3.0版本，能支持萬億維度，也可以兼容Spark、PyTorch、TensorFlow等生態(tài)，進(jìn)一步降低了使用門檻。此外，Angel今年還新增了對深度學(xué)習(xí)、圖計(jì)算等的支持。

　　騰訊云副總裁、騰訊數(shù)據(jù)平臺部總經(jīng)理蔣杰

　　目前，騰訊正在研究以批流融合、ABC融合、以及數(shù)據(jù)湖和聯(lián)邦學(xué)習(xí)為方向的下一代大數(shù)據(jù)平臺的研究，該平臺將具備混合部署、跨域數(shù)據(jù)共享和邊緣計(jì)算等能力。

　　而支撐起這種量級的計(jì)算（短短5、6年時間增長了幾千倍）背后，是騰訊在基礎(chǔ)設(shè)施上的不斷演進(jìn)。

　　在Techo大會現(xiàn)場，騰訊首次全面披露了20年來基礎(chǔ)設(shè)施方面的技術(shù)積累：

　　騰訊云副總裁、云架構(gòu)平臺部總經(jīng)理謝明

　　騰訊全網(wǎng)服務(wù)器總量超過100萬臺，是中國首家服務(wù)器總量超過百萬的公司，也是全球五家服務(wù)器數(shù)量過百萬的公司之一。

　　經(jīng)過早年使用通用服務(wù)器到定制服務(wù)器，騰訊現(xiàn)已推出自研服務(wù)器——星星海

　　星星海采用可信鏈傳遞的硬件防篡改能力、先進(jìn)的熱虹吸管散熱技術(shù)以及精細(xì)化的風(fēng)道設(shè)計(jì)和風(fēng)扇控制，實(shí)現(xiàn)了TCO降低30%、負(fù)載能效提升50%、實(shí)例綜合性能提升35%。

　　第四代數(shù)據(jù)中心T-Block按照搭積木的方式，實(shí)現(xiàn)了全數(shù)據(jù)中心的模塊化配置及快速建設(shè)，相比于傳統(tǒng)大規(guī)模數(shù)據(jù)中心，現(xiàn)場施工周期縮短一半，自然冷卻技術(shù)可以將PUE降低至業(yè)界領(lǐng)先的1.2以下。

　　采用T-Block方案，一個擁有30萬臺服務(wù)器的園區(qū)一年可節(jié)省2.5億度電。

　　騰訊已經(jīng)與全球超過100家運(yùn)營商建立了網(wǎng)絡(luò)互連。

　　基于SDN和NFV自研分布式路由器集群替換傳統(tǒng)商業(yè)大型路由器，騰訊實(shí)現(xiàn)全網(wǎng)所有的軟件路由器的集中管控，能做到根據(jù)目的IP做單個用戶的流量調(diào)度；通過構(gòu)建開放光網(wǎng)絡(luò)，基于SONiC自研交換機(jī)等，將網(wǎng)絡(luò)設(shè)備TCO下降20%+。

　　騰訊云云計(jì)算操作系統(tǒng)VStation目前做到了每分鐘交付千臺虛擬機(jī)的能力，使得一個中等規(guī)模公司的計(jì)算需求可以快速得到滿足。同時，騰訊通過DPDK、智能網(wǎng)卡等軟硬件方案，將網(wǎng)絡(luò)、存儲等IO消耗卸載到硬件上，實(shí)現(xiàn)了虛擬機(jī)零損耗和虛擬機(jī)之間的零干擾。

　　騰訊云對象存儲COS實(shí)現(xiàn)了集群全體節(jié)點(diǎn)參與系統(tǒng)吞吐，磁盤利用率達(dá)到90%以上，同時系統(tǒng)的完全自治也大幅降低了運(yùn)維的人工投入。

　　從最早的MySQL開始，經(jīng)歷QQ、Q-zone等業(yè)務(wù)爆發(fā)增長的騰訊逐漸選擇了數(shù)據(jù)庫自研路線。

　　目前，騰訊云也通過開源托管、商業(yè)合作、自主研發(fā)三管齊下，提供了接近20種數(shù)據(jù)庫產(chǎn)品，讓用戶從選云、上云、用云全流程暢通無阻。

　　騰訊正在成為大數(shù)據(jù)領(lǐng)域開源最全面的公司。

　　在現(xiàn)場，騰訊正式對四大重點(diǎn)開源項(xiàng)目進(jìn)行了聯(lián)合發(fā)布，包括：

　　截至目前，騰訊已經(jīng)在Github上已經(jīng)開源了86個項(xiàng)目，超過1000個貢獻(xiàn)者參與了開源貢獻(xiàn)，擁有超過25萬個Star數(shù)。騰訊在Github全球公司貢獻(xiàn)榜上排名前十，并已成為Apache基金會、 Linux基金會以及Openstack國際三大基金會的頂級白金贊助商，國內(nèi)尚屬首家。

　　“代碼是一個最沒有國界的語言。“Show me the code”，現(xiàn)在你只要展示出代碼，大家就知道你想表達(dá)什么東西。

　　騰訊云的基礎(chǔ)產(chǎn)品也在朝極致彈性的方向努力。

　　騰訊云打造的第三代通用計(jì)算平臺「無服務(wù)函數(shù)計(jì)算」，能夠提供更好的彈性能力，真正意義上做到資源使用率100%，用戶相應(yīng)成本下降50%以上。

　　通過函數(shù)并發(fā)監(jiān)控數(shù)據(jù)實(shí)時計(jì)算，提前擴(kuò)容，我們使函數(shù)冷啟動率降低到萬分之一以內(nèi)。自研的輕量級虛擬化技術(shù)，能在35ms內(nèi)啟動一臺虛擬機(jī)，創(chuàng)造了業(yè)界目前能最快啟動一臺虛擬機(jī)的記錄，這一技術(shù)還被穩(wěn)定應(yīng)用于“小程序·云開發(fā)”。

　　騰訊云對象存儲COS還提供了不同地域不同計(jì)費(fèi)的方式，用戶根據(jù)使用場景，按需選擇最劃算的方案。

　　數(shù)據(jù)庫產(chǎn)品CynosDB則基于計(jì)算存儲解耦架構(gòu)，支持超大實(shí)例并實(shí)現(xiàn)更好的彈性能力。單實(shí)例最多可以達(dá)到百TB級別，而多計(jì)算節(jié)點(diǎn)間的存儲共享，可以使同一實(shí)例的計(jì)算節(jié)點(diǎn)擴(kuò)展到15個。

　　截至目前，騰訊云已經(jīng)服務(wù)了數(shù)百萬開發(fā)者，給到開發(fā)者的資源扶持超過100億元。

　　今天，用云、上云已經(jīng)變成大勢所趨，更有越來越多的產(chǎn)品，直接在云中誕生、在云中生長，云計(jì)算基礎(chǔ)架構(gòu)在一切背后、更在一切之前。我們期待與所有的云上開發(fā)者一同成長，共創(chuàng)未來！來源：騰訊云