全球最大的開(kāi)源軟件基金會(huì) Apache 軟件基金會(huì)(以下簡(jiǎn)稱 Apache)于美國(guó)時(shí)間 2022 年 6 月 16 日宣布,Apache Doris 成功從 Apache 孵化器畢業(yè),正式成為 Apache 頂級(jí)項(xiàng)目(Top-Level Project,TLP)。
Apache Doris 官方網(wǎng)站:http://doris.apache.org
Apache Doris GitHub:https://github.com/apache/incubator-doris
Apache Doris 是一個(gè)基于 MPP 的現(xiàn)代化、高性能、實(shí)時(shí)的分析型數(shù)據(jù)庫(kù),以極速易用的特點(diǎn)被人們所熟知,僅需亞秒級(jí)響應(yīng)時(shí)間即可返回海量數(shù)據(jù)下的查詢結(jié)果,不僅可以支持高并發(fā)的點(diǎn)查詢場(chǎng)景,也能支持高吞吐的復(fù)雜分析場(chǎng)景;诖,Apache Doris 在多維報(bào)表、用戶畫(huà)像、即席查詢、實(shí)時(shí)大屏等諸多業(yè)務(wù)領(lǐng)域都能得到很好應(yīng)用。
Apache Doris 最早是誕生于百度內(nèi)部廣告報(bào)表業(yè)務(wù)的 Palo 項(xiàng)目,2017 年正式對(duì)外開(kāi)源,2018 年 7 月由百度捐贈(zèng)給 Apache 基金會(huì)進(jìn)行孵化,之后在 Apache 導(dǎo)師的指導(dǎo)下由孵化器項(xiàng)目管理委員會(huì)成員進(jìn)行孵化和運(yùn)營(yíng)。
“我們很自豪 Doris 能夠順利從Apache孵化器畢業(yè),這是一個(gè)重要的里程碑。在整個(gè)孵化階段,依靠 Apache 理念的指導(dǎo)和孵化器導(dǎo)師的幫助,我們學(xué)會(huì)了如何以Apache的方式去發(fā)展我們的項(xiàng)目與社區(qū),也在這一進(jìn)程中獲得了巨大的成長(zhǎng)。” Apache Doris VP 陳明雨說(shuō)道。
目前 Apache Doris 社區(qū)已經(jīng)聚集了來(lái)自不同行業(yè)近百家企業(yè)的 300 余位貢獻(xiàn)者,并且每月活躍貢獻(xiàn)者人數(shù)也接近 100 位。在孵化期間,Apache Doris 一共發(fā)布了 8 個(gè)重要版本,完成了包括存儲(chǔ)引擎升級(jí)、向量化執(zhí)行引擎等諸多重大功能,并正式發(fā)布了 1.0 版本。正是依靠這些來(lái)自開(kāi)源貢獻(xiàn)者的力量,才使得 Apache Doris 取得了今天的成績(jī)。
與此同時(shí),Apache Doris 如今在中國(guó)乃至全球范圍內(nèi)都擁有著廣泛的用戶群體,截止目前, Apache Doris 已經(jīng)在全球超過(guò) 500 家企業(yè)的生產(chǎn)環(huán)境中得到應(yīng)用,在中國(guó)市值或估值排行前50的互聯(lián)網(wǎng)公司中,有超過(guò) 80% 的公司長(zhǎng)期使用 Apache Doris,包括百度、美團(tuán)、小米、京東、字節(jié)跳動(dòng)、騰訊、快手、網(wǎng)易、微博、新浪、360 等知名公司。同時(shí)在一些傳統(tǒng)行業(yè)如金融、能源、制造、電信等領(lǐng)域也有著豐富的應(yīng)用。
“你可以基于 Apache Doris 快速構(gòu)建一個(gè)簡(jiǎn)單易用并且性能強(qiáng)大的數(shù)據(jù)分析平臺(tái),非常易于上手,所需要付出的學(xué)習(xí)成本非常低。并且 Apache Doris 的分布式架構(gòu)非常簡(jiǎn)潔,可以極大降低系統(tǒng)運(yùn)維的工作量,這也是越來(lái)越多用戶選擇 Apache Doris 的關(guān)鍵因素。”
作為一款成熟的分析型數(shù)據(jù)庫(kù)項(xiàng)目,Apache Doris 有以下優(yōu)勢(shì):
- 性能優(yōu)異:自帶高效的列式存儲(chǔ)引擎,減少數(shù)據(jù)掃描量的同時(shí)還實(shí)現(xiàn)了超高的數(shù)據(jù)壓縮比。同時(shí) Doris 還提供了豐富的索引結(jié)構(gòu)來(lái)加速數(shù)據(jù)讀取與過(guò)濾,利用分區(qū)分桶裁剪功能,Doris 可以支持在線服務(wù)業(yè)務(wù)的超高并發(fā),單節(jié)點(diǎn)最高可支持上千 QPS。更進(jìn)一步,Apache Doris 結(jié)合了向量化執(zhí)行引擎來(lái)充分發(fā)揮現(xiàn)代化 CPU 并行計(jì)算能力,輔以智能物化視圖技術(shù)實(shí)現(xiàn)預(yù)聚合加速,并可以通過(guò)查詢優(yōu)化器同時(shí)進(jìn)行基于規(guī)劃和基于代價(jià)的查詢優(yōu)化。通過(guò)上述多種方式,實(shí)現(xiàn)了極致的查詢性能。
- 簡(jiǎn)單易用:支持標(biāo)準(zhǔn) ANSI SQL 語(yǔ)法,包括單表聚合、排序、過(guò)濾和多表 Join、子查詢等,還支持窗口函數(shù)、Grouping Set 等復(fù)雜 SQL 語(yǔ)法,同時(shí)用戶可以通過(guò) UDF 和 UDAF 等自定義函數(shù)來(lái)拓展系統(tǒng)功能。除此以外,Apache Doris 還實(shí)現(xiàn)了 MySQL 協(xié)議兼容,用戶可以通過(guò)各類客戶端工具來(lái)訪問(wèn) Doris,并支持與 BI 工具的無(wú)縫對(duì)接。
- 架構(gòu)精簡(jiǎn):系統(tǒng)只有兩個(gè) Frontend(FE)和 Backend(BE)兩個(gè)模塊,其中 FE 節(jié)點(diǎn)負(fù)責(zé)用戶請(qǐng)求的接入、查詢計(jì)劃的解析、元數(shù)據(jù)存儲(chǔ)及集群管理等工作,BE 節(jié)點(diǎn)負(fù)責(zé)數(shù)據(jù)存儲(chǔ)和查詢計(jì)劃的執(zhí)行,自身就是一個(gè)完備的分布式數(shù)據(jù)庫(kù)管理系統(tǒng),用戶無(wú)需安裝任何第三方管控組件即可運(yùn)行起 Apache Doris 集群,并且部署和升級(jí)過(guò)程都非常簡(jiǎn)易。同時(shí),任一模塊都可以支持橫向拓展,集群最高可以拓展到數(shù)百個(gè)節(jié)點(diǎn),支持存儲(chǔ)超過(guò) 10PB 的超大規(guī)模數(shù)據(jù)。
- 穩(wěn)定可靠:支持?jǐn)?shù)據(jù)多副本存儲(chǔ),集群具備自愈功能,自身的分布式管理框架可以自動(dòng)管理數(shù)據(jù)副本的分布、修復(fù)和均衡,副本損壞時(shí)系統(tǒng)可以自動(dòng)感知并進(jìn)行修復(fù)。節(jié)點(diǎn)擴(kuò)容時(shí),僅需一條 SQL 命令即可完成,數(shù)據(jù)分片會(huì)自動(dòng)在節(jié)點(diǎn)間均衡,無(wú)需人工干預(yù)或操作。無(wú)論是擴(kuò)容、縮容、單節(jié)點(diǎn)故障還是在升級(jí)過(guò)程中,系統(tǒng)都無(wú)需停止運(yùn)行,可正常提供穩(wěn)定可靠的在線服務(wù)。
- 生態(tài)豐富:提供豐富的數(shù)據(jù)同步方式,支持快速加載來(lái)自本地、Hadoop、Flink、Spark、Kafka、SeaTunnel 等系統(tǒng)中的數(shù)據(jù),也可以直接訪問(wèn) MySQL、PostgreSQL、Oracle、S3、Hive、Iceberg、Elasticsearch 等系統(tǒng)中的數(shù)據(jù)而無(wú)需數(shù)據(jù)復(fù)制。同時(shí)存儲(chǔ)在 Doris 中的數(shù)據(jù)也可以被 Spark、Flink 讀取,并且可以輸出給上游數(shù)據(jù)應(yīng)用進(jìn)行展示分析。
“畢業(yè)不是最終目標(biāo),它是新征程的起點(diǎn)。”陳明雨說(shuō)到。“在過(guò)去,我們發(fā)起 Doris 的目標(biāo)是為更多人提供體驗(yàn)更佳的數(shù)據(jù)分析工具、解決他們數(shù)據(jù)分析的難題。成為 Apache 頂級(jí)項(xiàng)目一方面是對(duì) Apache Doris 社區(qū)過(guò)去所有貢獻(xiàn)者一直以來(lái)辛勤工作的肯定,另一方面也意味著我們?cè)?Apache Way 的指引下建立了一個(gè)強(qiáng)大的、繁榮的、可持續(xù)發(fā)展的開(kāi)源社區(qū)。未來(lái)我們將會(huì)繼續(xù)以 Apache 方式運(yùn)作社區(qū),相信會(huì)吸引到更多優(yōu)秀的開(kāi)源貢獻(xiàn)者參與社區(qū)中來(lái),社區(qū)也會(huì)在所有貢獻(xiàn)者的幫助下得到進(jìn)一步成長(zhǎng)。”
“Apache Doris 后續(xù)將開(kāi)展更多富有挑戰(zhàn)且有意義的工作,包括新的查詢優(yōu)化器、對(duì)湖倉(cāng)一體化的支持,以及面向云上基礎(chǔ)設(shè)施的架構(gòu)演進(jìn)等等。歡迎更多的開(kāi)源技術(shù)愛(ài)好者加入Apache Doris 的社區(qū),攜手共成長(zhǎng)。”
“我們?cè)俅斡芍缘馗兄x所有參與建設(shè) Apache Doris 社區(qū)的貢獻(xiàn)者們,以及所有使用 Apache Doris 并不斷提出改進(jìn)建議的用戶們。同時(shí)也感謝一路走來(lái),不斷鼓勵(lì)、支持和幫助過(guò)我們的孵化器導(dǎo)師、IPMC成員以及各個(gè)開(kāi)源項(xiàng)目社區(qū)的朋友們。”
關(guān)于 SelectDB
SelectDB 是一家開(kāi)源技術(shù)公司,致力于為 Apache Doris 社區(qū)提供一個(gè)由全職工程師、產(chǎn)品經(jīng)理和支持工程師組成的團(tuán)隊(duì),繁榮開(kāi)源社區(qū)生態(tài),打造實(shí)時(shí)分析型數(shù)據(jù)庫(kù)領(lǐng)域的國(guó)際工業(yè)界標(biāo)準(zhǔn)。基于 Apache Doris研發(fā)的新一代云原生實(shí)時(shí)數(shù)倉(cāng) SelectDB,運(yùn)行于多家云上,為用戶和客戶提供開(kāi)箱即用的能力。
相關(guān)鏈接
SelectDB 官方網(wǎng)站:
https://selectdb.com (We Are Coming Soon)
Apache Doris 官方網(wǎng)站:
http://doris.apache.org
Apache Doris Github:
https://github.com/apache/incubator-doris
Apache Doris 開(kāi)發(fā)者郵件組:
dev@doris.apache.org