近期，由快手開源并捐贈(zèng)的向量化引擎Auron項(xiàng)目（原Blaze項(xiàng)目）正式進(jìn)入全球最大開源基金會(huì)（ASF）的孵化器，移交到Apache軟件基金會(huì)名下。這是Auron項(xiàng)目及其社區(qū)發(fā)展的重要里程碑，標(biāo)志著項(xiàng)目可以依托ASF成熟的開源治理范式，融入全球開源共同體，獲得更可持續(xù)的創(chuàng)新動(dòng)能與影響力。
1、 Auron介紹
Auron是基于向量化技術(shù)開發(fā)的一套Native執(zhí)行引擎，可以充分利用Native代碼和SIMD指令向量化優(yōu)勢(shì)，以實(shí)現(xiàn)減少資源開銷、加速執(zhí)行的目的。
其核心能力包括：
原生執(zhí)行：采用Rust實(shí)現(xiàn)，消除JVM開銷以取得更好的性能表現(xiàn)；向量化計(jì)算：基于Apache Arrow列式格式構(gòu)建，充分利用SIMD指令優(yōu)化批處理；可插拔架構(gòu)：與Apache Spark無(wú)縫集成，同時(shí)設(shè)計(jì)上支持未來(lái)擴(kuò)展至其他計(jì)算引擎；生產(chǎn)環(huán)境強(qiáng)化優(yōu)化：開發(fā)了多級(jí)內(nèi)存管理、優(yōu)化Shuffle格式及自適應(yīng)執(zhí)行策略等優(yōu)化機(jī)制，并在生產(chǎn)環(huán)境大規(guī)模應(yīng)用落地。
基于Auron，在TPC-DS上相比Spark可以取得2+倍的性能提升：
2、 Auron發(fā)展歷史與現(xiàn)狀
2022年1月，快手大數(shù)據(jù)Spark引擎團(tuán)隊(duì)正式啟動(dòng)了Blaze項(xiàng)目，項(xiàng)目一開始便選擇全面擁抱開源社區(qū)，全部代碼在GitHub上公開可見。歷經(jīng)一年多的迭代，2023年9月，Blaze在TPC-H/TPC-DS等Beachmark上取得了顯著的性能提升。同時(shí)，團(tuán)隊(duì)也圍繞生產(chǎn)環(huán)境進(jìn)行了大量?jī)?yōu)化，并在快手內(nèi)部實(shí)現(xiàn)了大規(guī)模應(yīng)用。目前，Blaze在快手日均運(yùn)行數(shù)十萬(wàn)個(gè)任務(wù)、處理EB級(jí)別數(shù)據(jù)，展現(xiàn)出卓越的性能和穩(wěn)定性，為快手每年節(jié)約數(shù)千萬(wàn)元服務(wù)器成本。
在社區(qū)運(yùn)營(yíng)方面，快手于2024年1月展開了開源社區(qū)的管理工作。自Blaze開源以來(lái)，已累計(jì)發(fā)布了10余個(gè)版本，GitHub上的Star數(shù)量超過(guò)1.5K。該項(xiàng)目吸引了來(lái)自全球的30多位開發(fā)者積極貢獻(xiàn)代碼，社區(qū)活躍度不斷提升。憑借出色的性能、穩(wěn)定性和易用性，Blaze被滴滴、攜程、汽車之家、58同城、OPPO等多個(gè)行業(yè)的公司廣泛使用，并在應(yīng)用過(guò)程中，獲得一致好評(píng)。
2025年8月，Blaze項(xiàng)目正式進(jìn)入ASF孵化器，并更名為Auron（發(fā)音： [???rɑ?n] ），其靈感來(lái)源Aura（能量場(chǎng)）。Auron寓意為大數(shù)據(jù)引擎所帶來(lái)的強(qiáng)大性能。未來(lái)，Auron社區(qū)也將會(huì)提供更多先進(jìn)功能，如Flink引擎、數(shù)據(jù)湖系統(tǒng)、GPU/DPU硬件的集成等。
3、 加入Apache孵化器
加入Apache軟件基金會(huì)孵化，源于快手團(tuán)隊(duì)對(duì)開源生態(tài)的深刻認(rèn)同，以及對(duì)項(xiàng)目長(zhǎng)期可持續(xù)發(fā)展的考量。目前Auron已在多家公司應(yīng)用落地，驗(yàn)證了其實(shí)用價(jià)值。然而，開源項(xiàng)目的生命力不僅依賴技術(shù)先進(jìn)性，更需要通過(guò)開放的社區(qū)治理、多元的貢獻(xiàn)者參與和透明的決策機(jī)制實(shí)現(xiàn)持續(xù)進(jìn)化。我們始終相信，開源的價(jià)值在于“共享”與“共創(chuàng)”。
我們將嚴(yán)格遵守Apache的治理規(guī)范，推動(dòng)項(xiàng)目代碼、文檔與社區(qū)的全面透明化，吸引更多開發(fā)者參與技術(shù)迭代，與Apache生態(tài)中的其他大數(shù)據(jù)項(xiàng)目（如Spark/Flink/Celeborn等）形成技術(shù)互補(bǔ)，共同推動(dòng)大數(shù)據(jù)領(lǐng)域的技術(shù)持續(xù)創(chuàng)新。
我們堅(jiān)信，在Apache基金會(huì)的指導(dǎo)與社區(qū)的支持下，Auron項(xiàng)目將加速成長(zhǎng)為具有全球影響力的開源項(xiàng)目，為技術(shù)創(chuàng)新貢獻(xiàn)長(zhǎng)期價(jià)值。
我們誠(chéng)摯地邀請(qǐng)對(duì)Auron感興趣的各位開發(fā)者和用戶加入開源社區(qū)，共同推動(dòng)項(xiàng)目進(jìn)一步的發(fā)展。您可以通過(guò)以下方式關(guān)注和了解社區(qū)的最近動(dòng)態(tài)，期待您的加入！
