一、頂會概覽

VLDB 2021上，阿里云計算平臺MaxCompute參與的論文入選，核心分布式調(diào)度執(zhí)行引擎Fangorn、基于TVR Cost模型的通用增量計算優(yōu)化器框架Tempura等分別被Industry Track、Research Track錄取。

作為數(shù)據(jù)管理與數(shù)據(jù)庫領(lǐng)域三大頂級學(xué)術(shù)會議之一，VLDB每年都吸引了各大高校、科研機(jī)構(gòu)與科技公司的論文投稿，許多重要技術(shù)成果都在VLDB上中選發(fā)布。

多篇研究成果的發(fā)布離不開25位計算平臺布道師和達(dá)摩院布道師花費(fèi)大量時間撰寫和修改，布道師們通過撰寫論文和參加學(xué)術(shù)會議，借助布道的力量，傳播阿里云技術(shù)優(yōu)勢，為推動開放共贏的云計算生態(tài)作出積極貢獻(xiàn)。

二、首次提出多種執(zhí)行模式和調(diào)度策略混合的動態(tài)設(shè)計

Fangorn在業(yè)界首次提出通過混合執(zhí)行模式來管理分布式作業(yè)的設(shè)計，允許執(zhí)行框架自動探索性能與資源利用間的最佳平衡。 其采用的組件間輕耦合的分層架構(gòu)，能根據(jù)實(shí)時數(shù)據(jù)統(tǒng)計信息，對分布式作業(yè)進(jìn)行多層次的動態(tài)調(diào)整，為MaxCompute以及PAI平臺上的多種計算作業(yè)提供自適應(yīng)的最優(yōu)執(zhí)行計劃。

”如何在超大規(guī)模集群和系統(tǒng)中，同時管理多種計算負(fù)載的問題，是當(dāng)前業(yè)界數(shù)據(jù)公司的重點(diǎn)研究方向“，F(xiàn)angorn在這些方向上的創(chuàng)新，以及在MaxCompute等多個生產(chǎn)平臺上的全面落地，為分布式系統(tǒng)的多層次優(yōu)化打開了大門。

Fangorn執(zhí)行框架整體架構(gòu)

三、首個基于TVR Cost模型的通用增量計算優(yōu)化器框架

Tempura提出了一種介于傳統(tǒng)流處理和批處理之間的全新增量計算模式，結(jié)合批處理的高資源利用率和流處理低延遲的優(yōu)勢，提供了在計算資源消耗、執(zhí)行時間調(diào)度、查詢延遲、數(shù)據(jù)處理粒度等方面的靈活權(quán)衡。提出了世界上首個基于TVR Cost模型的通用增量計算優(yōu)化器框架，在集成眾多現(xiàn)有增量計算方法的同時，用戶可以隨時增添任意自定義增量計算方法。

世界上首個落地生產(chǎn)的漸進(jìn)式優(yōu)化項目，在MaxCompute漸進(jìn)式智能數(shù)據(jù)倉庫業(yè)務(wù)中廣泛使用，相比傳統(tǒng)批處理，在縮短作業(yè)運(yùn)行時間的同時，節(jié)省大量計算資源。

四、阿里云布道師、論文作者：

論文Fangorn:Adaptive Execution Framework forHeterogeneous Workloads on

Shared Clusters

陳穎達(dá)、王家忙、陸一峰、韓穎、呂志強(qiáng)、閔雪賓、才華、張煒、范浩川、李超、關(guān)濤、林偉、賈揚(yáng)清、周靖人

論文Tempura:A General Cost-Based Optimizer Framework for Incremental Data Processing

王作至、曾凱、黃柏彤、陳唯、崔曉宗、王博、劉吉、樊莉亞、渠大川、侯震宇、關(guān)濤、李晨、周靖人

五、延伸閱讀：

VLDB全稱International Conference on Very Large Date Bases，是數(shù)據(jù)庫領(lǐng)域的頂級學(xué)術(shù)會議，和SIGMOD、ICDE共同構(gòu)成了數(shù)據(jù)管理與數(shù)據(jù)庫領(lǐng)域的三大頂級會議。本次2021大會共收錄了216篇Research Paper、23篇Industry Paper、56篇Demo Paper 。

論文Fangorn: Adaptive Execution Framework for Heterogeneous Workloads on Shared Clusters（http://vldb.org/pvldb/vol14/p2972-chen.pdf）

論文Tempura: A General Cost-Based Optimizer Framework for Incremental Data Processing（http://www.vldb.org/pvldb/vol14/p14-wang.pdf）