作者 | PolarDB數(shù)據(jù)庫(kù)

數(shù)據(jù)庫(kù)與芯片、操作系統(tǒng)并列為全球信息技術(shù)三大件，也是企業(yè)IT系統(tǒng)必不可少的核心技術(shù)，同時(shí)也是一切數(shù)字處理、計(jì)算力和智能化的基石。

上世紀(jì)70年代，E.F.Codd 發(fā)表了一篇?jiǎng)潟r(shí)代的論文“A Relational Model of Data for Large Shared Data Banks”。從這篇論文開始，關(guān)系型數(shù)據(jù)庫(kù)軟件革命的序幕被拉開了。80 年代初期支持 SQL 的商用關(guān)系型數(shù)據(jù)庫(kù)Oracle和 DB2相繼面市，以及 90 年代誕生的 SQL Server，開源的MySQL、PostgreSQL等都是關(guān)系型數(shù)據(jù)庫(kù)成功的代表。

時(shí)至今日，隨著全球不同類型數(shù)據(jù)的指數(shù)級(jí)增長(zhǎng)，市場(chǎng)上涌現(xiàn)出越來(lái)越多的新型數(shù)據(jù)庫(kù)，然而關(guān)系型數(shù)據(jù)庫(kù)仍然占據(jù)主導(dǎo)地位。根據(jù)市場(chǎng)研究機(jī)構(gòu)IDC的最新統(tǒng)計(jì)數(shù)據(jù)顯示，關(guān)系型在全球數(shù)據(jù)庫(kù)中占據(jù)約80%的份額。

關(guān)系型數(shù)據(jù)庫(kù)經(jīng)受住時(shí)間的考驗(yàn)，為全世界用戶的鐘愛，最主要的原因之一就是關(guān)系型數(shù)據(jù)庫(kù)采用了 SQL 標(biāo)準(zhǔn)，這種高級(jí)的非過程化編程接口語(yǔ)言，將計(jì)算機(jī)科學(xué)和易于人類理解認(rèn)知的數(shù)據(jù)管理方式完美的銜接在了一起。到今天，這種編程語(yǔ)言還沒有更加完美的替代品。

數(shù)十年來(lái)，關(guān)系型數(shù)據(jù)庫(kù)都應(yīng)用在以IOE為代表的軟硬件緊耦合的技術(shù)架構(gòu)環(huán)境之下，但是今天，關(guān)系型數(shù)據(jù)庫(kù)面對(duì)著云計(jì)算是承載工作流的主要環(huán)境的巨大改變。

這種使用環(huán)境的變革性遷移之下，客戶對(duì)關(guān)系型數(shù)據(jù)庫(kù)也提出了新的要求，比如可以支持更大的存儲(chǔ)、彈性擴(kuò)縮容上更靈活，甚至數(shù)據(jù)庫(kù)可以實(shí)現(xiàn)“自動(dòng)駕駛”。

阿里云的數(shù)據(jù)庫(kù)團(tuán)隊(duì)認(rèn)識(shí)到，如果基于傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)的架構(gòu)進(jìn)行小修小補(bǔ)，很難解決這些客戶提出的問題，必須從根本上演進(jìn)云上的關(guān)系型數(shù)據(jù)庫(kù)架構(gòu)，做一個(gè)全新的云原生關(guān)系型數(shù)據(jù)庫(kù)。

PolarDB云原生關(guān)系型數(shù)據(jù)庫(kù)也就此誕生。

過去5年，阿里云針對(duì)PolarDB進(jìn)行了諸多創(chuàng)新，通過采用存儲(chǔ)計(jì)算分離、軟硬一體化設(shè)計(jì)，PolarDB實(shí)現(xiàn)成本僅為傳統(tǒng)商業(yè)數(shù)據(jù)庫(kù)的十分之一。所實(shí)現(xiàn)的計(jì)算、內(nèi)存與存儲(chǔ)資源的“三層解耦”架構(gòu)、多主多寫、基于IMCI（內(nèi)存列存索引）的HTAP、Serverless等功能已是全球首創(chuàng)或業(yè)內(nèi)領(lǐng)先的技術(shù)。

從PolarDB發(fā)布以來(lái)，它在技術(shù)和商業(yè)化上都獲得了迅猛發(fā)展，如今已經(jīng)成為阿里云數(shù)據(jù)庫(kù)產(chǎn)品家族中最閃耀的產(chǎn)品。

在本文中，我們將向大家詳細(xì)介紹，PolarDB發(fā)布5年來(lái)所實(shí)現(xiàn)的技術(shù)創(chuàng)新。

“三層解耦”：資源解耦的極致

從40多年前數(shù)據(jù)庫(kù)誕生開始，數(shù)據(jù)庫(kù)的CPU和內(nèi)存都是綁定在一起的，最多做到計(jì)算和存儲(chǔ)解耦，沒有數(shù)據(jù)庫(kù)能做到CPU和內(nèi)存的解耦，即使演進(jìn)到目前的云原生數(shù)據(jù)庫(kù)階段，在PolarDB之前也沒有任何數(shù)據(jù)庫(kù)能夠做到這一點(diǎn)。

然而在云計(jì)算時(shí)代，每一層的資源解耦都可以使得彈性能力帶來(lái)數(shù)量級(jí)的提升。當(dāng)前云原生數(shù)據(jù)庫(kù)雖然實(shí)現(xiàn)了計(jì)算存儲(chǔ)的解耦，相對(duì)于傳統(tǒng)數(shù)據(jù)庫(kù)，其彈性能力有了不小的提升，但是CPU和內(nèi)存的強(qiáng)耦合極大地限制了彈性能力的進(jìn)一步提升，難以實(shí)現(xiàn)秒級(jí)跨機(jī)遷移；同時(shí)也限制了內(nèi)存的橫向擴(kuò)展，使得內(nèi)存受到單機(jī)容量限制。

PolarDB歷史性地提出并實(shí)現(xiàn)了基于CPU、內(nèi)存和存儲(chǔ)資源分離的“三層解耦”架構(gòu)，構(gòu)建了獨(dú)立的CPU資源池、分布式內(nèi)存資源池、分布式存儲(chǔ)資源池，實(shí)現(xiàn)了資源的徹底解耦，CPU和內(nèi)存分別獨(dú)立計(jì)費(fèi)。同時(shí)通過分布式內(nèi)存和數(shù)據(jù)庫(kù)秒級(jí)跨機(jī)遷移，使得彈性能力有了數(shù)量級(jí)的提升，大幅降本增效。

多主架構(gòu)：云原生數(shù)據(jù)庫(kù)不再是單寫數(shù)據(jù)庫(kù)

云原生數(shù)據(jù)庫(kù)從誕生開始，就和一寫多讀綁定在了一起，似乎云原生數(shù)據(jù)庫(kù)天生只能是單寫。寫擴(kuò)展能力的缺失，給用戶帶來(lái)了很大的困擾，很多用戶在寫節(jié)點(diǎn)到達(dá)甚至接近最大規(guī)格一半的時(shí)候，就開始擔(dān)憂后續(xù)業(yè)務(wù)快速增長(zhǎng)會(huì)導(dǎo)致數(shù)據(jù)庫(kù)出現(xiàn)瓶頸，因此不得不重新考慮其他數(shù)據(jù)庫(kù)架構(gòu)方案，而放棄云原生數(shù)據(jù)庫(kù)；亦或是依賴傳統(tǒng)數(shù)據(jù)庫(kù)的橫向擴(kuò)展方案，例如中間件來(lái)實(shí)現(xiàn)橫向擴(kuò)展。雖然業(yè)內(nèi)也有個(gè)別廠商開始嘗試多主節(jié)點(diǎn)，單受限于節(jié)點(diǎn)數(shù)，并不能實(shí)現(xiàn)真正的橫向?qū)憯U(kuò)展。

作為應(yīng)云而生的云原生數(shù)據(jù)庫(kù)，有沒有一個(gè)云原生的解決方案來(lái)實(shí)現(xiàn)寫擴(kuò)展呢？“PolarDB多主架構(gòu)”由此而生。這是業(yè)內(nèi)第一個(gè)支持大規(guī)模多主多寫的云原生數(shù)據(jù)庫(kù)，最大支持32個(gè)寫節(jié)點(diǎn)。在PolarDB多主架構(gòu)中，阿里云在整體架構(gòu)從元數(shù)據(jù)、事務(wù)、鎖、Undo/Redo、IO、代理等所有子系統(tǒng)均做了多主化改造；并采用了PolarFusion技術(shù)，實(shí)現(xiàn)了多個(gè)寫節(jié)點(diǎn)的高效數(shù)據(jù)交互。

PolarDB多主架構(gòu)從根本上解決了用戶的單主焦慮，使得PolarDB第一次突破了單主限制，實(shí)現(xiàn)了橫向?qū)憯U(kuò)展；數(shù)據(jù)互通后的主主互備通過消除備節(jié)點(diǎn)在RTO不變的情況下節(jié)約一半的成本；跨主節(jié)點(diǎn)秒級(jí)流量切換也為SaaS、游戲等行業(yè)解決了多租戶/游戲服的跨節(jié)點(diǎn)調(diào)度提供了強(qiáng)有力的手段。

Serverless的跨機(jī)突破

Serverless是最適合云數(shù)據(jù)庫(kù)的一種交付模式，實(shí)現(xiàn)了On-demand Provision，使得用戶不需要再為數(shù)據(jù)庫(kù)規(guī)劃容量，在高峰時(shí)自動(dòng)升配提升穩(wěn)定性，在低峰時(shí)自動(dòng)降配降低成本。因此一時(shí)間云數(shù)據(jù)庫(kù)廠商都紛紛推出了自己的Serverless形態(tài)。

然而，當(dāng)前業(yè)內(nèi)的數(shù)據(jù)庫(kù)Serverless形態(tài)均為單機(jī)Serverless，其容量上限受到了很大的限制（8~32 core），并不能很好的實(shí)現(xiàn)其高峰時(shí)自動(dòng)升配以保障穩(wěn)定性的目標(biāo)，也限制了企業(yè)級(jí)客戶的使用，同時(shí)讀寫節(jié)點(diǎn)自身的升降配對(duì)本節(jié)點(diǎn)的吞吐同樣存在影響。這些限制的本質(zhì)是目前云數(shù)據(jù)庫(kù)的無(wú)感跨機(jī)彈性和強(qiáng)一致跨機(jī)擴(kuò)展能力都尚不成熟，導(dǎo)致當(dāng)前的Serverless只能實(shí)現(xiàn)單節(jié)點(diǎn)下有限的Serverless。跨機(jī)彈性的限制是節(jié)點(diǎn)無(wú)法跨機(jī)調(diào)度，因此單節(jié)點(diǎn)彈性上限只能限制到一個(gè)遠(yuǎn)小于物理機(jī)限制的值；而跨機(jī)強(qiáng)一致讀擴(kuò)展的能力缺失，導(dǎo)致其無(wú)法通過增刪強(qiáng)一致的只讀節(jié)點(diǎn)來(lái)實(shí)現(xiàn)讀流量的彈性。

為解決單機(jī)Serverless的局限性，阿里云在業(yè)內(nèi)第一次突破了這兩個(gè)技術(shù)難點(diǎn)：基于事務(wù)續(xù)傳和秒級(jí)切換的無(wú)感秒切技術(shù)，解決跨機(jī)彈性問題；性能無(wú)損的強(qiáng)一致讀技術(shù)，結(jié)合熱節(jié)點(diǎn)池技術(shù)，解決跨機(jī)透明讀擴(kuò)展問題。

基于以上技術(shù)突破，PolarDB Serverless的上限規(guī)格突破了1000core，帶來(lái)了數(shù)量級(jí)的Serverless能力提升，使得Serverless技術(shù)有了支撐企業(yè)級(jí)業(yè)務(wù)的能力。

HTAP：同時(shí)處理交易和分析性負(fù)載

傳統(tǒng)面向OLTP場(chǎng)景設(shè)計(jì)的關(guān)系型數(shù)據(jù)庫(kù)，一般優(yōu)化目標(biāo)是提升單核性能/多核擴(kuò)展性/增強(qiáng)集群能力以提升可用性等，其分析性能往往不佳。然而真實(shí)業(yè)務(wù)的SQL又天然是TP/AP混合的，其需要事務(wù)處理和實(shí)時(shí)數(shù)據(jù)分析兼具的HTAP系統(tǒng)。面對(duì)此問題，傳統(tǒng)方案是使用一套數(shù)據(jù)同步系統(tǒng)串聯(lián)起上游的TP系統(tǒng)和下游的數(shù)倉(cāng)系統(tǒng)，形成一套搭積木的方案，用多套系統(tǒng)的組合來(lái)完成任務(wù)。

在云數(shù)據(jù)庫(kù)時(shí)代這種架構(gòu)因?yàn)榇?lián)了OLTP數(shù)據(jù)庫(kù)，消息中間件，OLAP數(shù)據(jù)庫(kù)三套系統(tǒng)，上下游協(xié)議不兼容，運(yùn)行維護(hù)復(fù)雜。在云上很難規(guī)模部署以滿足各種客戶的需求。

針對(duì)這些問題，在PolarDB云原生數(shù)據(jù)庫(kù)領(lǐng)域的技術(shù)積累基礎(chǔ)上，阿里云在PolarDB上推出了In-Memory Column Index功能，其為PolarDB帶來(lái)列式存儲(chǔ)以及內(nèi)存計(jì)算能力，讓用戶可以在一套PolarDB數(shù)據(jù)庫(kù)上同時(shí)運(yùn)行OLTP和OLAP型混合負(fù)載，在保證現(xiàn)有PolarDB優(yōu)異的OLTP性能的同時(shí)，大幅提升PolarDB在大數(shù)據(jù)量上運(yùn)行復(fù)雜查詢的性能，讓PolarDB 真正成為一款HTAP數(shù)據(jù)庫(kù)。

PolarDB HTAP包含如下幾個(gè)關(guān)鍵技術(shù)創(chuàng)新：

1. PolarDB存儲(chǔ)引擎新增對(duì)列式索引（Columnar Index）的支持，用戶可以選擇通過DDL將一張表的全部列或者部分列創(chuàng)建為列索引，同時(shí)列索引采用列壓縮存儲(chǔ)，其存儲(chǔ)空間消耗會(huì)遠(yuǎn)小于行存格式。

2. 在PolarDB的SQL執(zhí)行器層，阿里云重寫了一套面向列存的執(zhí)行器引擎框架(Column-oriented), 該執(zhí)行器框架充分利用列式存儲(chǔ)的優(yōu)勢(shì)，使用向量化執(zhí)行方法提升算子處理海量數(shù)據(jù)的效率。同時(shí)充分發(fā)揮現(xiàn)代CPU的SIMD指令能力，提升CPU單核心處理數(shù)據(jù)的吞吐，且所有關(guān)鍵算子均支持并行執(zhí)行。在列式存儲(chǔ)上，新的執(zhí)行器對(duì)比MySQL原有的行存執(zhí)行器性有幾個(gè)數(shù)量級(jí)的性能提升。

3. 支持行列混合執(zhí)行的優(yōu)化器框架，該優(yōu)化器會(huì)根據(jù)兼容性及執(zhí)行計(jì)劃代價(jià)兩方面的因素，以選中最優(yōu)的執(zhí)行路徑。

同時(shí)阿里云還充分利用了PolarDB云原生數(shù)據(jù)庫(kù)的技術(shù)優(yōu)勢(shì)，支持HTAP節(jié)點(diǎn)的規(guī)格異構(gòu)及按需彈性（Serverless），為用戶提供一體化HTAP體驗(yàn)的同時(shí)兼具極致的性價(jià)比。

并行查詢：突破單節(jié)點(diǎn)的資源和性能瓶頸

傳統(tǒng)的基于MySQL的關(guān)系型數(shù)據(jù)庫(kù)在部署到云上后，依然采用了主備復(fù)制的數(shù)據(jù)同步模式來(lái)提供實(shí)例的高可靠和高可用，但基于邏輯復(fù)制導(dǎo)致實(shí)例延遲增大、多份存儲(chǔ)等問題。PolarDB通過共享存儲(chǔ)和物理復(fù)制實(shí)現(xiàn)了云上的計(jì)存分離和資源池化能力，為用戶提供了最優(yōu)的彈性能力和性價(jià)比。而從線上的長(zhǎng)期運(yùn)維可以發(fā)現(xiàn)，云上用戶實(shí)例對(duì)CPU資源的平均利用率是較低的，同時(shí)MySQL對(duì)查詢的單線程處理方式又無(wú)法滿足業(yè)務(wù)上基于海量數(shù)據(jù)的實(shí)時(shí)分析需求，這造成了極大的資源浪費(fèi)。

為此阿里云推出了節(jié)點(diǎn)內(nèi)以及跨節(jié)點(diǎn)并行查詢(Parallel Query)功能，針對(duì)性的利用多核CPU并行計(jì)算來(lái)提升查詢響應(yīng)速度。但隨著共享存儲(chǔ)層的數(shù)據(jù)量進(jìn)一步增長(zhǎng)，單機(jī)的擴(kuò)展能力將遇到瓶頸，包括CPU、Memory和IO等，傳統(tǒng)數(shù)據(jù)庫(kù)通過share nothing的分片架構(gòu)和MPP計(jì)算引擎來(lái)突破單機(jī)的資源瓶頸，但這破壞了云上計(jì)存分離帶來(lái)的獨(dú)立擴(kuò)展性和極致彈性能力，有悖于現(xiàn)代云原生數(shù)據(jù)庫(kù)的發(fā)展趨勢(shì)。

PolarDB解決這個(gè)問題的方案是更為先進(jìn)的計(jì)算、內(nèi)存、存儲(chǔ)"三層解耦"模式，通過將資源進(jìn)一步拆解，在各個(gè)層面上各自獨(dú)立擴(kuò)展。而針對(duì)大數(shù)據(jù)量分析查詢，我們?cè)谟?jì)算這一層層基于Parallel Query進(jìn)一步演進(jìn)，推出了基于共享存儲(chǔ)的分布式彈性并行查詢(Elastic Parallel Query)，通過節(jié)點(diǎn)間+節(jié)點(diǎn)內(nèi)兩層并行的結(jié)合以及基于分布式資源視圖的智能調(diào)度策略，打通了集群內(nèi)的多節(jié)點(diǎn)計(jì)算資源，與傳統(tǒng)的固化的MPP架構(gòu)相比，這帶來(lái)了多方面的技術(shù)和成本優(yōu)勢(shì)：

1. 通過多粒度的并行，更充分的利用集群級(jí)的計(jì)算資源，突破單節(jié)點(diǎn)的資源和性能瓶頸，PolarDB在利用并行查詢提升CPU利用率的同時(shí)，也開發(fā)了并行DDL等能力，大大縮短了DDL的時(shí)間，解決了一些大表用戶的一個(gè)重要痛點(diǎn)，實(shí)現(xiàn)和傳統(tǒng)MPP系統(tǒng)相同甚至更優(yōu)的極致查詢性能。

2. 基于分布式的全局資源視圖，并結(jié)合數(shù)據(jù)的親和性特征，對(duì)查詢內(nèi)的子計(jì)算任務(wù)進(jìn)行智能調(diào)度，在盡可能避免IO的情況下實(shí)現(xiàn)各節(jié)點(diǎn)計(jì)算資源的均衡利用，避免局部熱點(diǎn)帶來(lái)的性能和維護(hù)問題。

3. 與云上的自動(dòng)彈性無(wú)縫結(jié)合，隨著實(shí)例計(jì)算層的scale up/scale out自適應(yīng)的調(diào)整并行計(jì)算策略，既滿足了用戶的成本和性能需求，又無(wú)需額外的配置維護(hù)動(dòng)作。

4. 靈活控制實(shí)例級(jí)別的計(jì)算資源拓?fù)洌ㄟ^不同接入地址（子集群），實(shí)現(xiàn)不同業(yè)務(wù)的相互隔離和各自獨(dú)立配置，滿足具有不同特性的查詢業(yè)務(wù)需求。

架構(gòu)演進(jìn)的示意圖如下：

分布式：實(shí)現(xiàn)透明分布式體驗(yàn)

數(shù)據(jù)庫(kù)經(jīng)歷過去40多年的發(fā)展，隨著互聯(lián)網(wǎng)、大數(shù)據(jù)的飛速發(fā)展，單臺(tái)務(wù)器上的性能極限已經(jīng)慢慢顯露，在這種情況下，技術(shù)人員逐漸開始探索數(shù)據(jù)庫(kù)的擴(kuò)展能力，目前整體擴(kuò)展架構(gòu)又兩種形態(tài)：基于共享存儲(chǔ)的share-storage架構(gòu)、以及基于share-nothing的分布式架構(gòu)，這兩種架構(gòu)分別代表了兩個(gè)不同的擴(kuò)展思路，有各自的優(yōu)缺點(diǎn)。

基于scale-up的單機(jī)擴(kuò)展架構(gòu)，在面向高并發(fā)場(chǎng)景下，容易遇到單機(jī)擴(kuò)展性的天花板，因此在2019年開始，PolarDB基于share-nothing的分布式架構(gòu)，正式推出了云原生分布式版(PolarDB-X)，支持多寫多讀、以及低成本的冷熱分離分層架構(gòu)。

PolarDB云原生分布式版（PolarDB-X）作為一款基于原生MySQL的云原生分布式數(shù)據(jù)庫(kù)，高度兼容MySQL的協(xié)議和開源生態(tài)，引入Paxos多數(shù)派共識(shí)協(xié)議，聚焦國(guó)產(chǎn)化MySQL替代、分布式線性擴(kuò)展、以及HTAP混合負(fù)載等場(chǎng)景。

PolarDB云原生分布式版（PolarDB-X）包含如下幾個(gè)關(guān)鍵技術(shù)創(chuàng)新：

1.透明分布式體驗(yàn)，引入自動(dòng)數(shù)據(jù)分區(qū)與數(shù)據(jù)自動(dòng)親和性聚集技術(shù)，自動(dòng)識(shí)別數(shù)據(jù)的業(yè)務(wù)屬性進(jìn)行相關(guān)性綁定和統(tǒng)一調(diào)度，在提升數(shù)據(jù)庫(kù)線性擴(kuò)展能力的同時(shí)，避免因?yàn)榭绶謪^(qū)的事務(wù)和復(fù)雜查詢帶來(lái)的性能開銷，最大程度將事務(wù)涉及范圍局限在單個(gè)物理節(jié)點(diǎn)，以及最大化下推計(jì)算算子減少數(shù)據(jù)交換。結(jié)合全局二級(jí)索引、在線數(shù)據(jù)變更，做到分布式數(shù)據(jù)庫(kù)接近單機(jī)數(shù)據(jù)庫(kù)體驗(yàn)，打破了分布式能力應(yīng)用現(xiàn)實(shí)場(chǎng)景中的關(guān)鍵障礙。

2.冷熱分離存儲(chǔ)架構(gòu)，引入數(shù)據(jù)分區(qū)的Time-to-Live(TTL)策略，隨著時(shí)間推進(jìn)，可以將歷史不常訪問的冷數(shù)據(jù)進(jìn)行定期歸檔，PolarDB分布式結(jié)合云對(duì)象存儲(chǔ)OSS作為冷存儲(chǔ)介質(zhì)，采用編碼壓縮、以及OSS本身的成本優(yōu)勢(shì)，冷數(shù)據(jù)僅有MySQL InnoDB在線數(shù)據(jù)1/20的存儲(chǔ)成本，同時(shí)提供單個(gè)數(shù)據(jù)庫(kù)實(shí)例的透明使用體驗(yàn)，統(tǒng)一SQL訪問、備份操作等。

3.全面擁抱國(guó)產(chǎn)化，基于全內(nèi)核開源的策略，堅(jiān)持基于MySQL的敏捷可控路線，目前PolarDB已經(jīng)順利高分通過分布式數(shù)據(jù)庫(kù)的金融行業(yè)標(biāo)準(zhǔn)認(rèn)證、信通院的分布式數(shù)據(jù)庫(kù)性能和高可用認(rèn)證等。除了滿足公有云的交付外，PolarDB可以面向傳統(tǒng)金融、政府行業(yè)的私有云交付、以及基于開源內(nèi)核的純軟部署能力，全面支持?jǐn)?shù)據(jù)庫(kù)的多場(chǎng)景、多形態(tài)的交付能力。

PolarDB云原生分布式版（PolarDB-X）的數(shù)據(jù)庫(kù)形態(tài)，結(jié)合云原生+分布式+國(guó)產(chǎn)化的技術(shù)，未來(lái)也會(huì)進(jìn)一步融合HTAP混合負(fù)載能力，引入行列混存架構(gòu)，更好的滿足數(shù)據(jù)實(shí)時(shí)性的要求。

性能演進(jìn)：提出一系列優(yōu)化方法

設(shè)計(jì)之初，PolarDB的理念就是為云上用戶提供具備極致彈性、高性能、海量存儲(chǔ)、安全可靠的數(shù)據(jù)庫(kù)服務(wù)。PolarDB采用計(jì)算和存儲(chǔ)分離的架構(gòu)，通過物理復(fù)制技術(shù)和共享存儲(chǔ)架構(gòu)，在滿足業(yè)務(wù)容量彈性擴(kuò)展需求的同時(shí)極大的降低了用戶的存儲(chǔ)成本。在設(shè)計(jì)上，PolarDB既融合了商業(yè)數(shù)據(jù)庫(kù)穩(wěn)定可靠、高性能、可擴(kuò)展的特征，又具有開源云數(shù)據(jù)庫(kù)簡(jiǎn)單開放、自我迭代的優(yōu)勢(shì)。

依托于阿里云先進(jìn)可靠的硬件平臺(tái)，PolarDB采用RoCE RDMA網(wǎng)絡(luò)、3DXpoint存儲(chǔ)介質(zhì)等先進(jìn)技術(shù)，并面向新硬件架構(gòu)實(shí)現(xiàn)軟硬一體優(yōu)化。從數(shù)據(jù)庫(kù)內(nèi)核、文件系統(tǒng)到網(wǎng)絡(luò)通訊協(xié)議和分布式存儲(chǔ)系統(tǒng)，PolarDB實(shí)現(xiàn)了縱貫軟件棧各層次的深度優(yōu)化。僅僅構(gòu)建高性能硬件底座并不能完全解決云原生數(shù)據(jù)庫(kù)的性能問題。例如即便擁有高吞吐的RDMA網(wǎng)絡(luò)但聚合帶寬難以充分利用；遠(yuǎn)端節(jié)點(diǎn)I/O訪問、多副本持久化等要求使得云存儲(chǔ)I/O延時(shí)遠(yuǎn)高于本地存儲(chǔ)；又比如更長(zhǎng)的數(shù)據(jù)鏈路中有更多的排隊(duì)，導(dǎo)致I/O間的隔離性變低；共享存儲(chǔ)架構(gòu)cache concurrence代價(jià)等。針對(duì)云原生數(shù)據(jù)庫(kù)面臨的性能挑戰(zhàn)，PolarDB的存儲(chǔ)引擎提出了一系列優(yōu)化方法：

1. 并行化多任務(wù)：例如對(duì)集中Log buffer按Page Partition分片，實(shí)現(xiàn)并行寫入并基于分片進(jìn)行并行Recovery。

2. 預(yù)取和讀取裁剪：例如通過收集并聚合原分散meta至統(tǒng)一的superblock，將多個(gè)I/O合一實(shí)現(xiàn)fast validating；通過預(yù)讀利用聚合讀帶寬、減少讀任務(wù)延時(shí)等。

3. 鎖優(yōu)化：針對(duì)系統(tǒng)瓶頸，實(shí)現(xiàn)無(wú)鎖刷臟、基于blink-tree的無(wú)鎖SMO等。

4. 訪問打散和優(yōu)先級(jí)調(diào)度：例如將單個(gè)大I/O并發(fā)分散至不同存儲(chǔ)節(jié)點(diǎn)分散訪問，充分利用云存儲(chǔ)聚合帶寬；在DB層面對(duì)不同I/O進(jìn)行打標(biāo)、調(diào)度優(yōu)先級(jí)，消除長(zhǎng)鏈路、低隔離I/O任務(wù)的影響。

5. 通過Bypassing Caches來(lái)避免分布式文件系統(tǒng)的cache coherence，并在DB層面優(yōu)化I/O格式匹配存儲(chǔ)最佳request格式。

上述例子也只是顯露了冰山一角，PolarDB在性能演進(jìn)之路上也將不斷向前邁進(jìn)。

展望未來(lái)：一切才剛剛開始

上市5年來(lái)，PolarDB在架構(gòu)、功能、性能等方面不斷創(chuàng)新，其實(shí)這些創(chuàng)新都是圍繞一個(gè)目的，就是不斷釋放云計(jì)算資源池化的潛力，最大化云計(jì)算資源池化的價(jià)值。不僅如此，PolarDB還堅(jiān)持開源開放的理念，將PolarDB-PG和PolarDB-X進(jìn)行了全內(nèi)核開源，推動(dòng)了整個(gè)行業(yè)的技術(shù)變革。

2021年杭州云棲大會(huì)上，阿里云智能數(shù)據(jù)庫(kù)產(chǎn)品事業(yè)部與達(dá)摩院數(shù)據(jù)庫(kù)與存儲(chǔ)實(shí)驗(yàn)室負(fù)責(zé)人李飛飛提出，PolarDB要將云原生進(jìn)行到底。因?yàn)樗缭?019年就斷言，未來(lái)的數(shù)據(jù)庫(kù)一定是云原生數(shù)據(jù)庫(kù)。他說(shuō)，云原生數(shù)據(jù)庫(kù)在成本、靈活度、安全、技術(shù)進(jìn)化層面都優(yōu)于傳統(tǒng)數(shù)據(jù)庫(kù)，“傳統(tǒng)數(shù)據(jù)庫(kù)會(huì)像馬車一樣被淘汰”。

現(xiàn)代數(shù)據(jù)庫(kù)技術(shù)已經(jīng)有40多年發(fā)展歷史，對(duì)比之下，新一代云原生數(shù)據(jù)庫(kù)的創(chuàng)新也不過幾年時(shí)間。一個(gè)全新的云原生數(shù)據(jù)庫(kù)時(shí)代已經(jīng)到來(lái)，創(chuàng)新才剛剛開始。