近期，由國家工業(yè)信息安全發(fā)展研究中心發(fā)布了2022年《分布式數(shù)據(jù)庫發(fā)展趨勢研究報告》。報告從數(shù)據(jù)庫產(chǎn)業(yè)發(fā)展、分布式數(shù)據(jù)庫產(chǎn)品價值、面臨調(diào)整、技術(shù)路線、發(fā)展趨勢、發(fā)展方向等多角度闡述了分布式數(shù)據(jù)庫的諸多問題。本文，從個人角度談?wù)剬ι鲜鲅芯繄蟾娴慕庾x。

1、背景篇：不鳴則已、一鳴驚人

伴隨著數(shù)字化轉(zhuǎn)型深化，企業(yè)對于數(shù)據(jù)的重視程度逐步加深。伴隨著以云計算、5G、IOT、人工智能、區(qū)塊鏈等新興技術(shù)的發(fā)展，催著更多新興數(shù)據(jù)場景的出現(xiàn)。這其中直觀帶來的就是數(shù)據(jù)規(guī)模呈現(xiàn)幾何級增長、數(shù)據(jù)結(jié)構(gòu)復(fù)雜度與日攀升。

根據(jù)第三方機構(gòu)的預(yù)測數(shù)據(jù)，全球數(shù)據(jù)存儲量在未來幾年將呈現(xiàn)爆炸式增長。除去數(shù)據(jù)規(guī)模外，在從數(shù)據(jù)采集、存儲、傳輸、展現(xiàn)、分析和優(yōu)化等方面都對數(shù)據(jù)的載體數(shù)據(jù)庫提出了更高的要求。希望以此更好地實現(xiàn)企業(yè)對數(shù)據(jù)資產(chǎn)治理、增值與科學(xué)決策，數(shù)據(jù)高可靠高可用、數(shù)據(jù)在線分析等訴求，進(jìn)一步發(fā)揮數(shù)據(jù)價值。上述訴求可以說為數(shù)據(jù)庫提出了更高的要求，但傳統(tǒng)數(shù)據(jù)庫架構(gòu)在超大規(guī)模、高并發(fā)、實時處理、數(shù)據(jù)安全等方面明顯力不從心，此外高昂建設(shè)成本也難以迎合數(shù)字化時代的潮流趨勢。相較于傳統(tǒng)數(shù)據(jù)庫，新興分布式數(shù)據(jù)庫的優(yōu)勢都凸顯出來。

突破規(guī)模化存儲能力

傳統(tǒng)單機或集中式架構(gòu)下，承載的數(shù)據(jù)規(guī)模受限于本地磁盤或可對接的外部存儲空間。雖然后者可做到大規(guī)模（如PB級），但其建設(shè)周期長、擴(kuò)展不靈活、投入成本高且依然還會面臨IO的性能瓶頸。而分布式架構(gòu)數(shù)據(jù)庫，天然具有的數(shù)據(jù)分片能力，是有效解決超大規(guī)模數(shù)據(jù)承載的利器。

突破高性能計算瓶頸

作為承載計算的主要資源，CPU、內(nèi)存資源對計算尤為重要。在傳統(tǒng)單機或集中式架構(gòu)下，上述資源僅能通過Scale UP方式進(jìn)行擴(kuò)展，其擴(kuò)展能力有限，無法整合更多資源參與計算。而分布式架構(gòu)數(shù)據(jù)庫，通過網(wǎng)絡(luò)可匯聚更多計算資源參與其中，形成更大規(guī)模的算力支持。在高并發(fā)、高性能計算領(lǐng)域更有優(yōu)勢。

填補數(shù)據(jù)分析能力短板

數(shù)據(jù)分析，是數(shù)據(jù)使用的重要方向之一，過去通常是由數(shù)據(jù)倉庫等技術(shù)承載。這種在線數(shù)據(jù)庫與離線數(shù)據(jù)倉庫的架構(gòu)，能在一定程度上解決數(shù)據(jù)分析問題，但在實時性、一致性、成本等方面存在短板。理想的方式在單一系統(tǒng)完成，但傳統(tǒng)架構(gòu)受限于資源，無法完全提供。而分布式架構(gòu)數(shù)據(jù)庫，通過其算力的整合可滿足混合負(fù)載的業(yè)務(wù)壓力，大幅度提升分析時效性，并減少數(shù)據(jù)冗余，靈活性大大提高。

提升可用性與安全性

傳統(tǒng)架構(gòu)下，數(shù)據(jù)庫可用性更多取決于單點（或存儲），設(shè)計上往往通過冗余硬件保護(hù)等方式去提升；但受限于架構(gòu)約束難以達(dá)到非常高的可用性。針對數(shù)據(jù)安全，也通常是通過主備復(fù)制、備份等手段完成，但難以保證數(shù)據(jù)在線安全，需要窗口期完成恢復(fù)。分布式架構(gòu)具備的存算分離、多副本、彈性擴(kuò)展等能力，可有效提升整體可用性和數(shù)據(jù)安全。用戶可根據(jù)需要，靈活調(diào)整架構(gòu)，提升可用性和安全性。

優(yōu)化成本模型實現(xiàn)按需擴(kuò)展

傳統(tǒng)架構(gòu)數(shù)據(jù)庫的成本相對高昂，這主要是由于其架構(gòu)限制，向上擴(kuò)展相對容易，水平擴(kuò)展比較困難。為了保證快速的業(yè)務(wù)發(fā)展，通常在項目設(shè)計初期就需要按最大容量進(jìn)行規(guī)劃或為了更高的可靠性需要付出高額的成本。而分布式架構(gòu)數(shù)據(jù)庫則不同，其架構(gòu)天然就支持靈活擴(kuò)展能力（包括存儲、計算），并可實現(xiàn)低成本的高可用解決方案（多副本）。上述能力，將有效降低企業(yè)在構(gòu)建系統(tǒng)時的投入，特別是在面對快速、多變業(yè)務(wù)的場景更是如此。

2、技術(shù)篇：百花齊放、百家爭鳴

從上圖可見，分布式數(shù)據(jù)庫已經(jīng)發(fā)展多年，特別是近些年來已經(jīng)逐步成熟并落地使用。從大的技術(shù)路線來看，可大致分為幾種類型：

路線：分布式中間件+單機數(shù)據(jù)庫

這一技術(shù)路線是在單機數(shù)據(jù)庫系統(tǒng)上進(jìn)行改造，主要解決計算存儲的擴(kuò)展性問題。上層為一組無狀態(tài)計算節(jié)點，基于分片規(guī)則提供SQL解析，請求轉(zhuǎn)發(fā)和結(jié)果合并的能力。下層為增強的單機數(shù)據(jù)庫，提供單機數(shù)據(jù)庫的存儲和執(zhí)行能力。這一架構(gòu)通過數(shù)據(jù)在邏輯層的切割，可近似線性地對計算性能和存儲容量進(jìn)行擴(kuò)展，具有可規(guī)模化擴(kuò)展的能力。

路線：分布式存儲構(gòu)建

這一技術(shù)路線是通過構(gòu)建分布式共享存儲實現(xiàn)擴(kuò)展，采用非對稱計算節(jié)點，大部分公有云數(shù)據(jù)庫是這條路線。這條路線有限地解決擴(kuò)展性問題，跨地域數(shù)據(jù)一致性主要依賴分布式存儲引擎。共享存儲能夠跨多個節(jié)點提供讀寫，上層的計算部分是無狀態(tài)的一組節(jié)點組成。當(dāng)有寫能力的計算節(jié)點出現(xiàn)故障時，會自動從可用的讀節(jié)點中自動選出一個作為寫節(jié)點，實現(xiàn)寫能力的高可用。

路線：原生分布式

這一技術(shù)路線是原生分布式數(shù)據(jù)庫，各計算節(jié)點提供對等的讀寫服務(wù)。這條路線是根據(jù)分布式一致性協(xié)議做底層設(shè)計，與傳統(tǒng)數(shù)據(jù)庫有本質(zhì)區(qū)別。原生分布式數(shù)據(jù)庫將分布式存儲、事務(wù)、計算有機的結(jié)合在一起，數(shù)據(jù)由系統(tǒng)自動打散并存儲多個副本，通過一致性協(xié)議保證多個副本和事務(wù)日志的一致性，對分布式事務(wù)、全局MVCC等支持更為徹底。整個分布式結(jié)構(gòu)是包裹在集群內(nèi)部的，應(yīng)用對此無感知。

3、 趨勢篇：石以砥焉、化鈍為利

隨著分布式架構(gòu)數(shù)據(jù)庫在眾多場景使用，再享受到其帶來的收益之外，也對這一新架構(gòu)產(chǎn)品提出了更多的挑戰(zhàn)。這些挑戰(zhàn)也為未來分布式數(shù)據(jù)庫發(fā)展指明了方向。

（1）融合化原生設(shè)計

如上面談到的分布式數(shù)據(jù)庫存在不同路線，不同路線產(chǎn)品差異明顯。從長期發(fā)展來看，不同路線產(chǎn)品呈現(xiàn)逐步融合的現(xiàn)象，各家各取所長，不斷豐富產(chǎn)品能力。一方面相較于單機或集中式架構(gòu)，分布式架構(gòu)產(chǎn)品仍然存在諸多短板，可理解為基礎(chǔ)能力補齊；另一方面用戶對于分布式能力也提出了更高的要求，可理解為擴(kuò)展能力增強。

• 基礎(chǔ)能力補齊
  ?在分布式架構(gòu)下，相較于單機或集中式架構(gòu)，仍存在大量短板問題。這些會直接影響到用戶的使用體驗。如分布式事務(wù)的一致性保證問題，對于單機較容易實現(xiàn)的ACID，分布式環(huán)境中出現(xiàn)了更多的難題。分布式數(shù)據(jù)庫將需要處理的事務(wù)進(jìn)行拆分，再部署到不同的服務(wù)器上進(jìn)行處理，理想狀況下，整個過程需要全局一致性協(xié)議的保護(hù)，而分庫分表兩階段的方式在一些意外情況下容易出現(xiàn)問題。再比如，分布式架構(gòu)多采用存算分離架構(gòu)，其天然會帶來分層間網(wǎng)絡(luò)開銷問題，如何解決低延遲需求值得考慮。
• 擴(kuò)展能力增強
  ?隨著分布式數(shù)據(jù)庫的使用，如何使用好這一架構(gòu)成為核心。例如在分布式場景下，如何做好數(shù)據(jù)分片的智能化。分布式通過分庫分表進(jìn)行數(shù)據(jù)拆分，從而各表的數(shù)據(jù)量保持在閾值以下，從而應(yīng)對高并發(fā)和海量數(shù)據(jù)，但如何高效的、高質(zhì)量的進(jìn)行分片，還需再探索。此外，作為以一種新架構(gòu)產(chǎn)品，分布式數(shù)據(jù)庫所具備的彈性擴(kuò)縮容、按需擴(kuò)展、海量支持、多副本細(xì)粒度控制等課題，都是值得深入挖掘。

（2）負(fù)載一體化設(shè)計

企業(yè)級應(yīng)用的業(yè)務(wù)場景通常可以分為聯(lián)機交易和實時分析兩種，通常稱為OLTP和OLAP的業(yè)務(wù)應(yīng)用。由于是不同的應(yīng)用場景，很多企業(yè)往往會選擇多款數(shù)據(jù)庫產(chǎn)品分別支持。這種組合式的解決方案要求數(shù)據(jù)在不同產(chǎn)品間進(jìn)行流轉(zhuǎn)，數(shù)據(jù)的同步過程就帶來了時間延遲和數(shù)據(jù)不一致的風(fēng)險，而且還會產(chǎn)生冗余數(shù)據(jù)，成本開銷被迫提高，這在一定程度上限制了企業(yè)的發(fā)展。分布式數(shù)據(jù)庫的出現(xiàn)，為企業(yè)解決上述問題帶來了契機，這也是近年來HTAP（混合負(fù)載）的興起，其旨在打破事務(wù)處理和分析之間“壁壘”。未來分布式數(shù)據(jù)庫都應(yīng)具備混合負(fù)載能力，即在支持高并發(fā)、事務(wù)性請求的同時，也對分析型的復(fù)雜查詢提供了良好的支持，實現(xiàn)計算、I/O資源互不干擾。通過在線交易和分析互不影響，一站式地解決企業(yè)級應(yīng)用的各種需求，從而大幅度降低成本，同時提高了企業(yè)決策的效率。

（3）云與云原生設(shè)計

根據(jù)全球知名咨詢公司Gartner指出，“到2022年，75%的數(shù)據(jù)庫將被部署或遷移到云平臺…”云化無疑代表了未來。數(shù)據(jù)庫作為IT基礎(chǔ)設(shè)施，如何與云環(huán)境融合成為大家的問題。特別是分布式數(shù)據(jù)庫，其架構(gòu)需要大量資源構(gòu)建。如何通過與云的結(jié)合，有效解決靈活部署、彈性擴(kuò)縮容、資源管理乃至如何更好地利用云基礎(chǔ)資源做到真正的云原生，這些都是分布式數(shù)據(jù)庫需要考慮的。因此在分布式數(shù)據(jù)庫產(chǎn)品設(shè)計層面就要充分適配云環(huán)境、兼容更多云技術(shù)，從而添加更多資源管控、多部署形態(tài)、云原生資源利用等云化方面的能力。

（4）高可用一致性設(shè)計

作為數(shù)據(jù)庫的基本能力要求，服務(wù)高可用和數(shù)據(jù)一致性一直是企業(yè)選擇數(shù)據(jù)庫的重點考察要求。特別是隨著數(shù)字化轉(zhuǎn)型，更多數(shù)據(jù)參與到企業(yè)業(yè)務(wù)流轉(zhuǎn)中，這些都對如可用性提出更好要求。傳統(tǒng)數(shù)據(jù)庫架構(gòu)，在滿足7×24小時的服務(wù)不中斷和數(shù)據(jù)零丟失方面往往已經(jīng)超出其可承受能力，或者即使能解決其成本也十分高昂。分布式數(shù)據(jù)庫具備的分層、多組件、多節(jié)點架構(gòu)成為解決高可用的基礎(chǔ)，有效控制故障范圍、主動發(fā)現(xiàn)自愈等手段可大幅提升服務(wù)可用性。同時，其多副本機制為數(shù)據(jù)一致性安全提供可能，這也是相較于傳統(tǒng)架構(gòu)的突破，可做到數(shù)據(jù)更為精細(xì)粒度的一致性，滿足各種數(shù)據(jù)場景下對一致性的不同等級要求。

（5）軟硬結(jié)合異構(gòu)設(shè)計

硬件和軟件是信息系統(tǒng)的核心組件，兩者之間相輔相成，互相促進(jìn)。新型硬件的出現(xiàn)，可以為數(shù)據(jù)庫發(fā)展帶來更多的收益。一方面以基礎(chǔ)硬件如多核CPU、異構(gòu)計算（如GPU、FPGA）持久化內(nèi)存、高速網(wǎng)絡(luò)為代表的硬件出現(xiàn)，為分布式數(shù)據(jù)庫架構(gòu)提供更多的想象空間；另一方面新型硬件也會為數(shù)據(jù)庫設(shè)計帶來更多挑戰(zhàn)，如何利用好新硬件值得各數(shù)據(jù)庫廠商思考，甚至?xí)嵏仓暗脑O(shè)計模式。此外，作為關(guān)鍵基礎(chǔ)設(shè)施，數(shù)據(jù)庫還要為操作系統(tǒng)、芯片的灰度替換提供支持，而在關(guān)鍵行業(yè)及軟件領(lǐng)域，數(shù)據(jù)庫還需要提供對異構(gòu)芯片的支持，從而提升數(shù)字化解決方案的嚴(yán)謹(jǐn)性，降低應(yīng)用風(fēng)險。

（6）全密態(tài)安全設(shè)計

當(dāng)前信息安全已經(jīng)上升到國家戰(zhàn)略高度，諸多行業(yè)監(jiān)管機構(gòu)和政府部門對數(shù)據(jù)存儲和使用都有明確的安全合規(guī)性要求。2021年11月公布的《中華人民共和國個人信息保護(hù)法》，監(jiān)管部門已在金融等行業(yè)中推廣數(shù)據(jù)加密，要求敏感數(shù)據(jù)采用加密的方式進(jìn)行存儲。而作為數(shù)據(jù)承載主體的數(shù)據(jù)庫，有義務(wù)為此提供堅實的數(shù)據(jù)安全保障。那么在分布式數(shù)據(jù)庫設(shè)計之初，就需考慮在數(shù)據(jù)傳輸、數(shù)據(jù)存儲、數(shù)據(jù)計算等多方面的安全問題。諸如透明數(shù)據(jù)加密、透明數(shù)據(jù)傳輸、多密鑰管理、國密算法支持、密態(tài)計算等方面，都需要考慮。

（7）低成本集約化設(shè)計

分布式數(shù)據(jù)庫，作為一種新架構(gòu)產(chǎn)品，對于企業(yè)來說會帶來不小成本。從管理角度來看，分布式架構(gòu)對運維人員都帶來新的要求，如何管理好成為要點。產(chǎn)品是否提供完整的管理能力、是否提供完備的生態(tài)工具等，將直接影響最終使用成果。從資源角度來看，分布式架構(gòu)需要一定資源投入，如何規(guī)劃設(shè)計好并通過諸如租戶能力有效降低使用成本很重要。

（8）高兼容易遷移設(shè)計

對于底層數(shù)據(jù)庫替換，最為頭疼的就是數(shù)據(jù)庫的替換。大部分企業(yè)經(jīng)過企業(yè)信息化的長期積累與革新，在內(nèi)部積累了大量的業(yè)務(wù)系統(tǒng)。傳統(tǒng)的企業(yè)級數(shù)據(jù)庫產(chǎn)品提供了強大的能力，協(xié)助開發(fā)者快速便捷地構(gòu)建應(yīng)用程序，但同時也導(dǎo)致應(yīng)用設(shè)計過度依賴數(shù)據(jù)庫功能。適配新的數(shù)據(jù)庫產(chǎn)品必須對應(yīng)用代碼進(jìn)行大量修改。沒有兩個數(shù)據(jù)庫是完全一樣的，分布式數(shù)據(jù)庫更是如此。其在底層架構(gòu)、實現(xiàn)邏輯上必然存在差異。比較好的方式，就是提供高兼容能力，這將有利于大幅降低代碼改造成本。目前大多數(shù)分布式數(shù)據(jù)庫還不完全具備主流數(shù)據(jù)庫生態(tài)的兼容能力，兼容的種類還不夠豐富，兼容度還有待提高。此外，分布式架構(gòu)對于設(shè)計上也有著特殊的要求，如何降低研發(fā)設(shè)計成本，近似透明地屏蔽這一差異很重要。此外，數(shù)據(jù)從傳統(tǒng)集中式數(shù)據(jù)庫遷移至分布式數(shù)據(jù)庫是一項復(fù)雜且龐大的工程。從前期兼容評估、應(yīng)用設(shè)計改造，到中期的業(yè)務(wù)測試、性能測試，指導(dǎo)最終遷移完成并保證遷移準(zhǔn)確性等，這些都需要提供全流程的支持。這也是目前分布式產(chǎn)品普遍有所缺失的。希望未來分布式數(shù)據(jù)庫產(chǎn)品將具備全方位、高標(biāo)準(zhǔn)、高可靠性的平滑遷移能力。

4、發(fā)展篇：知之非艱、行之惟艱

分布式數(shù)據(jù)庫作為新技術(shù)架構(gòu)，如何推進(jìn)是需要多方位的支持。從近些年來看，從國家、行業(yè)、用戶等多方位都給予大力支持。從政策層面，將在作為數(shù)據(jù)基礎(chǔ)設(shè)施之一的數(shù)據(jù)庫提升到一定高度，重點布局針對數(shù)據(jù)庫分布式轉(zhuǎn)型、應(yīng)用創(chuàng)新戰(zhàn)略。在行業(yè)方面，越來越多的數(shù)據(jù)庫廠商加入進(jìn)來，特別是以分布式為特征的產(chǎn)品已然成為主流。在用戶方面，以金融、電信為代表的高數(shù)據(jù)價值企業(yè)，已經(jīng)開始在核心生產(chǎn)系統(tǒng)逐步使用。但同時我們也看到，分布式數(shù)據(jù)庫在推進(jìn)中，仍然存在諸多不足之處，這也是未來需重點關(guān)注發(fā)展之處。

（1）培育自有生態(tài)

數(shù)據(jù)庫要想用好，是需要從“產(chǎn)、學(xué)、研、用”多角度考慮，是需要跟上下游生態(tài)形成合力，才能為客戶提供更為完整的服務(wù)。相較于之前國外商業(yè)數(shù)據(jù)庫或開源產(chǎn)品，國內(nèi)數(shù)據(jù)庫生態(tài)還需要加大投入，培育自有生態(tài)。在這其中，可以通過生態(tài)兼容加速這一過程，如何有效利用之前成熟生態(tài)值得考慮。此外，開源作為一種有效的生態(tài)構(gòu)建手段，也是生態(tài)化建設(shè)的利器。

（2）共建行業(yè)標(biāo)準(zhǔn)

作為一種新型數(shù)據(jù)庫，分布式架構(gòu)尚未形成統(tǒng)一的行業(yè)標(biāo)準(zhǔn)或者事實標(biāo)準(zhǔn)。從最終用戶角度來看，不得不面對紛繁復(fù)雜的產(chǎn)品細(xì)節(jié)，這也阻礙了分布式數(shù)據(jù)庫的大范圍推廣。從行業(yè)整體發(fā)展角度來看，一方面可通過行業(yè)指導(dǎo)單位牽頭，由行業(yè)內(nèi)眾多企業(yè)參與形成標(biāo)準(zhǔn)規(guī)范；一方面可通過構(gòu)建標(biāo)準(zhǔn)化評測體系，建立可衡量標(biāo)準(zhǔn)。希望通過標(biāo)準(zhǔn)的建立，能探索出特色發(fā)展路徑，抓住機遇盡早實現(xiàn)分布式數(shù)據(jù)庫領(lǐng)域的換道超車。

（3）樹立專有評測

分布式數(shù)據(jù)庫，作為新產(chǎn)品有其架構(gòu)特色。對于這一新產(chǎn)品的理解，各家各有不同。行業(yè)內(nèi)急需統(tǒng)一的評測標(biāo)準(zhǔn)，從多維度評估這一新類型產(chǎn)品。這其中既包括傳統(tǒng)數(shù)據(jù)庫的基本能力，也需要包含分布式自有特點，如在高可用、備份恢復(fù)等。逐步建立其以功能測試、非功能測試及場景化測試相結(jié)合，形成完備的評測體系。

（4）填補最后路徑

企業(yè)更換底層數(shù)據(jù)庫，是一個頗為痛苦的過程，更換為一種全新架構(gòu)產(chǎn)品更是如此。大量用戶使用分布式架構(gòu)的擔(dān)憂是來自于對新架構(gòu)、新產(chǎn)品的未知及對實施路徑的陌生。前者我們可通過專有評測標(biāo)準(zhǔn)逐步熟悉，后者則需要通過最后路徑的填補做好“最后一公里”。從選型評估、工作量評估、結(jié)構(gòu)數(shù)據(jù)遷移、流量切換、上線保障等多角度，形成標(biāo)準(zhǔn)的實施路徑將大大加速這一過程。

寫在最后：

分布式數(shù)據(jù)庫，尚處于發(fā)展早期，但已呈現(xiàn)蓬勃之勢。雖然仍有很多不足，但發(fā)展空間巨大。這里送給分布式數(shù)據(jù)庫從業(yè)者一句話：道阻且長，行則將至；行而不輟，未來可期！

作者介紹

韓鋒，51CTO社區(qū)編輯，CCIA（中國計算機協(xié)會）常務(wù)理事，前Oracle ACE，騰訊TVP，阿里云MVP，dbaplus等多家社群創(chuàng)始人或?qū)＜覉F(tuán)成員。有著豐富的一線數(shù)據(jù)庫架構(gòu)、軟件研發(fā)、產(chǎn)品設(shè)計、團(tuán)隊管理經(jīng)驗。曾擔(dān)任多家公司首席DBA、數(shù)據(jù)庫架構(gòu)師等職。在云、電商、金融、互聯(lián)網(wǎng)等行業(yè)均有涉獵，精通多種關(guān)系型數(shù)據(jù)庫，對NoSQL及大數(shù)據(jù)相關(guān)技術(shù)也有涉足，實踐經(jīng)驗豐富。曾著有數(shù)據(jù)庫相關(guān)著作《SQL優(yōu)化最佳實踐》、《數(shù)據(jù)庫高效優(yōu)化》。