分布式數(shù)據(jù)庫面臨數(shù)據(jù)庫可靠性、性能、成本挑戰(zhàn)，2022年6月24日，天翼云&華為 聯(lián)合創(chuàng)新中心正式開啟，雙方將基于華為閃存存儲，共同探索數(shù)據(jù)庫云原生的發(fā)展方向。圍繞多寫存儲引擎、高性能高可用存儲持續(xù)創(chuàng)新，打造更易維護、更高可用、更經(jīng)濟的分布式云原生數(shù)據(jù)庫。

1 分布式數(shù)據(jù)庫面臨可靠性、性能、成本挑戰(zhàn)

自1970年IBM的數(shù)學(xué)家Edgar F. Codd提出關(guān)系模型，關(guān)系數(shù)據(jù)庫已有50余年歷史，期間關(guān)系模型沒有發(fā)生大的變化，而數(shù)據(jù)庫體系架構(gòu)則經(jīng)歷了以O(shè)RACLE為代表的商業(yè)數(shù)據(jù)庫（IOE）—>以互聯(lián)網(wǎng)產(chǎn)商去IOE為代表的分布式架構(gòu)+開源數(shù)據(jù)庫—>云原生數(shù)據(jù)庫的三次大的轉(zhuǎn)變，以適應(yīng)業(yè)務(wù)的要求。

圖 1數(shù)據(jù)庫體系架構(gòu)演變

在后兩次的架構(gòu)發(fā)展中，MySQL開源數(shù)據(jù)庫扮演著重要的角色。它具有靈巧高效、易于使用的優(yōu)勢，因而應(yīng)用廣泛、生態(tài)成熟。業(yè)界大多都選擇了MySQL開源數(shù)據(jù)庫加分布式架構(gòu)替代商業(yè)數(shù)據(jù)庫。但隨著業(yè)務(wù)的發(fā)展，MySQL自身和架構(gòu)的先天問題也日益突出：

數(shù)據(jù)可靠性問題：基于開源數(shù)據(jù)庫的分布式數(shù)據(jù)庫以日志復(fù)制回放生成多副本實現(xiàn)數(shù)據(jù)持久化和高可用。受日志處理機制限制，在業(yè)務(wù)壓力大或網(wǎng)絡(luò)抖動時容易出現(xiàn)較大延遲，造成數(shù)據(jù)丟失風(fēng)險或集群故障；

連續(xù)性故障問題：傳統(tǒng)的故障處理方式是使系統(tǒng)運行在降級狀態(tài)，但MySQL基于本地盤的部署方式從降級狀態(tài)恢復(fù)到正常狀態(tài)需要全量數(shù)據(jù)恢復(fù)，導(dǎo)致系統(tǒng)降級狀態(tài)時間極長，二次故障風(fēng)險大增；

性能影響：分布式事務(wù)和分布式查詢在強ACID（AICD:原子性、隔離性、一致性和永久性）場景中有明顯的性能下降，這很大程度抵消了分布式改造帶來的好處；

擴展性差：由于數(shù)據(jù)庫只能讀寫本服務(wù)器內(nèi)磁盤的數(shù)據(jù)，增加實例進行性能擴展往往要花數(shù)小時甚至一天以上時間復(fù)制數(shù)據(jù)，同時即使只需要增加計算資源，也必須對應(yīng)增加一份本地存儲；

高成本：高成本一方面來自解決上述問題而增加的硬件投入和軟件改造、運維成本，另一方面來自于非解耦資源池?zé)o法實現(xiàn)資源的按量分配和按需分配導(dǎo)致的資源浪費。

2 分布式數(shù)據(jù)庫云原生改造思路和實踐

以上問題大多涉及到數(shù)據(jù)庫架構(gòu)體系，僅從數(shù)據(jù)庫本身進行優(yōu)化難以根本解決，同時更換數(shù)據(jù)庫代價大且時間長，因此業(yè)界當(dāng)前主流做法是，采用對數(shù)據(jù)庫進行云原生改造的方式來解決問題。云原生數(shù)據(jù)庫的主要特點包括：

● 采用容器化、不可變基礎(chǔ)設(shè)施（數(shù)據(jù)存儲在外置存儲，計算實例生成后不再變更）等云原生技術(shù)架構(gòu)，解決故障快速切換和資源彈性擴展問題；

● 通過存算分離實現(xiàn)能力下移，尤其是可靠性能力和密集數(shù)據(jù)處理能力下移到存儲，在利用存儲能力快速提升數(shù)據(jù)庫系統(tǒng)可靠性和性能的同時，降低了數(shù)據(jù)庫開發(fā)難度。但這一策略同時也對存儲的能力提出更高的要求。

● 通過存算分離實現(xiàn)解耦的資源池化，提升資源利用效率和分配速度；

實現(xiàn)云原生數(shù)據(jù)庫架構(gòu)第一步是保留MySQL等開源數(shù)據(jù)庫的主從部署、本地數(shù)據(jù)訪問架構(gòu)，僅將算力轉(zhuǎn)移到容器、將數(shù)據(jù)轉(zhuǎn)移到外置存儲的平滑演進方案；第二步則是通過數(shù)據(jù)庫存儲引擎改造徹底實現(xiàn)多實例共享存儲的協(xié)同優(yōu)化方案。

2.1 容器化+存算分離改造，以平滑演進模式向云原生邁出第一步

TeleDB首先采用容器化+存算分離改造的方案實現(xiàn)向云原生數(shù)據(jù)庫的平滑演進：

圖 2平滑演進云原生數(shù)據(jù)庫架構(gòu)與原架構(gòu)對比

2.1.1 容器化和存算分離“根”技術(shù)解決可靠性和資源利用率問題

根技術(shù)能帶來多方面的價值，在技術(shù)架構(gòu)的確定中起著最關(guān)鍵作用，TeleDB的平滑演進方案就是抓住容器化和存算分離架構(gòu)兩大根技術(shù)，使TeleDB初步具備了云原生數(shù)據(jù)庫能力，實現(xiàn)了可靠性和擴展性的提升及成本下降。

容器化實踐：

● 計算資源池化：在容器化前，要提高資源利用率，需要在物理機上部署多個數(shù)據(jù)庫實例或使用虛擬機。多實例方式很難實現(xiàn)實例間資源隔離和定量分配，而虛擬機對性能的影響限制了使用場景。采用容器后可以實現(xiàn)對CPU、內(nèi)存的定量分配，實例被隔離在容器內(nèi)，而且性能損耗很小，非常適合數(shù)據(jù)庫業(yè)務(wù)；

● 實現(xiàn)運維自動化和知識代碼化沉淀：容器聲明式API可將DBA的運維經(jīng)驗轉(zhuǎn)化為自動化的故障與運維處理能力。TeleDB開發(fā)了一套Operator資源控制器，實現(xiàn)了數(shù)據(jù)庫集群的發(fā)放與管理，降低了運維成本，提升了可靠性；

● 為存算分離架構(gòu)提供支撐：Kubernetes容器平臺提供了CSI插件存儲管理機制，實現(xiàn)了存儲的動態(tài)分配和擴容等功能，這正是原來用物理機部署時所欠缺的。

存算分離架構(gòu)實踐：

● 存儲資源池化：存算分離使存儲與計算解耦，不會因為單個服務(wù)器上的計算或存儲中任意資源不足就不能分配資源，從而同時提升了計算和存儲的使用效率；

● 實現(xiàn)彈性伸縮：如果在擴容時發(fā)現(xiàn)服務(wù)器上資源不足，原來也需要將實例通過全量復(fù)制數(shù)據(jù)的方式搬遷到其它服務(wù)器，現(xiàn)在如果計算資源不足，可通過容器漂移快速搬遷，搬遷時間由天縮短為分鐘級，存儲資源不足則可直接動態(tài)擴容。

● 容器漂移和快速補從：

本地盤部署時，服務(wù)器故障后需要重建實例并全量復(fù)制數(shù)據(jù)這一過程耗時且牽扯運維人員精力，甚至業(yè)務(wù)高峰時很長時間都無法完成修復(fù)或擴容進而影響業(yè)務(wù)。

存算分離后容器既可漂移到其它服務(wù)器實現(xiàn)故障快速恢復(fù)，也可以作為從節(jié)點重新加入集群后增量同步數(shù)據(jù)，使數(shù)據(jù)恢復(fù)速度由小時級/天級縮短為分鐘級。

2.1.2 容器化+存算分離改造實現(xiàn)資源利用率提升40%

經(jīng)過初步的云原生改造，相同硬件條件下，通過靈活的調(diào)度以及細粒度的資源控制，數(shù)據(jù)庫部署密度提升2倍以上，同時資源利用率提升了40%以上。TeleDB的可靠性得到提升，成本下降，同時應(yīng)對互聯(lián)網(wǎng)化業(yè)務(wù)以及疫情中對資源的突發(fā)需求的能力有了很大提升。

2.2 數(shù)據(jù)庫存儲引擎+高性能高可用存儲協(xié)同，邁出云原生第二步

2.2.1 容器化+存算分離方案難以解決的問題

容器化+存算分離方案以最簡單的方式釋放了云原生架構(gòu)的價值。但對比其它云原生應(yīng)用，這種方案并未完全實現(xiàn)無狀態(tài)化，分離后存儲和網(wǎng)絡(luò)能力也制約了云原生架構(gòu)價值的發(fā)揮：

● 未能徹底解決數(shù)據(jù)可靠性問題：由于保留了以日志同步多副本的方式，數(shù)據(jù)丟失或故障風(fēng)險未解決；

● 擴展能力仍有不足：在擴展讀實例時，仍要全量復(fù)制數(shù)據(jù)，無法快速擴展；

● 多重冗余：由于保留了數(shù)據(jù)庫多副本，外置存儲上的多副本未起到提升可靠性的作用，反而抵消了成本優(yōu)化效果并造成性能下降；

● 性能受限：網(wǎng)絡(luò)、存儲能力以及保留數(shù)據(jù)庫高可用方案影響了數(shù)據(jù)庫的整體性能，導(dǎo)致方案的使用場景受到了限制。

2.2.2 多寫存儲引擎技術(shù)創(chuàng)新，打造共享存儲多寫云原生數(shù)據(jù)庫

多寫存儲引擎成為根技術(shù)新方向

針對以上問題，仍需要根技術(shù)創(chuàng)新來解決。除容器化之外，采用數(shù)據(jù)庫多寫存儲引擎、高性能存儲網(wǎng)絡(luò)協(xié)議和專門研發(fā)的高性能高可用存儲來實現(xiàn)存算分離，同時利用存儲在數(shù)據(jù)處理上的優(yōu)勢將大量原需要數(shù)據(jù)庫實現(xiàn)的功能下移到存儲上實現(xiàn)，這種數(shù)據(jù)庫與存儲通過多寫存儲引擎協(xié)同優(yōu)化的架構(gòu)已成為業(yè)界云原生數(shù)據(jù)庫的主流。

使用多寫存儲引擎可徹底實現(xiàn)數(shù)據(jù)庫無狀態(tài)化，可以獲得更短的故障恢復(fù)時間、更佳的性能、更好的擴展性，顯然選擇多寫多讀方案作為數(shù)據(jù)庫/存儲協(xié)同優(yōu)化的根技術(shù)是更好的選擇。

華為數(shù)據(jù)存儲-天翼云，優(yōu)勢互補攜手創(chuàng)新

高性能存儲網(wǎng)絡(luò)、高性能、高可用的企業(yè)級存儲和多寫存儲引擎跨多個技術(shù)領(lǐng)域，技術(shù)難度高，制約了云原生數(shù)據(jù)庫的普及與發(fā)展。為推動分布式數(shù)據(jù)庫云原生架構(gòu)實現(xiàn)，華為與天翼云合作，以華為多寫存儲引擎和全閃存存儲OceanStor Dorado為數(shù)據(jù)底座，依托天翼云TeleDB數(shù)據(jù)庫，構(gòu)建分布式云原生數(shù)據(jù)庫。其特點如下：

● 高可用、易兼容：靈活的容器化高可用策略，大幅提升數(shù)據(jù)庫服務(wù)可用性、故障恢復(fù)能力。結(jié)合TeleDB優(yōu)化的數(shù)據(jù)庫引擎，具備與開源MySQL的原生兼容性的同時，兼具極致的擴縮能力，便于業(yè)務(wù)平滑遷移；

● 支持多寫：利用華為多寫存儲引擎，實現(xiàn)各實例完全相同的數(shù)據(jù)庫讀寫能力，無數(shù)據(jù)延遲，相比一寫多讀模式故障恢復(fù)速度更快，多實例性能擴展無需改造應(yīng)用，實現(xiàn)技術(shù)跨越發(fā)展；

● TeleDB容器化+共享存儲多寫實現(xiàn)數(shù)據(jù)庫無狀態(tài)化：多個實例共享一份數(shù)據(jù)，避免多重冗余，消除日志復(fù)制的數(shù)據(jù)不一致風(fēng)險。無狀態(tài)化徹底解除計算和存儲的捆綁，擴容計算實例不需要復(fù)制數(shù)據(jù)和增加存儲成本；

● 高可靠：利用華為OceanStor Dorado全閃存存儲的分布式AA負載均衡架構(gòu)、RAID2.0持久化技術(shù)、亞健康管理、SSD磨損均衡/反磨損均衡等能力，不但滿足了數(shù)據(jù)庫數(shù)據(jù)持久化能力下沉到存儲對可靠性的嚴(yán)苛要求，還補齊了數(shù)據(jù)庫快速數(shù)據(jù)重構(gòu)、亞健康故障處理、SSD介質(zhì)延壽和故障主動處理等能力，使數(shù)據(jù)庫綜合可靠性能能力有了大幅度提升；

● 高性能：華為OceanStor Dorado全閃存存儲+多寫存儲引擎IO路徑優(yōu)化，相比原生MySQL數(shù)據(jù)庫提升整體性能約100%；

● 高性能無損網(wǎng)絡(luò)：支持基于以太網(wǎng)的RDMA組網(wǎng)，相比IB組網(wǎng)可實現(xiàn)高性能、低成本、通用性好的存儲網(wǎng)絡(luò)；

3 充分發(fā)揮數(shù)據(jù)庫多寫能力、關(guān)鍵能力向存儲下沉成為下一步探索的方向

云原生數(shù)據(jù)庫通過保留數(shù)據(jù)庫SQL引擎的方式實現(xiàn)對原有數(shù)據(jù)庫生態(tài)的兼容，但由于架構(gòu)的變化，存儲底座能力的發(fā)揮必須通過數(shù)據(jù)庫的整合才能實現(xiàn)。TeleDB在基于MySQL數(shù)據(jù)庫的開發(fā)與應(yīng)用中有豐富的經(jīng)驗，為實現(xiàn)存算分離架構(gòu)、發(fā)揮華為閃存存儲高可用、高性能和綜合成本優(yōu)勢起了至關(guān)重要的作用。未來雙方將繼續(xù)合作探索如何充分發(fā)揮數(shù)據(jù)庫多寫能力、通過TeleDB數(shù)據(jù)庫體系化方案實現(xiàn)關(guān)鍵能力向存儲下沉從而進一步提升數(shù)據(jù)庫的性能、可靠性，降低成本，推動云原生數(shù)據(jù)庫開放架構(gòu)的成熟。

本文作者——龐毅 華為數(shù)據(jù)存儲資深產(chǎn)品經(jīng)理

蘇飛 天翼云科技有限公司數(shù)據(jù)庫技術(shù)專家