國產數據庫探索多領域技術突破海外競爭力亟需增強

2023年下半年，數據庫行業有了一些新的發展特點，特別是國產廠商成為了發展主力。經過多年發展，國產數據庫推廣進入“深水區”，并取得不俗成績。

從技術角度上看，國內數據庫產品在多模向量、智能運維、云與云原生、數據庫兼容等技術上取得了不少突破，并開始在用戶落地上取得一定成果。在分布式數據庫領域，一方面產品規模化落地并開始輸出行業經驗，加速實踐過程；一方面以HTAP、多模等特性為代表，極大豐富了分布式數據庫場景。同時我們也看到，國內集中式數據庫領域取得了一定突破，這一架構產品逐步成熟可實現更為平滑的替代，成為部分國內用戶的首選。以圖、時序、向量等為代表的異構模型數據庫產品開始受到更多關注，傳統數據庫中也開始更多支持如JSON等類型，場景化落地成為此類技術發展要點。上半年大火的ChatGPT，也開始以自主SQL生成、智能優化等功能形式在更多國內數據庫產品中落地。在數據分析領域，湖倉一體、融合型數倉發展快速，也成為資本方關注熱點。此外，數據安全、軟硬結合、數據治理等方面也有不小的進步。

從市場角度上看，國內數據庫廠商競爭加劇，頭部廠商你追我趕、并駕齊驅，一些新興廠商嶄露頭角、快速提高。這也從側面印證了國內數據庫行業呈現加速洗牌態勢，相信未來會有一批廠商及產品經過大浪淘沙，站穩腳跟獲得用戶認可。從近期國內第一次推出自己的象限分析來看，頭部廠商聚集現象明顯，這些已成為企業支撐業務的首選。在云與云原生領域，國內云數據庫產品競爭呈現白熱化。今年部分廠商產品大打價格戰，希望以此在國內云市場領域占據更大份額。但從國際市場來看，國內企業還處于相對滯后狀態，在今年國際權威的云數據庫象限分析中，多家企業已退出報告主體，僅在榮譽榜單中被提及。在這方面國內產品還需要奮起直追，從低層次的價格戰盡快回歸到產品能力本身，同時加速在海外布局，充分參與到全球競爭之中。

數據庫產品半年度盤點

主流數據庫的版本升級與更新亮點

dbaplus社群攜手一眾數據庫行業專家，匯總、梳理并提煉出主流數據庫近半年的版本更迭、性能優化、功能提升等關鍵信息，希望對大家了解數據庫發展趨勢，以及數據庫選型工作有所幫助和啟發。

DB-Engines數據庫排行榜

以下取自2023年12月的數據，具體信息可以參考http://db-engines.com/en/ranking/，數據僅供參考。

圖片

DB-Engines排名的數據依據5個不同的因素：

• Google以及Bing搜索引擎的關鍵字搜索數量
• Google Trends的搜索數量
• Indeed網站中的職位搜索量
• LinkedIn中提到關鍵字的個人資料數
• Stackoverflow上相關的問題和關注者數

RDBMS

Oracle 2023下半年重大事件及技術更新

• Oracle Database 23c已在OCI Oracle Base數據庫服務上全面可用。
• Oracle Database 19c企業版（Oracle數據庫當前的長期支持版本）已通過認證，可在流行的Arm架構上用于云和本地部署。借助Ampere Altra系列處理器，Oracle數據庫的用戶擁有了一個高性能、高能效的架構，該架構在構建時考慮了可持續發展的需要，適合各種規模的組織。
• 自治數據庫無服務器已獲得金牌高可用性架構 (MAA) 層功能認證，這意味著用戶可以使用自治數據庫無服務器快速部署數據庫，從而實現兩分鐘以內的RTO，并且數據丟失幾乎為零。
• Oracle LiveLab推出新實驗：Oracle 23c十大開發者特性，包括SQL Domain和Annotation等。
• OCI中專用Exadata基礎設施和Exadata Cloud@Customer的自治數據庫支持Database In-Memory（數據庫內存列存儲）。
• 支持使用Oracle Database Service for Azure設計多云災難恢復解決方案。
• Oracle Graph支持SQL屬性圖（在23c開發者免費版中），SQL屬性圖允許使用SQL 2023標準中的新語法創建和查詢圖。它還包括通過PGQL提供的附加功能，以及使PGQL與SQL標準緊密結合的更新。
• Oracle推出集成矢量數據庫來增強生成式AI并大幅提高開發人員的工作效率。
• 支持Select AI - 在自治數據庫上從自然語言到SQL生成。
• Oracle GoldenGate發布23c Free版，支持將實時數據變化流式傳輸到GenAI（生成式AI）引擎使用的RAG向量嵌入中，以回答企業數據的問題。“GoldenGate for Big Data”更名為“GoldenGate for Distributed Applications and Analytics”，以此表明GoldenGate重新關注分布式應用程序和去中心化分析。
• Oracle通過新的開源數據管理解決方案擴展云服務，其中包括OCI Database with PostgreSQL，OCI Cache with Redis，OpenSearch增強，Data Flow with Apache Spark增強等。
• 多項中國客戶在之前CAB中提出的功能已被實現，包括數據庫自行管理數據生命周期、Exadata靈活配置、列式存儲 、分片、分布式Times-Ten、基于PDB的數據衛士、區塊鏈表和人工智能的支持等等。在新的版本中也宣布實現了使用Paxos的分布式數據庫、對國產ARM架構CPU的支持，以及國密算法的支持等。

MySQL開啟穩定版和創新版同時發行新階段

2023年下半年，MySQL版本發行迎來了重要的變化，開啟了穩定版和創新版同時發行的新階段。8.0發布了兩個版本，8.0.34和8.0.35，還發布了8.1和8.2的創新版。而OCI的MySQL HeatWave服務，這是一個可以同時處理事務處理、實時分析和機器學習負載的云服務，也發布了不少新特性。以下是對這些更新的簡要介紹：

一、MySQL穩定版更新

1、新的密碼驗證系統變量：

• 引入新變量validate_password.changed_characters_percentage以配置用戶更改密碼時必須變更的最小字符數。
• 基于當前密碼字符總數的百分比來確定必須更改的字符數。

2、復制變更：

• `binlog_format` 服務器系統變量已棄用，未來可能會被刪除。MySQL未來將專注于支持基于行的二進制日志記錄，逐漸淘汰其他日志記錄格式。
• `binlog_transaction_dependency_tracking` 變量已棄用，未來版本可能刪除。現在設置或檢索此變量的值會觸發警告。

3、`mysql_native_password` 身份驗證插件棄用：

• 此插件在未來版本中將被移除。
• 現在使用此插件進行身份驗證的賬戶會在服務器錯誤日志中收到棄用警告。

4、新增默認值功能：

• `CURRENT_USER()` 可以用作某些表定義語句中的默認值，如 `VARCHAR` 和 `TEXT` 類型列，支持函數 SESSION_USER() 、 USER() 和 SYSTEM_USER() 。

5、組復制重要變更：

• 放寬了組復制的版本要求，允許更靈活的服務器版本組合參與復制。
• 新變更允許服務器版本8.0.35或更高版本加入同一復制組。

6、通配符授權功能棄用：

• 該改變涉及到數據庫層級的權限分配。數據庫名稱中的"%"和"_"作為通配符現在已經不推薦使用,未來版本可能會刪除此功能。目的是讓這兩個符號始終被視為普通字符。另一個改變涉及主機名稱"%"在權限檢查時代表localhost的功能現在也不推薦使用,未來可能刪除此自動匹配功能。到時候,需要明確使用localhost主機名授予權限。

7、INFORMATION_SCHEMA.PROCESSLIST棄用：

• 推薦使用 Performance_schema的替代，與舊的SHOW PROCESSLIST 實現不同，它不需要獲取mutex并且具有更好的性能。

二、MySQL創新版更新

1、EXPLAIN FORMAT=JSON輸出增強，增加了 `INTO` 選項，允許將輸出保存在用戶變量中。

2、加強了關閉服務器過程的日志：

• 加強了與服務器、插件和組件的啟動和關閉相關的日志記錄。
• 這將有助于故障排除，尤其是在服務器關閉過程緩慢的情況下。

3、增加組復制插件的狀態變量：引入了特定于組復制的新狀態變量，以改善網絡不穩定情況下的診斷和故障排除。

4、MySQL Shell 8.2新版本提供了便利的實例、模式和表復制功能。與以往通過文件進行的導出、導入方法相比，無需中間存儲，大大提高了便利性。

5、` expire_logs_days `系統變量刪除：棄用并替換為`binlog_expire_logs_seconds`。

6、MySQL企業版防火墻更新：

• MySQL Enterprise Firewall：允許定期重新加載內存緩存中的防火墻數據表，提高了數據表管理的靈活性。此外，MySQL Enterprise Firewall以前將內部表、函數和存儲過程存儲在MySQL系統數據庫中。現在，新的mysql_firewall_database服務器系統變量允許指定一個自定義數據庫。

7、MySQL Router 8.2.0更新

讀寫分離功能：

• 新功能允許將讀寫流量分別定向到只讀和讀寫實例。
• 提高了數據庫操作的效率和可靠性。

MariaDB Server 10.11發布

MariaDB Server 10.11是一個長期穩定的版本，維持到2028年2月。

一、新特性 - OLTP產品線

1、【王炸功能】Alter修改表結構實現從庫無延遲并行復制：通常，ALTER TABLE首先在主庫上執行完畢后，才被復制并開始在從庫上執行。有了這個特性，當ALTER TABLE在主庫上開始執行時，它會立刻被復制并開始在從庫上執行。這樣可以完全消除從庫的復制滯后，即可實現從庫無延遲并行復制。

使用：

MariaDB> set global binlog_alter_two_phase=1;
MariaDB> set binlog_alter_two_phase=1;
MariaDB> alter table sbtest1 add index IX_pad(pad);

ALTER TABLE回車后，你可以立即用mysqlbinlog工具去查看binlog，可以看到ALTER TABLE語句已經記錄在binlog文件里。

2、為SQL線程添加了global.slave_max_statement_time系統變量：以限制每次SQL thread線程長時間執行，當超過此值（以秒為單位）SQL thread線程執行的SQL將被中止。

3、MariaDB多源復制添加FOR CHANNEL關鍵字兼容了MySQL多源復制的語法。

4、基于GTID模式建立同步復制時，change master to語法棄用了MASTER_USE_GTID = Current_Pos選項，以支持新的MASTER_DEMOTE_TO_SLAVE選項。

5、支持在線動態調整innodb_log_file_size重置事務日志文件大小。

二、新特性 - OLAP產品線

MariaDB ColumnStore利用分布式列式存儲和大規模并行處理（MPP）共享無架構擴展了MariaDB企業服務器，將其轉變為獨立或分布式數據倉庫，用于復雜SQL查詢和高級分析，而無需創建任何索引。

1、MariaDB Columnstore 10.6支持一鍵部署：為了簡化安裝過程，讓用戶享受更好的產品體驗，MariaDB提供yum源方式部署，用戶只需幾條命令，即可輕松部署OLAP MPP數據倉庫環境。

mysqld服務啟動后，手工安裝存儲引擎插件即可完整部署。

MariaDB> INSTALL PLUGIN Columnstore SONAME 'ha_columnstore.so';

SQL語法使用起來跟InnoDB無任何差異。

參見官方文檔：

https://mariadb.com/docs/columnstore/deploy/topologies/single-node/community-columnstore-cs10-6/#Install_ColumnStore_via_YUM_(RHEL,_CentOS)

2、MariaDB Columnstore引擎使用注意事項：【重大改變】支持與InnoDB同步復制

現在，可以使用 "CHANGE MASTER TO" 命令與業務庫中的InnoDB引擎建立同步復制，而無需依賴于ETL工具。通過這種方式，可以實現增量數據的同步。

PostgreSQL發布16.1新版本/更新15、14、13、12、11版本

2023年下半年，PostgreSQL主要發布了11、12、13、14、15版本系列的修正版本11.22（最終版本，不再提供更新）、12.17、13.13、14.10、15.5及16.1正式版本，其中值得關注的新特性有：

1、性能：

• 改進了其內存和磁盤排序算法，基準測試顯示，在對不同數據類型的排序時，速度可提高25%到400%不等 。使用row_number()、rank()、dense_rank() 和 count() 作為窗口函數在PostgreSQL中也有性能上的優化。
• 使用SELECT DISTINCT的查詢現在可以并行執行。

2、開發：

• PostgreSQL包含SQL標準的MERGE命令。MERGE允許用戶編寫包含INSERT、UPDATE和DELETE操作的SQL語句。
• 最新版本增加了使用正則表達式的新函數來檢查字符串：regexp_count(), regexp_instr(), regexp_like()，和 regexp_substr()。
• PostgreSQL 15還擴展了range_agg函數來聚合上一個版本引入的multirange數據類型。

3、安全特性：

• 可以方便地使用pg_read_all_data和pg_write_all_data預定義角色為用戶分配表、視圖和模式的只讀和只寫權限。

4、監控與管理：

• PostgreSQL將其性能提升擴展到了其vacuuming系統。本版本包括用于減少B樹索引開銷的優化。此版本還添加了一個vacuum的“緊急模式”，旨在防止事務ID環繞。ANALYZE用于收集數據庫統計信息，基于其自身的性能改進，現在在PostgreSQL中運行速度明顯更快。
• 現在可以配置PostgreSQL的TOAST系統的壓縮選項，該系統用于存儲較大的數據，如文本塊 或幾何圖形。PostgreSQL為TOAST列添加了LZ4壓縮，同時保留對pglz壓縮的支持。

5、BUG修復和改進：

• 修復了GiST索引在“頁面拆分”期間出現錯誤行為的問題可能導致后續索引搜索結果不正確的操作。 
• 修復了B樹索引錯誤地刪除重復列的問題。
• 修復了將批量表插入分區表的問題。
• 修復了在步驟中具有多個分區鍵的哈希分區表在某些情況下可能導致崩潰的生成和運行時修剪。
• 修復了使用READ COMMITTED模式時MERGE期間并發更新行的不一致重新檢查的問題。  
• 將pg_dump修復為轉儲訂閱的新選項。
• 修復pg_restore，以便選擇性還原將同時包含表級和列級ACL對于選定的表。

OceanBase發布4.2.1 LTS版本

2023年，OceanBase企業版及社區版共計迭代27個版本，新增超過450項功能。11月16日，OceanBase發布一體化數據庫的首個長期支持版本4.2.1 LTS。作為4.x的首個LTS版本，該版本的定位是支撐客戶關鍵業務穩定長久運行，可在關鍵業務負載中放心地規模化使用。經過十余個版本的迭代打磨，新的一體化版本已經在生產環境支撐了上百個業務系統穩定運行。

1、兼容性：

OceanBase 4.2.1 LTS是面向OLTP核心場景的全功能里程碑版本。Oracle兼容性層面在復雜查詢、存儲過程、JSON、Database Link進一步提升，MySQL兼容模式在之前的版本已經對MySQL 5.7有很好兼容能力的基礎上，4.2.1 LTS版本引入了大量MySQL 8.0的新功能兼容。

2、性能：

OLTP性能在各種規格下相比之前的版本均有較多提升。在96 Core機器上，sysbench壓測的性能相比3.2.4版本提升9%到100%。新版本對于小規格有更大幅度的優化，提升比例從51%到152%不等，在read only、insert、update三種場景的性能都達到了3.2.4版本的2倍以上。OLTP分析查詢場景性能有大幅度提升，新版本TPC-DS 100G性能是3.2.4版本的2.7倍，性能優化效果顯著。

3、業務連續性：

新增仲裁無損容災能力，提供創新的仲裁無損容災，通過兩副本實現RPO=0，幫助用戶實現更具性價比的異地容災。同時，面向更多場景的RTO<8s，提供更加完善故障恢復能力，當機器故障、網絡中斷、IO異常甚至是數據庫進程被中斷等異常情況發生時，數據庫的服務都能在8秒內恢復，給業務提供更強的持續可用能力。此外，新版本提供租戶級別物理備庫功能，讓備庫功能做到租戶粒度，允許同一個集群中同時存在主庫角色的租戶和備庫角色的租戶，便于用戶安排更符合實際業務的容災部署方案。

4、易用性：

支持Auto DOP，新版本查詢優化器可在生成查詢計劃時評估查詢需要執行的時間，自動確定是否開啟并行和開啟適量的并行度。以避免由于手動指定并行度而導致的性能下降。最新的4.2.1 LTS版本對DDL進行進一步優化，Create Table語句與Truncate Table允許并行執行，在通常的生產環境中，批量并發操作新版本性能相比3.2.4 LTS版本有10倍以上的性能提升。支持旁路導入，幫助用戶在大量數據遷移的過程中進行表級別的并發控制并保證數據的一致性，不僅可以用在新業務加載數據的場景，也可以在日常的數據操作和運維管理使用。

此外，OB Cloud已上線4.2.1版本，支持客戶在云上體驗最新的OceanBase產品能力。在完善從1C / 2C / 4C / 8C / 14C / 24C / 30C / 62C / 104C全系列規格的同時，推出ARM系列產品規格。目前OB Cloud已支持阿里云、騰訊云、華為云、AWS等多個云基礎設施，這意味著用戶可以在不同的云基礎設施使用一致的數據庫和技術棧。

TiDB發布7.5 LTS版本和7.3、7.4兩個DMR版本

一、2023年下半年重大更新總結

TiDB發布7.5 LTS版本和7.3、7.4兩個DMR版本，著眼于提升規模化場景下關鍵應用的穩定性，累計新增和優化特性150+，其中值得關注的新特性有：

1、TiDB v7.1引入資源管控（Resource Control）特性，提供基于資源管控的數據庫整合方案，多個業務可共享同一個TiDB集群，DBA可為不同的工作負載設置資源配額和優先級，極大降低用戶對于多套MySQL集群的運維復雜度和運維成本。自TiDB v7.4開始，資源管控支持DDL、analyze、import等后端任務管理，可自動識別后端任務，降低其資源消耗。

2、TiDB v7.4版本發布了對MySQL 8.0常用功能和語法的支持，這使得平滑遷移MySQL 8.0的應用變得輕而易舉。TiDB完整支持MySQL 8.0的公共表表達式（CTE）、窗口函數（window function）、基于角色的權限管理、增強uft8mb4字符集、JSON多值索引 (Multi-valued Index)、修改會話變量的hint ( SET_VAR())、CHECK約束等重要特性。

3、重要場景的性能獲得顯著提升：推出DDL并行執行框架，在線DDL性能獲得指數級提升；TiDB 7系列版本的OOM較之前的版本下降了99%；目前，TiDB已經能做到單表50TB數據的小時級別導入，數據同步輸出的延時降低至了秒級，滿足用戶對極致的RPO和RTO的述求。

7月，TiDB Cloud Serverless正式商用，是一款AI Ready的完全托管的DBaaS服務，可根據需求自動擴展。

二、明年展望

2024年，TiDB將迎來8.0時代。TiDB V8系列將聚焦于高擴展性、在多租戶背景下的應用穩定性、高可用性，以及圍繞云平臺與Serverless的體驗提升等方向的功能升級。

大數據生態圈

Elasticsearch發布8.9.x、8.10.x、8.11.x三個大版本

Elasticsearch在2023年下半年發布了三個大版本，8.9.x、8.10.x、8.11.x，帶來了諸多的新功能特性，在每個大版本之間也包括幾個小版本，解決一些問題修復。除了發布主流新版本之外，Elasticsearch依然發布了多個7.17.x持續更新版本，主要側重對已知問題的修復，也包括支持與8.x版本兼容性過渡。

Elasticsearch 2023年下半年版本發布

以下是8.9.x~8.11.x版本值得關注的新功能特性：

1、并發查詢與寫入性能提升：

• 在之前版本，ES實時查詢索引數據會受限與索引實時刷新阻塞；在8.9.x版本之后，增加了線程并發機制，當用戶進行短語或者固定關鍵字進行查詢時，ES內部重寫查詢語句，直接跳過與關鍵字不關聯的索引分片，從而避免索引分片刷新帶來的查詢延遲。
• 另外在單個分片內部查詢分段文件，也集成了并發搜索特性，之前單分片是單線程模型，單分片內部多個分段文件只能按順序進行查詢，現在支持多線程同時查詢多個分段，性能大幅度提升。

2、ELSER語義搜索：

• ELSER，全稱“Elastic Learned Sparse EncodeR”，提供了一個全新的語義搜索引擎，能夠基于上下文搜索關鍵字語義進行搜索，同比基于分詞的搜索更加貼近用戶的語義期望。
• ES較早集成了稠密向量與稀疏向量字段類型，在之前需要借助于三方向量引擎進行語義轉換工作，結合ES存儲檢索能力，滿足業務需求。現在ELSER向量語義搜索特性，提供了一站式的工具功能機制，直接可以與一些向量模型進行集成，并獲得不錯的性能與語義搜索精準性。
• ELSER基于稀疏向量字段類型完成。

3、KNN并行查詢：

• KNN，近鄰查詢檢索，核心基于Vector向量字段類型實現，應用于相似性檢索場景，如圖片、文字、語音、視頻等。在ES8.10.x版本之前，KNN檢索分片是按照順序性進行的，現在是多分片并行進行檢索，性能上獲得明顯提升，可以支持更大規模的向量檢索應用場景。

4、ES|QL：

• ES|QL，全稱“Elasticsearch Query Language ”，全新的查詢語言引擎；在ES8.11.x版本之前，已有多種查詢語言語法、如DSL、SQL、EQL、Query String，核心都是基于Lucene的表達式，更多的是適配Lucene的功能特性。ES|QL基于管道模型的設計理念，上一步的查詢的結果可以作為下一步查詢的輸入，從而可以組合多種查詢邏輯，實現多種數據查詢、聚合、轉換等需求。ES|QL內置基于全新的查詢引擎，語法表達式不會轉換DSL，而且直接查詢ES的數據，同時滿足查詢多樣性與性能提升。

5、JDK 21.x：

• Elasticsearch最新發布的7.17.x、ES8.11.x版本，都集成了JDK21.x版本。JDK21.x發布的最重要的核心特性應該是Vector API向量指令，在之前非JVM平臺的OLTP產品集成了SIMD指令集，獲得了不錯的性能，對基于JVM構建的大數據產品形成了很大的挑戰，JDK21.x發布之后，這個優勢將不再明顯，基于Elasticsearch構建中大型規模的OLTP分析平臺也是足夠的，尤其是滿足業務系統實時性的聚合統計，可以不需要借助獨立的大數據部門。
• JDK最近幾年發布新特性與版本都很快，業界當前應用最廣泛是JDK8.x、JDK11.x、JDK17.x，更高版本的無論是應用系統還是中間件都較少， Elasticsearch最新版本已經自帶集成JDK21.x，為了更好的性能或更多的特性，Elasticsearch敢為天下先，為廣大Java領域的開發者提供了很好的學習參考。

Flink發布1.18.0版本

• Flink SQL Gateway支持JDBC Driver，可以使用支持JDBC的任何SQL客戶端通過Flink SQL進行交互。
• Flink連接器的存儲過程（Stored Procedure）支持，為用戶提供更順暢的數據訪問和管理能力。
• Flink SQL DDL擴展，添加REPLACE TABLE AS SELECT、CREATE OR REPLACE TABLE AS SELECT等語法。
• 支持時間旅行（Time Travelling）語法，用于查詢歷史版本的數據。
• Table API & SQL支持算子級別狀態保留時間（TTL）。
• SQL支持水印對齊（Watermark Alignment）和空閑檢測（Idleness Detection）。
• Hybrid Shuffle支持遠程存儲。
• Flink SQL的運行時過濾（Runtime Filter）和算子的融合代碼生成（Operator Fusion Codegen）優化，TPC-DS在10T數據集上性能提高14%。
• 支持通過REST API控制動態細粒度擴縮容。
• 更快的RocksDB擴縮容，增量checkpoint的擴縮容性能提高30%。
• 提供對Java 17支持。
• 水印對齊（Watermark Alignment）功能自1.18版本開始生產可用。
• 提供可插拔式的故障處理和Catalog修改的監聽能力。
• SQL客戶端提供配色方案，大查詢更加易于編輯和預覽，可隨時關閉和打開行號。
• RPC框架使用Apache Pekko代替Akka。
• Apache Calcite版本升級至1.32。

ClickHouse發布23.7、23.8、23.9、23.10、23.11等版本

一、2023年下半年重大更新總結

2023年下半年，ClickHouse主要發布了23.7、23.8、23.9、23.10、23.11五個新版本，其中23.8是LTS版本，值得關注的新功能特性：

1、關于JSON的類型推斷：

在23.9中，這個功能專門針對那些可預測JSON結構的用戶。它允許從結構化數據中推斷出嵌套模式，從而節省用戶手動定義的時間。雖然這帶來了一些約束，但加快了入門體驗。

2、工作負載調度：

ClickHouse最受期待的功能之一是能夠隔離查詢工作負載。具體而言，用戶經常需要為一組查詢定義資源限制，以最小化其影響。這里的目標通常是確保這些查詢不會影響其他關鍵業務查詢。盡管在ClickHouse早起晚睡版本中部分實現了內存配額和CPU限制，但這還遠不滿足要求。例如，不能限制共享資源（如磁盤I/O）的使用。因此，ClickHouse在23.9中實現了工作負載調度。用戶在創建工作負載后，可以通過設置工作負載來調度查詢。

3、GCD編解碼器：

在23.9中，添加了一個新的編解碼器GCD。該編解碼器基于最大公約數算法，可以顯著提高對存儲在列中的小數(decimal)的壓縮效果，其中配置的精度遠遠高于所需。此編解碼器還有助于處理大數（例如1201000000），并且增加幅度大，例如從1201000000到1203000000。具有類似大小和分布的整數也可以從GCD中受益，例如時間戳（UInt64）具有納秒精度，以及頻繁的日志消息，例如每100毫秒一次。

4、直接從歸檔中導入：

ClickHouse已經支持如zstd、lz4、snappy、gz、xz和bz2等格式的壓縮文件。在23.8版本之前，這些壓縮文件只能包含一個文件。在23.8版本中，增加了對zip、tar和7zip的支持，這些格式都可能包含多個文件。

5、默認啟用的稀疏列：

稀疏列在23.7之前需要明確啟用。這個優化旨在減少某列寫入的總數據，當檢測到大量的默認值時，動態地改變編碼格式。除了提高壓縮率，這還有助于提高查詢性能和內存效率。在23.7中，此功能默認啟用。當可以應用這種編碼時，用戶應該立即看到壓縮和性能的提升。

6、Parallel窗口函數：

窗口函數自21.5版起在ClickHouse中可用。那么并行化是通過利用窗口函數固有的分桶能力也就是‘分區’來實現的。當用戶指定一個窗口函數應該按列進行分區時，實際上為每個分區創建了一個單獨的邏輯窗口，即如果該列包含N個不同的值，就需要創建N個窗口。在23.11版本中，這些分區可以有效地并行構建和評估。

7、Prewhere列統計：

列統計是ClickHouse中一項新的實驗性功能，它能夠在查詢優化方面發揮更好的作用。有了這個功能，用戶可以讓ClickHouse為MergeTree系列引擎的表的列創建（并自動更新）統計信息。這些統計信息存儲在表的各個部分內，以一個小型的單一文件statistics_(column_name).stat的形式存在，這是一個通用的容器文件，用于存儲啟用了統計功能的每個列的不同類型的統計信息。這確保了對列統計的輕量級訪問。截至目前，唯一支持的列統計類型是t-digests。

二、明年展望

2023年是ClickHouse正式進入中國市場的一年。ClickHouse Cloud作為SaaS版的云數倉產品已經落地在AWS和谷歌云，在國內與阿里云合作，于2023年10月正式開啟了企業版公測。企業版與全球的ClickHouse Cloud服務能力同步，計劃明年在阿里云上正式GA。

Doris發布2.0版本以及2.0.1、2.0.2、2.0.3版本

2023年8月11日，Apache Doris正式發布具有里程碑意義的2.0.0版本，超過275位貢獻者為2.0.0版本提交了超過4100個優化項，同時在該版本基礎上發布了2.0.1、2.0.2、2.0.3等多個迭代版本。其中重點關注的特性包括：

1、全新查詢優化器：

采取更先進的Cascades框架、使用更豐富的統計信息、實現更智能化的自適應調優，在絕大多數場景無需任何調優和SQL改寫即可實現極致的查詢性能，同時對復雜SQL支持得更加完備、可完整支持TPC-DS全部99個SQL。

2、自適應的并行執行模型：

引入Pipeline執行模型作為查詢執行引擎。在Pipeline執行引擎中，查詢的執行是由數據來驅動控制流變化的，各個查詢執行過程之中的阻塞算子被拆分成不同Pipeline，各個Pipeline能否獲取執行線程調度執行取決于前置數據是否就緒，實現阻塞操作的異步化、可更加靈活地管理系統資源，同時減少線程頻繁創建和銷毀帶來的開銷，并提升 Apache Doris對于CPU的利用效率。

3、日志分析能力全面增強：

提供了原生的半結構化數據支持，在已有的JSON、Array基礎之上增加了復雜類型Map，并基于Light Schema Change功能實現了Schema Evolution。與此同時，新引入的倒排索引和高性能文本分析算法全面加強了Apache Doris在日志檢索分析場景的能力，可以支持更高效的任意維度分析和全文檢索。與基于Elasticsearch的日志存儲分析方案相比，寫入吞吐提升5倍、存儲成本降低超過70%、查詢性能比Elasticsearch提升2-4倍。

4、數據湖聯邦分析：

在數據源方面，支持了Hudi Copy-on-Write表的Snapshot Query以及Merge-on-Read表的Read Optimized Query，截止目前已經支持了Hive、Hudi、Iceberg、Paimon、MaxCompute、Elasticsearch、Trino、ClickHouse等數十種數據源，幾乎支持了所有開放湖倉格式和Metastore。同時還支持通過Apache Range對Hive Catalog進行鑒權，可以無縫對接用戶現有的權限系統。同時還支持可擴展的鑒權插件，為任意Catalog實現自定義的鑒權方式。在性能方面，利用Apache Doris自身高效的分布式執行框架、向量化執行引擎以及查詢優化器，結合2.0版本中對于小文件和寬表的讀取優化、本地文件Cache、ORC/Parquet文件讀取效率優化、彈性計算節點以及外表的統計信息收集，Apaceh Doris在TPC-H場景下查詢Hive外部表相較于Presto/Trino性能提升3-5倍。

5、行列混存、單節點3w+ QPS：

引入全新的行列混合存儲以及行級Cache，使得單次讀取整行數據時效率更高、大大減少磁盤訪問次數，同時引入了點查詢短路徑優化、跳過執行引擎并直接使用快速高效的讀路徑來檢索所需的數據，并引入了預處理語句復用執行SQL解析來減少FE開銷。通過以上一系列優化，2.0.0版本在并發能力上實現了數量級的提升，實現了單節點30000 QPS的并發表現，較過去版本點查詢并發能力提升超20倍。

6、主鍵模型寫時更新優化和完備的數據更新能力：

在實時分析場景中，數據更新是非常普遍的需求，而可變數據集上的高效分析往往是一大挑戰。在2.0.0版本中，對Unique Key主鍵模型的Merge-on-Write寫時更新模式進行了優化，高并發upsert的穩定性顯著提升。同時增加了Unique Key主鍵模型的部分列更新，在多張上游源表同時寫入一張寬表時，無需由Flink進行多流Join打寬，直接寫入寬表即可，減少了計算資源的消耗并大幅降低了數據處理鏈路的復雜性。基于以上優化，Apache Doris對于各類數據更新需求，包括整行更新、部分列更新、按條件進行批量更新或刪除以及整表或者整個分區的重寫（inser overwrite）都有完備的支持。

7、數據高頻寫入更穩定：

在高頻數據寫入過程中，小文件合并和寫放大問題以及隨之而來的磁盤I/O和CPU資源開銷是制約系統穩定性的關鍵，因此在2.0版本中我們引入了Vertical Compaction以及Segment Compaction，用以徹底解決Compaction內存問題以及寫入過程中的Segment文件過多問題，資源消耗降低90%，速度提升50%，內存占用僅為原先的10%。

8、更加完善的多租戶資源隔離：

增加了Workload Group資源軟限制的方案，通過對Workload進行分組管理，以保證內存和CPU資源的靈活調配和管控。當集群資源緊張時，將自動Kill組內占用內存最大的若干個查詢任務以減緩集群壓力。當集群資源空閑時，一旦某一Workload Group使用資源超過預設值時，多個Workload將共享集群可用空閑資源并自動突破闕值，繼續使用系統內存以保證查詢任務的穩定執行。Workload Group還支持設置優先級，通過預先設置的優先級進行資源分配管理，來確定哪些任務可正常獲得資源，哪些任務只能獲取少量或沒有資源。與此同時，在Workload Group中還引入了查詢排隊的功能，在創建Workload Group時可以設置最大查詢數，超出最大并發的查詢將會進行隊列中等待執行，以此來緩解高負載下系統的壓力。

9、冷熱數據分層：

冷熱數據往往面臨不同頻次的查詢和響應速度要求，因此通常可以將冷數據存儲在成本更低的存儲介質中。在2.0 版本中推出了冷熱數據分層功能，冷熱數據分層功能使Apache Doris可以將冷數據下沉到存儲成本更加低廉的對象存儲中，同時冷數據在對象存儲上的保存方式也從多副本變為單副本，存儲成本進一步降至原先的三分之一，同時也減少了因存儲附加的計算資源成本和網絡開銷成本。通過實際測算，存儲成本最高可以降低超過70%。

StarRocks發布3.1和3.2版本

一、2023年下半年重大更新總結

2023年下半年，StarRocks主要發布了3.1.0-3.1.6、3.2多個版本，其中值得關注的新功能特性有：

1、存算分離架構：

• 存算分離架構功能上繼續對齊存算一體，完善主鍵模型表的索引持久化功能，讓存算分離更好地支持實時分析場景；性能上，查詢和導入性能也基本與存算一體架構持平。

2、數據湖分析：

• 對Iceberg和Hive Catalog進行了完善與增強，為數據湖Single Source of Truth提供了能力基礎。
• 支持Unified Catalog。在同一個Hive Metastore或AWS Glue元數據服務中包含多種表格式時，可以通過創建Unified Catalog來統一管理和訪問，簡化Catalog的創建和使用。不僅避免了不必要的重復創建，更讓終端用戶可以不再關心具體的表格式。
• 同時，3.1版本起開始新增支持了Elasticsearch catalog和Paimon catalog，并進一步增強Trino語法兼容性，持續擴大生態打通和提升產品易用性。

3、物化視圖：

• 3.1版本進一步提升異步物化視圖構建、刷新的穩定性，提供更多靈活易用的創建和刷新參數、增加更多場景的SQL智能改寫；StarRocks也擴展了同步物化視圖的能力邊界，拓寬更多應用場景。

4、易用性的持續提升：

• 提供了隨機分桶、表達式分區、FILES表函數等更多新功能、新模式，進一步提升建表/分區/導入中的易用性；3.2版本開始更是全鏈路地提升了系統的易用性。

5、優化查詢性能和穩定性：

• 新增了生成列功能，StarRocks會根據生成列表達式自動計算表達式的值并在導入時即存儲，在查詢時會自動判斷并進行改寫。

6、行列混存：

• 在3.2后續版本中StarRocks將在主鍵模型上支持行存表和行列共存的表存儲格式。

二、明年展望

• 增強湖倉功能并擴展湖倉生態。
• 增強物化視圖智能推薦能力。
• 存算分離架構全面支持Primary Key和自動cache預熱。

國產數據庫

ActionDB及TensorDB 2023下半年重大更新總結

一、ActionDB

1、2023年下半年重大更新總結

2023年下半年，ActionDB發布了1.0、1.5、2.0多個版本，其中值得關注的新特性有：

1）ActionDB TDE：可實現數據的透明存儲加密，提高數據安全性。

2）基于Binlog的雙向復制：

• ActionDB到MySQL：無需修改原架構的下游復制通路。
• MySQL到ActionDB：無需經過OMS，ActionDB可直接實現基于 Binlog 的數據同步。

2、明年展望

2024年上半年，ActionDB將進一步完善工具生態，推出數據傳輸工具：ActionDB-OMS，數據管理平臺：ActionDB-DMP，SQL質量管理平臺：ActionDB-SQLE等，并將繼續提高ActionDB在安全可信方面的能力。

二、TensorDB

1、2023年下半年重大更新總結

1）支持英偉達GPU和國產GPU的單機多卡以及多機多卡的向量計算加速。

2）完成信創化改造，支持國產ARM架構、操作系統、芯片、存儲、中間件等。

3）支持稠密向量和稀疏向量的混合檢索。

2、明年展望

基于TensorDB與開源大模型實現RAG流程的快速構建、評估與優化。

SequoiaDB發布3.4.11及5.6.1版本

2023年下半年，巨杉數據庫發布了SequoiaDB V3.4.11及V5.6.1兩個版本，主要在性能等方面進行了優化提升：

1、主要特性

優化內存管理，提供內存回收的能力。

2、性能優化

存儲引擎：

• 優化過濾的記錄數超過CL總記錄數的10%時，執行count操作的性能。
• 優化從information_schema.tables查詢統計信息的性能。

3、解決重要Bug

存儲引擎：

• 修復指定節點角色為所有節點時，查詢回收站快照可能造成節點crash的問題。
• 修復sdbcm進程創建的子進程可能變成僵尸進程的問題。
• 修復同步日志滿，備節點歸檔日志歸檔失敗的問題。
• 修復使用java驅動調用closeAllCursors()接口后，游標繼續執行getNext()不報錯的問題。

達夢數據庫更新DM8.1.3版本

2023年下半年，達夢數據庫主要更新了DM8.1.3版本，其中值得關注的新變化有：

1、新特性

• 數據脫敏功能改進，同時新增DPC數據脫敏功能。
• 支持為TIMESTAMP和DATETIME類型列設置ON UPDATE自動更新時間，即更新表中其他列數據時，該列會自動更新記錄當前時間戳。
• 支持DISQL設置數值類型列格式串。
• 新增CHECKPOINT類型的事件觸發器。
• 全文索引支持score。
• DMGEO&DMGEO2包新增相關新特性。
• 新增帶有輸出字節長度的大字段函數dpi_lob_read3。
• 增加geoserver對接達夢中，渲染點、面信息時達夢全表查詢，可帶入過濾條件功能。
• Manager工具對用戶表授權時屏蔽分區子表，支持對象權限按類型批量授權。
• 新增R語言工具包RDameng，提供在Linux操作系統下使用R語言進行DM數據庫操作、兼容ROracle接口功能。
• DTS遷移，DM->TXT，支持用戶輸入自定義行分隔符。
• JAVA外部函數新增支持VARBINARY類型參數。同時，java外部函數的參數列表、返回值新增支持blob和clob類型。
• delete語法中新增支持with子句。
• 新增動態視圖V$ARCH_BACKUP_HISTORY記錄當前節點歸檔日志備份的歷史信息。

2、功能改進

• 優化dmfldr并發執行數據加載功能。
• 優化Manager工具debug定位功能，同時支持在Debug工具中查看變量類型。
• DEM在實時監控中增加顯示分配使用率，同時優化系統健康度判斷功能。
• DTS工具命令行執行對比，優化生成的excel報告。
• 優化ODBC綁定的SQL類型SQL_VARCHAR相關功能。
• JDBC連接查詢功能優化。

3、性能優化

• 數據庫發起的綁定變量SQL生成執行計劃時，優化范圍查詢估算性能，提升效率。
• 計劃執行過程中，當WHIT VAR計劃下包含CONSTV時，優化重加載數據性能。
• 優化視圖與包互相嵌套，層層調用情況下的SQL查詢語句。
• 優化使用堆表全局索引查找數據功能。

ByConity發布0.3.0版本

一、2023下半年重大更新總結

字節跳動開源數倉ByConity 0.3.0版本于12月18日正式發布，該版本提供倒排索引、基于共享存儲的選主方式等多項新特性，對冷讀性能進一步優化，對ELT能力進一步迭代，同時修復了若干已知問題，進一步提升系統的性能和穩定性。

1、倒排索引：

在ByConity使用過程中，很多業務對文本檢索相關能力（如StringLike）提出了非常高的需求，希望社區能夠優化相關查詢性能，同時兼容ClickHouse在今年支持的倒排索引的能力。為滿足業務訴求，保持生態兼容，同時提升ByConity的文本檢索能力，ByConity在0.3.0版本加入了對文本檢索的支持，為日志數據分析等場景提供高性能查詢。

2、基于共享存儲的選主方案：

在ByConity架構中存在多種控制節點，它們需要各自通過多副本+選主來提供高可用的服務能力，例如Resource Manager，TSO等。實際中的多個計算server，也需要選出一個單節點來執行特定的讀寫任務。之前ByConity使用了clickhouse-keeper組件來進行選主，該組件基于Raft實現，提供兼容zookeeper的選主接口。但在實際的使用中遇到了很多運維問題，例如需要部署3個以上節點才能提供容災，增加運維負擔；節點增刪和服務發現流程復雜；容器重啟后如果服務變換ip和服務端口，keeper組件難以快速恢復，等等。考慮ByConity作為一個新的云原生服務，并不需要兼容ClickHouse對zookeeper的訪問，我們選擇了基于存算分離的云原生架構實現一種新的選主方式來優化以上問題。

3、冷讀性能的進一步提升：

在ByConity 0.2.0中，通過引入IOScheduler等方式提高了冷讀查詢的性能，尤其是在S3上的冷讀性能。0.3.0版本通過引入ReadBuffer的Preload等優化，進一步提高了冷讀性能。

4、ELT能力增強：

在0.3.0中，引入新的BSP模式，通過stage by stage的執行以及增強disk based shuffle，滿足有限條件下的計算，提高吞吐。在ByConity中復雜查詢對query plan的stage進行了切分并進行了stage by stage的調度，但在語義上仍然是all at once的調度。ELT在執行時需要對查詢進行分階段運行，需要進一步達到stage by stage執行的效果。

二、明年展望

后續版本將會對異步處理模式和調度器的實現做進一步的增強。

AntDB發布8.0超融合數據庫

2023年下半年，亞信安慧AntDB數據庫發布了8.0超融合數據庫，其中值得關注的新變化有：

1、一切皆可SQL的超融合數據庫：超融合架構從實驗室環境正式走向生產，以六大執行引擎共存為基礎，為上層的交易、分析、高頻處理、實時計算、物聯網連接、AI向量計算提供底層數據服務。用戶可在包括標準SQL在內的ODBC、JDBC、Python以及各種開發框架下，使用AntDB數據庫里的數據。

2、數據庫內核里的流式計算：從內核層面引入流式計算“事件+推送”的消息模式，更注重實時性和并發處理能力。

3、集中式分布式一體化：一套代碼同時支持集中式、分布式、云原生部署模式。

4、數據庫遷移同步工具更新升級，實現面向新型多模態多引擎數據庫的一鍵式評估、遷移、稽核與數據效驗。

QianBase?發布QianBaseTP-15.0正式版及QianBaseMPP-7.0.0正式版

一、QianBaseTP

2023年下半年，QianBaseTP單機版主要發布了15.0的正式版本，在產品的功能性、兼容性和性能方面進行了提升，主要內容如下：

1、新增DATE，TIMESTAMP的格式化類型，增強decimal，numeric，number等數據類型，以及提升函數兼容性等。

2、新增connect by層次查詢功能。

3、新增listagg列轉行函數功能。

4、新增透明加密功能。

5、預寫式日志無鎖化，在TPCC場景下，Arm環境性能提升了約17%，x86環境性能提升了12%。

二、QianBaseMPP

2023年下半年，QianBaseMPP主要發布了7.0.0的正式版本，在產品的功能性、兼容性和性能方面進行了提升，主要內容如下：

1、新增同義詞功能。

2、新增UPSERT功能。

3、進一步提升Oracle的兼容性，包含但不局限于binary_double，binary_float，to_nchar，sysdate，systimestamp等。

4、新增磁盤配額管理功能，可支持用戶，模式，表級別的磁盤配額管理。

5、新增AO表唯一索引功能。

6、AO列存表，智能索引，支持block級別的Min，Max，BloomFilter過濾，在精準查詢和小范圍掃描的場景下，大幅提升查詢性能。

ArkDB 2023下半年技術更新要點

• arkolap友好性改進，支持在線啟動與在線修改數據源地址。
• 解決了arkdb在底層對象存儲中，對象個數達到100萬時啟動速度變慢的問題。
• 修改arkolap在特定條件下，刪除數據時報錯的問題。
• 增強了arkdb啟動時掃描對象的速度，增加了并行掃描的功能。
• arkolap同步邏輯中，sync cache manager存在性能問題，需要增加開關進行關閉。
• 修改ArkDB代碼中，在特定情況下，一個函數被錯誤的調用導致堆棧錯亂引起的崩潰問題。
• 修改執行計劃的生成邏輯，提升了arkolap查詢時的效率，實現多重條件下推的功能。

云數據庫

PolarDB新增NL2SQL、列存索引多機并行、一站式HTAP、全加密等功能

2023年下半年，PolarDB發布了一系列新版本和功能，其中值得關注的版本、功能有：

一、PolarDB MySQL版

1、全方位降本，推出全新經濟版，支持壓縮功能、熱溫冷分層管理功能。

2、發布CRAC多寫能力，推出基于共享存儲的多機集群形態。

3、IMCI列存索引發布多節點全內存并行分析，在線事務處理和計算分析一體化。

4、發布DB4AI能力，一站式MLOps，內置NL2SQL、通義千問等大模型。

5、發布PolarDB+AnalyticDB、PolarDB+Tair DBCache一站式服務。

二、PolarDB PostgreSQL版

1、推出標準版，性價比相較企業版更具吸引力。

2、推出一站式HTAP服務，復雜查詢性能最高可提升百倍。

3、發布全加密功能，支持對數據庫表中的敏感數據列進行加密。

三、PolarDB分布式版

1、發布5.4.17和5.4.18兩個大版本。

2、新增生成列的創建方法，以及在生成列上創建索引的方法。

3、新增支持affected rows行為。

騰訊云2023下半年數據庫產品更新匯總

一、TDSQL MySQL版

• 公有云數據庫審計能力正式發布。
• 公有云長期備份功能發布，最長可支持十年備份。
• 公有云支持用戶按年/月/周保留周期性備份，優化備份管理。
• CDC版本多租戶能力正式發布。
• 公有云接入DBbrain正式發布。
• 私有云DCN一拖二和強同步正式發布，已有核心系統投產使用。
• 私有化回收站功能正式發布，同時支持TXSQL5.7和8.0，針對誤刪庫表場景可以秒級恢復。
• 私有化備份廠商適配取得進展，已有多家廠商完成適配，取得互認證證書。
• 私有化物理復制版本灰度上線，可試點使用。
• 私有化支持資源隔離，包括CPU、內存、磁盤可以做到嚴格限制。

二、TDSQL PostgreSQL版

• 發布融合版本，大幅提升HTAP能力；同一引擎支持行列混存，TP/AP性能大幅提升。
• 同一引擎支持PG/Oracle雙語法生態。
• Oracle兼容性再上新臺階，對PL/SQL兼容度提升到90%以上，同時新增PL/SQL提前編譯等功能。
• 新增支持單機和單表模式。
• 新增支持兼容PG15語法能力。
• 新增資源隔離能力，根據CPU/內存/并發度隔離業務。
• 資源熔斷：CPU/內存/耗時/傾斜等超過閾值主動停止查詢。

三、TDSQL-C推出Serverless 2.0版

云原生數據庫TDSQL-C主要推出了Serverless 2.0版，發布了新內核特性以及全新功能，其中值得關注的動態如下：

• 推出Serverless 2.0版：支持一主多從混合集群版Serverless服務。
• TXSQL內核特性：支持自動kill空閑事務、動態線程池、閃回查詢、計劃緩存點查優化、熱點更新保護等。
• 發布一鍵遷移2.0：支持將云數據庫MySQL的實例全量遷移至TDSQL-C。
• 支持跨地域備份：提升數據跨地域容災能力，加強數據庫可用性及安全性。
• 支持CSI列存索引：通過使用列式數據格式存儲等技術，實現更好的查詢性能、更高的數據壓縮率。
• 日志服務（CLS）：支持慢日志數據投遞，實現從日志采集、日志存儲到日志檢索等全方位的日志服務。
• 發布新版數據庫審計：支持全審計和規則審計，支持事后告警。
• 可釋放存儲：全球首創可釋放存儲架構，實例暫停存儲落冷，極致壓縮存儲成本。

四、DTS-DBBridge異構遷移能力升級

數據傳輸服務DTS-DBBridge異構遷移能力升級，支持Oracle、DB2等遷移能力，提升傳輸性能，增強穩定性、易用性，適配國產化信創環境。

1、新增10條鏈路：

• 新增Oracle到TDSQL MySQL正反向鏈路，同時支持一致性校驗，SQL條件過濾。
• 新增Oracle到TDSQL PostgreSQL同步鏈路，同時支持一致性校驗。
• 新增DB2到TDSQL MySQL同步鏈路，同時支持一致性校驗。
• 新增MySQL/MariaDB/Percona到TDSQL MySQL正反向同步鏈路，同時支持一致性校驗。

2、功能增強：

• TDSQL MySQL到TDSQL MySQL/Kafka鏈路中支持同步二級分區表。
• TDSQL MySQL到Oracle鏈路支持指定位點同步。
• 支持全量、增量階段分離；批量任務管理；用戶策略管理；軟件License管理。
• 支持API接口功能。
• 支持跨可用區雙AZ部署、單機部署。

3、適配國產化信創環境。

五、DBbrain持續提升數據庫自運維能力

數據智能管家DBbrain值得關注的動態如下：

• 支持TDSQL MySQL版、MariaDB的實時智能診斷，提供7*24小時數據庫異常發現、診斷分析、實時通知和優化建議等服務。
• 支持關系型數據庫的SQL分析能力，提升問題洞察能力。
• Redis智能診斷能力增強：全面升級Redis大Key分析、熱Key分析能力。支持事件通知。
• MongoDB智能診斷能力增強：深化MongoDB實時會話功能、支持會話統計分析。支持事件通知。
• 支持推送實時診斷告警信息到企業微信、飛書、釘釘群中。
• 私有化1.0.9.8版本發布，進一步深化實時診斷能力和全鏈路分析能力，提供完善和成熟的私有云解決方案。

六、騰訊云向量數據庫（Tencent Cloud VectorDB）正式上線

Tencent Cloud VectorDB是一款全托管的自研企業級分布式數據庫服務，專用于存儲、檢索、分析多維向量數據，于2023年8月首次上線，主要特性包括：

• 自研向量檢索引擎OLAMA：支持HNSW、IVF等常用向量索引，可支撐千億級數據量和百萬級QPS。
• 數據庫能力：支持控制臺管理并監控數據庫實例，提供HTTP與SDK多語言接入并管理數據庫。
• AI套件：提供一站式文檔檢索解決方案，包含自動化文檔解析、信息補充、向量化、內容檢索等。
• Embedding功能：自動將原始文本轉換為向量數據并插入數據庫或進行相似性檢索，簡化用戶操作步驟，降低使用門檻。
• DMC：可視化管理數據庫，支持在線執行數據插入、精確查詢、相似度查詢等操作，直觀地查看執行結果。
• 外網訪問：支持在控制臺一鍵開啟外網訪問功能，按需配置訪問白名單列表，方便用戶測試或管理數據庫。
• 多可用區部署：支持選擇兩可用區與三可用區，滿足業務對高可用性與容錯性的不同需求。

注：關于騰訊云云數據庫MySQL、PostgreSQL、Redis、MongoDB、SQL Server、KeeWiDB、CTSDB、DTS、TDSQL TDStore等產品更新信息，可閱讀本期Newsletter完整版（點擊本文文末【閱讀原文】可下載）

青云2023下半年數據庫產品更新匯總

2023年7月5日，RadonDB DMP 1.3.0正式上線。該版本適用于KubeSphere Enterprise 3.4.1。

• OpenSearch增加jvm自適應。
• OpenSearch增加救援模式功能。
• OpenSearch支持通過配置對接第三方身份認證OIDC。
• Redis增加maxmemory參數自適應。

2023年10月25日，RadonDB DMP 1.4.0正式上線。該版本適用于KubeSphere Enterprise 3.5.0。

• OpenSearch中新增Logstash角色參數配置和獨立監控告警功能。
• OpenSearch支持版本從2.3.0升級到OpenSearch 2.8.0。
• OpenSearch、Kafka、Redis支持預置集群告警。

2023年11月24日，RadonDB DMP 2.0.0正式上線。該版本適用于KubeSphere Enterprise 4.X訂閱版。

• 支持多種類型數據庫與中間件的的可視化創建與統一管理。
• 采用全新的微內核架構KubeSphere LuBan，支持RadonDB DMP功能擴展。
• 支持MySQL版本：5.7、8.0。
• 支持通過Uber日志格式改進命令和Sidecar中的日志記錄。
• 支持OpenSearch、Dashboard、Logstash等節點的部署和管理。
• 支持Redis Cluster/Sentinel實例故障轉移和自動恢復。
• Redis Cluster/Sentinel支持基于Prometheus Exporter的資源狀態監控功能。
• 支持Kafka、RabbitMQ實例自動故障轉移和恢復。

2023年9月7日，MySQL Plus 1.3.0正式上線。其中包含三個版本：基礎版、高可用版、金融版。

• 支持采集MySQL慢日志輸出到指定的Logstash。
• 適配更新MySQL內核版本至MySQL 5.7.41/8.0.31。

2023年9月27日，PostgreSQL PG V2.3.0正式上線。其中包含了兩個版本：基礎版、高可用版。

• 支持災備集群的設置。
• 支持SSL加密傳輸。
• 支持pgvector插件。

2023年8月26日，Kafka 3.1.0 - v3.0.1正式上線。該版本基于Apache Kafka版本3.1.0構建。

• 新增支持使用SASL協議。

2023年9月24日，HBase 2.4.4 - v3.0.0正式上線。該版本基于Apache HBase 2.4.4、Apache Hadoop 3.2.1、Apache Phoenix 5.1.2構建。

• 新增重啟服務和HDFS Balancer功能。

2023年12月25日，ClickHouse 1.2.0正式上線。該版本基于ClickHouse 22.3.20構建，其中包含了兩個版本：基礎版、企業版。

• 升級內核至22.3.20（修復22.3.6內存泄漏問題）。
• 增加多可用區部署功能。

拓數派發布大模型數據計算系統πDataCS，更新PieCloudDB多個版本

一、πDataCS

2023年10月24日，拓數派發布大模型數據計算系統（簡稱πDataCS），以云原?技術重構數據存儲和計算，做到「?份數據，多引擎數據計算」。πDataCS主要解決海量數據的存儲和實時計算問題，具備湖倉?體化的能力，用戶可根據實際情況選擇合適的數據計算引擎：云原生虛擬數倉PieCloudDB、向量計算引擎PieCloudVecotor和 （大模型）機器學習PieCloudML。目前，πDataCS面向國內市場提供公有云版、社區版、企業版及一體機多個版本。

二、PieCloudDB

云原生虛擬數倉PieCloudDB在2023年下半年，不管是內核還是云原生平臺都進行了多個版本的更新：

1、內核模塊更新：

PieCloudDB的內核版本從2.5.0升級至2.10版本。在近半年的版本更新中，PieCloudDB在功能、性能、穩定性、安全性上都有了大幅提升，新增眾多重要更新：

• 壓縮效率大幅提升：支持ZSTD、Dict Encoding、Delta Encoding等編碼方法，對HLL支持游程編碼，節省存儲空間。
• 支持全新的全局緩存系統。
• 新增全新的元數據緩存服務。
• 自研全新的向量化執行器發布Alpha版本，帶來性能的數量級提升。
• 云原生存儲系統「簡墨」Data Skipping功能進一步提升，新增預計算能力。
• 數據同步方面支持CDC（change data capture）功能。

2、云原生平臺：

PieCloudDB云原生平臺不斷迭代，截至12月中旬共完成10個版本的更新，其中包括但不限于：

• 控制臺功能上線：組織、數倉、用戶、費用、權限等管理功能的集成。
• 支持LDAP或LDAPs協議。
• 控制臺界面及用戶交互方面大量更新。
• 權限管理優化。
• 虛擬數倉日志功能開放。
• 新增用量統計功能：可展示存儲量、計算資源使用量和流量的統計數據。
• 外部連接工具PieProxy的優化與升級：支持Transaction和Session模式，支持白名單配置等功能。

SelectDB Cloud 3.0發布，增加全新產品形態

2023年9月25日，飛輪科技全面開放SelectDB Cloud云原生數據倉庫，增加全新的私有倉庫（BYOC）產品形態，同時發布了更自主可控的SelectDB Enterprise企業版。

1、云原生內核更新：

目前SelectDB最新內核版本為3.0.4。近半年來，SelectDB內核發布了3個兩位版本共20個三位版本，從性能到穩定性都有大幅提升，新增眾多重要更新：

• 更智能的全新查詢優化器。
• 倒排索引。
• 自適應的并行執行模型。
• 跨集群數據同步CCR。
• 湖倉一體支持數十種數據源、幾乎所有的開放湖倉格式和Metastore。
• 支持半結構化數據。
• 高性能文本分析算法。
• 自動統計信息收集。
• 內置JDBC Driver。
• 支持Stream Load。

2、云原生管控平臺更新：

近半年來，SelectDB Cloud云原生管控平臺持續迭代，新增重要更新如下：

• 私有倉庫（BYOC）產品形態。
• 支持新建集群時自定義緩存空間。
• 支持新建組織和修改組織。
• 支持新客戶自助注冊組織（登錄即注冊）。
• 支持集群自動啟停。