谷歌 AI 推出 CardBench 評估框架：含 20 個真實數據庫，更全面評估基數估計模型
9 月 3 日消息，谷歌 AI 研究人員最新推出了 CardBench 基準，主要為學習型基數估計（cardinality estimation）滿足系統評估框架需求。
CardBench 基準是個綜合評估框架，包含 20 個不同真實數據庫中的數千次查詢，大大超過了以往的任何基準。
項目背景
基數估計（cardinality estimation，簡稱 CE）是優化關系數據庫查詢性能的關鍵，涉及預測數據庫查詢將返回的中間結果數量，直接影響查詢優化器對執行計劃的選擇。
對于選擇高效的連接順序、決定是否使用索引以及選擇最佳連接方法來說，準確的卡入度估計至關重要。
這些決策會對查詢執行時間和數據庫整體性能產生重大影響。不準確的估計會導致糟糕的執行計劃，從而大大降低性能，有時甚至會降低幾個數量級。
現代數據庫系統中廣泛使用的基數估計技術，依賴于啟發式（Heuristic）方法和簡化模型，例如假設數據統一和列獨立。
這些方法雖然計算效率高，但往往需要準確預測基數，在涉及多個表和過濾器的復雜查詢中表現尤為明顯。
最新的數據驅動方法試圖在不執行查詢的情況下，對表內和表間的數據分布進行建模，從而減少了一些開銷，但在數據發生變化時仍需要重新訓練。
盡管取得了這些進步，但由于缺乏全面的基準，因此很難對不同的模型進行比較，也很難評估它們在不同數據集上的通用性。
CardBench
CardBench 能在各種條件下對學習到的基數模型進行更全面的評估。該基準支持三種關鍵設置：
- 基于實例的模型，即在單個數據集上進行訓練；
- 零點模型，即在多個數據集上進行預訓練，然后在一個未見數據集上進行測試；
- 微調模型，即進行預訓練，然后使用目標數據集的少量數據進行微調。
該基準測試提供兩組訓練數據：一組用于具有多個篩選條件謂詞的單個表查詢，另一組用于涉及兩個表的二進制聯接查詢。
該基準測試包括 9125 個單表查詢和 8454 個二進制連接查詢，適用于其中一個較小的數據集，從而確保為模型評估提供強大且具有挑戰性的環境。
例如，微調圖神經網絡（GNN）模型在二進制連接查詢中的 q-error 中位數為 1.32，第 95 百分位數為 120，明顯優于零點模型。結果表明，即使是 500 次查詢，對預訓練模型進行微調也能大幅提高其性能。這使它們在訓練數據有限的實際應用中變得可行。
總之，CardBench 代表了在學習的基數估計方面的重大進步。研究人員可以通過提供全面、多樣的基準，系統地評估和比較不同的 CE 模型，從而促進這一關鍵領域的進一步創新。該基準能夠支持需要較少數據和訓練時間的微調模型，為訓練新模型成本過高的實際應用提供了切實可行的解決方案。
IT之家附上參考地址
