一、背景  

1.1 研究背景

在當今數字化時代，金融領域的數據量呈爆炸式增長，對數據的高效分析和利用成為金融機構獲取競爭優勢的關鍵。傳統的數據庫操作依賴于專業的 SQL 編程技能，然而，金融專業人士雖精通金融業務，但在 SQL 編程方面往往技能有限。這一矛盾促使了 Text-to-SQL 技術的興起，其旨在將自然語言問題轉化為可執行的 SQL 查詢，為金融分析提供了便捷的數據訪問途徑，無需編寫復雜的 SQL 代碼即可獲取所需信息，大大提高了工作效率，減少了對專業數據庫人員的依賴，使金融專業人士能夠更專注于數據分析和決策制定。

然而，盡管 Text-to-SQL 技術在金融領域具有巨大潛力，但仍面臨諸多挑戰。一方面，缺乏專門針對金融分析的實用基準數據集，現有的數據集無法準確反映金融數據庫的復雜特性，如廣泛存在的寬表結構等。另一方面，現有的 Text-to-SQL 方法未能充分考慮金融應用中數據庫的獨特特征，導致模型在處理金融數據時性能受限。

1.2 研究成果

為應對這些挑戰，本文作者團隊開展了深入研究，取得了一系列創新性成果。

首先，構建了一個名為 BULL 的實用 Text-to-SQL 基準數據集。該數據集源自恒生電子的智能投資助手產品，涵蓋基金、股票和宏觀經濟三個領域的數據庫，包含豐富的自然語言問題與 SQL 查詢對，且提供中英文版本，為金融 Text-to-SQL 研究提供了寶貴的數據資源，填補了金融領域專用數據集的空白。

其次，提出了一種基于模型無關的大語言模型的 Text-to-SQL 框架 FinSQL 。

該框架從提示構建、參數高效微調及輸出校準三個關鍵方面，為金融 Text-to-SQL 提供了系統性解決方案，有效提升了模型性能，增強了模型在實際金融應用中的適用性和準確性。

通過在 BULL 數據集上的廣泛實驗驗證， FinSQL  框架在金融 Text-to-SQL 任務中展現出卓越性能，達到了當前最優水平，為金融數據處理和分析帶來了新的可能，推動了金融領域智能化進程。

 二、現狀  

2.1  Text-to-SQL 數據集

高質量數據集是 Text-to-SQL 系統發展和評估的基石。早期的數據集如 GeoQuery 和 Scholar，在查詢數量和場景復雜度上存在局限性，主要聚焦于單數據庫場景且 SQL 查詢較為簡單。WikiSQL 和 Spider 等數據集的出現，在查詢數量和跨數據庫遷移能力上有所提升，引入了復雜多表查詢，但與實際應用場景仍有較大差距。

實際應用中的數據庫往往規模更大，且可能涉及外部知識以輔助用戶理解模式信息。KaggleDBQA 和 BIRD 等數據集在這方面進行了改進，通過引入外部知識和增加查詢樣本數量，使數據集更貼近實際情況，但仍無法完全滿足行業復雜多變的需求。特別是在金融領域，數據庫結構復雜，現有數據集在表和列數量上遠不及實際場景，給 Text-to-SQL 方法在模式信息融合和處理復雜查詢時帶來巨大挑戰。

2.2  Text-to-SQL 模型

早期基于規則的 Text-to-SQL 模型，依賴手工編寫的模板生成 SQL 查詢，這類模型對特定場景高度依賴，缺乏通用性和擴展性，難以適應復雜多變的自然語言表達。

隨著技術發展，基于 Seq2Seq 架構的模型如 IRNet、RAT-SQL 和  LGESQL 等應運而生。這些模型利用編碼器表示問題和模式，通過解碼器生成 SQL 查詢，部分模型還引入圖神經網絡來捕捉問題與模式之間的對齊關系，提高了模型的準確性和泛化能力。

近年來，預訓練大語言模型如 T5、mT5 和 LLaMA 等展現出強大的語言理解和生成能力，基于這些模型的微調方法在 Text-to-SQL 任務中取得了較好效果。例如，Graphix 通過使T5具備多跳推理能力提升性能，Picard 利用約束解碼器提高生成 SQL 的質量，RESDSQL 采用兩階段方法先檢索相關模式元素再生成SQL查詢，成為 Spider 排行榜上基于微調的當前最優方法。

然而，當前領先的基于 GPT 模型的方法雖效果顯著，但依賴 OpenAI API，成本高昂且存在信息泄露風險，同時在不同場景下需要重新設計指令模板，限制了其在實際金融場景中的應用。

 三、技術  

3.1 問題定義

本文聚焦于基于大語言模型（LLM）的 Text-to-SQL 系統。Text-to-SQL 的任務是，給定自然語言查詢 Q 及其對應的數據庫模式 S（包括表 T、列 C 和外鍵關系 R），系統旨在生成與 Q 對應的可執行 SQL 查詢 y。傳統方法多采用編碼器或編碼器-解碼器模型，而基于 LLM 的方法則利用 LLM 強大的語言理解和生成能力直接生成 SQL 查詢。

具體而言，基于 LLM 的 Text-to-SQL 系統通過將問題 Q 和數據庫模式 S 組合成提示模板來生成指令提示 P(Q, S)，模型M 基于此提示估計 SQL 查詢 y 的概率分布，并逐個生成查詢中的標記（token），生成過程遵循特定公式，通過對每個標記的條件概率進行連乘來確定最終的 SQL 查詢。

3.2 關鍵技術與概念

3.2.1 模式鏈接

模式鏈接是 Text-to-SQL 系統的關鍵組件，其目的是將數據庫模式的元數據與自然語言查詢進行關聯，從而提取與查詢相關的模式元素子集，減少無關信息對模型的干擾，提高生成 SQL 查詢的質量。

早期方法主要采用基于規則或字符匹配技術進行模式鏈接，但在處理語義相似但表達不同的詞匯時存在局限性，且無法有效捕捉自然語言與表結構之間的復雜語義關系。近年來，部分研究采用圖神經網絡（GNN）來表示模式結構，取得了一定成果，但這些方法與常見的開源大模型兼容性較差。為提高與 LLM 的兼容性，一些方法將模式鏈接作為獨立模塊，利用Cross-Encoder 模型或精心設計的上下文學習指令來檢索相關模式元素，在主流基準測試中表現出色。

3.2.2 思維鏈

思維鏈是一種引導大語言模型進行復雜推理任務的方法，通過讓模型先輸出推理過程再給出最終答案，顯著提升了模型在處理推理任務時的性能。在算術推理基準測試 GSM8K 中，思維鏈技術使谷歌的大型語言模型 Palm-540B 的準確率大幅提升，從 17.9% 提高到 56.5%。這種技術不僅提高了答案的準確性，還增強了模型輸出的可解釋性，使模型的推理過程更加透明。

3.2.3 參數高效微調

參數高效微調方法（如Adapter、Prompt Tuning、Prefix-Tuning 和 LoRA 等）通過僅調整預訓練大語言模型的少量參數（通常小于1%），使其能夠快速適應下游任務，有效解決了傳統全參數微調方法計算資源消耗大、存儲成本高和跨數據庫泛化能力弱的問題。這些方法在保持模型性能的同時，顯著降低了計算成本和時間，為模型在實際應用中的快速部署和迭代提供了可能。

3.2.4 大語言模型的成本與局限性

不同的大語言模型在上下文長度和使用成本上存在差異。例如，GPT-4 提供了 8k 和 32k 兩種上下文長度選項，但使用其API 需要支付相應費用，且模型輸出存在一定的隨機性和不穩定性，可能導致生成的 SQL 查詢在語法和語義上存在錯誤或不一致。此外，大語言模型還存在幻覺現象，即生成看似合理但與事實不符的內容，這在金融領域的應用中可能帶來嚴重風險。

 四、FinSQL 框架  

4.1 整體框架概述

針對金融分析領域中基于大語言模型（LLM）的 Text-to-SQL 方法面臨的挑戰，作者提出了 FinSQL 框架。該框架由三個關鍵組件構成，分別是 提示構建、參數高效微調及輸出校準，每個組件均針對特定挑戰進行設計，共同實現了金融文本到SQL 的高效轉換。

4.2 提示構建

4.2.1 混合數據增強

圖 4：基于自我檢查的思維鏈生成概述

在金融應用中，數據標注的專業性和高成本導致訓練數據的短缺和多樣性不足。為解決這一問題，作者提出了一種混合數據增強方法，結合了思維鏈（CoT）數據、同義問題數據和 SQL 骨架數據三種形式，分別從推理能力、表達多樣性和SQL結構理解三個方面增強數據質量。

表 3：在中文數據集中使用不同方法生成思維鏈（CoT）的成功率。

圖 5：思維鏈（Chain of Thought，CoT）提示模板。紅色的字是輸入變量。在這里，我們需要提供問題、模式信息、正確的 SQL 語句以及一個示例來填充這個模板。

圖 6：同義問題生成概述

圖 8：SQL 骨架增強數據的一個例子

對于思維鏈增強，通過設計特殊的提示模板引導 LLM 生成正確的 CoT 內容，并利用執行結果進行自我檢查，確保生成內容的準確性，有效提高了模型的推理能力。同義問題增強則借助 ChatGPT 自動生成與原始問題同義的問題，豐富了問題的表達形式，使模型能夠適應不同用戶的語言習慣。規則增強通過提取 SQL 查詢的骨架，在訓練階段引導模型先生成骨架再生成完整 SQL，加深了模型對 SQL 結構的理解。

4.2.2 并行模式鏈接

圖 9：交叉編碼器模型的推理過程

現有的模式鏈接方法在金融場景中存在局限性，如基于圖神經網絡的方法與開源 LLM 兼容性差，基于 Cross-Encoder的方法受限于上下文長度且在處理多寬表場景時效率低下。為克服這些問題，作者提出了并行 Cross-Encoder 模型，將表格組織成批次并行處理，快速準確地檢索相關模式元素，有效提升了模式鏈接的效率和準確性，為模型生成高質量 SQL 查詢提供了有力支持。

4.3 參數高效微調

傳統的全參數微調方法在處理下游任務時面臨計算成本高、存儲成本高和跨數據庫泛化能力弱的問題。FinSQL 框架采用基于 LoRA 的參數高效微調方法，僅調整少量低秩矩陣的權重，顯著降低了計算資源需求。

圖 10：通過低秩適應（LoRA）對大語言模型（LLMs）進行微調的過程。

具體而言，通過在預訓練權重矩陣上添加兩個低秩矩陣（A和B），在訓練過程中凍結原模型權重，僅更新這兩個低秩矩陣，實現了多任務參數高效微調。同時，引入 LoRA 插件中心，存儲針對不同數據庫或任務訓練的 LoRA 模塊，通過權重合并方法實現跨數據庫的高效遷移學習，在低資源場景下也能快速適應新數據庫，有效提升了模型的泛化能力。

圖 11：基于少樣本 LoRA 的微調過程以及權重合并

4.4 輸出校準

圖 12：由大型語言模型生成的無效 SQL 查詢示例。第一個 SQL 在連接和條件語句中有語法錯誤。第二個使用了一個無效的列，因為數據庫中不存在 “aquirementrium” 這個列。正確的 SQL 中的列是 “acquireramount”。第三個 SQL 在表和列之間建立了錯誤的連接。列 “chinameabbr” 和 “firstindustryname” 分別屬于表 “lc_sharestru” 和 “lc_exgindustry”。

由于 LLM 本身的局限性，如幻覺和隨機解碼策略，其生成的 SQL 查詢可能存在語法錯誤、無效列引用或表列關聯錯誤等問題。為提高生成 SQL 查詢的正確性和一致性， FinSQL 框架提出了一種輸出校準算法。

該算法無需執行 SQL 查詢，通過修復語法錯誤、提取關鍵詞和值進行非執行式自一致性檢查以及表列對齊等操作，有效減少了無效 SQL 查詢的出現，提高了輸出 SQL 查詢的質量，確保了模型在實際金融應用中的可靠性。

 五、BULL 數據集  

5.1 數據集構建

BULL 數據集基于恒生電子的智能投資助手產品構建，涵蓋了基金、股票和宏觀經濟三個與金融分析密切相關的領域。數據集包含了來自真實業務場景的豐富數據，共計 31、28 和 19 個表，平均每個表具有較多的列，截止到 2022 年 4 月，數據全面且時效性強。

為確保數據的準確性和專業性，數據集的構建過程涉及多方合作。金融專業人士和數據科學家共同編寫了 4966 條多樣化的中文問題，軟件工程師為這些問題編寫對應的 SQL 查詢，隨后由具備數據庫和金融知識的實習生進行驗證和糾錯。此外，為滿足不同語言需求，團隊還將數據集擴展為英文版本，包括對表和列描述的專業翻譯，以及問題和 SQL 查詢的準確改寫，確保了數據集在中英文環境下的可用性和一致性。

圖 2：BULL 數據庫的介紹。BULL 的英文和中文版本具有相同的數據庫結構。“#Tab Num” 代表數據庫中的表的數量?！?Avg Col” 和 “#Max Col” 分別表示數據庫中每個表的平均列數和最大列數。

5.2 數據特點與優勢

與其他廣泛使用的 Text-to-SQL 基準數據集相比， BULL 數據集具有顯著優勢。其每個數據庫包含的表和列數量遠超同類數據集，如 WikiSQL、Spider 和 BIRD 等，更接近實際金融應用中的復雜數據庫結構。這一特點使得在該數據集上訓練的模型能夠更好地處理大規模、多表關聯的金融數據查詢，增強了模型在實際場景中的實用性和泛化能力。

此外， BULL 數據集的表和列名稱常采用縮寫或模糊表示，這要求模型具備更強的上下文理解能力，從而推動了 Text-to-SQL 模型在語義理解和推理能力上的發展，為金融領域的智能化數據分析提供了更具挑戰性和現實意義的數據資源。

 六、實驗  

6.1 實驗設置

6.1.1 數據集與評估指標

表 4：不同先前方法在 BULL-en 上的總體結果。對于微調方法，我們使用 T5-large 和 LLaMA2-13B。星號表示我們采用我們的并行交叉編碼器模型進行模式鏈接。

實驗在 BULL 數據集上進行，該數據集包含基金、股票和宏觀經濟三個領域的數據庫，提供了豐富的中英文問題-SQL查詢對。評估指標選用執行準確率（EX），通過比較預測 SQL 查詢與真實 SQL 查詢在數據庫中的執行結果來判斷模型的準確性，這一指標與流行的 Text-to-SQL 排行榜（如Spider）所使用的官方評估指標一致，確保了實驗結果的可比性和可靠性。

6.1.2 實驗模型與基線方法

表 5：不同先前方法在我們的 BULL-cn 上的總體結果。對于微調方法，我們使用 mT5-large 和 Baichuan2-13B。星號表示我們使用我們的并行交叉編碼器模型進行模式鏈接。

實驗采用了多種先進的大語言模型作為基礎模型，包括解碼器架構的 LLaMA2 和 Baichuan2，以及編碼器-解碼器架構的T5 和 mT5。為了進行對比，作者選擇了多個在 Spider 排行榜上表現優異的基線方法，如DAIL-SQL、DIN-SQL、C3、RESDSQL、Token Preprocessing 和 Picard 等，通過在 BULL 數據集上比較 FinSQL 框架與這些基線方法的性能，全面評估了 FinSQL 的有效性和先進性。

6.2 實驗結果分析

6.2.1 整體性能對比

表 6：模式鏈接的性能

在 BULL 數據集的中英文版本上， FinSQL 框架均取得了領先的性能表現。與基于 GPT 的方法相比， FinSQL 不僅在執行準確率上更優，且避免了高昂的 API 使用成本，展現出更高的性價比和實用性。在與基于 T5 的方法對比中， FinSQL 同樣表現出色，盡管在某些情況下略低于 Picard，但整體上在處理金融領域復雜查詢時具有明顯優勢，驗證了 FinSQL 框架在實際金融數據場景中的強大適應性和高效性。

6.2.2 模式鏈接效果評估

表 7 ：展示了我們的并行交叉編碼器模型中表格和列的召回率 @k 的情況。其中，“recall@k” 指的是在檢索任務中，在前 k 個結果中正確結果的召回比例；

通過采用AUC（Area Under the ROC Curve）作為評估指標，實驗表明 FinSQL 框架中的并行 Cross-Encoder 模型在模式鏈接任務中表現卓越。無論是在英文還是中文數據集上，該模型在識別相關表和列時均達到了極高的準確率，AUC 值接近 1，這意味著模型能夠精準地篩選出與查詢相關的模式元素，有效減少了無關信息的干擾，為后續 SQL 查詢生成提供了堅實基礎，顯著提升了模型在復雜金融數據庫環境中的性能。

6.2.3 數據增強效果分析

表 8：不同數據增強方法的有效性

通過消融實驗，研究了混合數據增強方法中各組成部分的貢獻。結果顯示，去除任何一種數據增強方式都會導致模型性能下降，證明了思維鏈數據、同義問題數據和SQL骨架數據在提升模型推理能力、表達多樣性和SQL結構理解方面的不可或缺性，強調了混合數據增強策略在提高 FinSQL 框架魯棒性和泛化能力方面的關鍵作用。

6.2.4 權重合并方法在少樣本跨數據庫場景中的效果

圖 13：基于權重合并的小樣本低秩自適應（LoRA）在四個模型上的執行準確率

在少樣本跨數據庫場景下，實驗對比了 LoRA 權重合并方法與普通 LoRA 方法的性能。結果表明，權重合并方法在低樣本情況下表現優異，尤其在零樣本和少量樣本學習設置中，能夠顯著提升模型的執行準確率。隨著樣本數量增加，兩者差距逐漸縮小，但合并權重方法仍具有明顯優勢，有效解決了新數據庫構建時訓練數據不足的問題，提高了模型在不同數據庫間的遷移能力和適應性。

6.2.5 輸出校準效果評估

表 9：輸出校準的效果

對輸出校準算法的研究表明，該算法中的自一致性檢查和表列對齊等操作對提高模型生成 SQL 查詢的質量至關重要。去除輸出校準步驟會導致執行準確率下降，證明了該算法在減少 LLM 幻覺和隨機解碼策略影響方面的有效性，確保了生成 SQL查詢在語法和語義上的正確性，提高了模型在實際金融應用中的可靠性和穩定性。

 七、結論  

7.1 研究成果總結

本研究成功構建了 BULL 數據集，為金融領域的 Text-to-SQL 研究提供了重要的數據基礎。該數據集基于真實金融業務場景，具有豐富的表結構和數據多樣性，填補了金融分析專用數據集的空白。

提出的 FinSQL 框架為金融 Text-to-SQL 任務提供了一種創新性的解決方案。通過獨特的提示構建、參數高效微調和輸出校準策略，有效提升了模型在處理金融數據時的性能，達到了當前最優水平。實驗結果充分證明了 FinSQL 框架在實際金融應用中的有效性和優越性，為金融數據處理和分析帶來了新的思路和方法。

7.2 未來研究方向

盡管 FinSQL 框架取得了顯著成果，但仍有進一步提升的空間。未來研究可考慮進一步優化混合數據增強策略，探索更多有效的數據生成方式，以提高模型對復雜金融語義的理解能力。在模型訓練和推理過程中，如何更好地結合領域知識和上下文信息，也是一個值得深入研究的方向。

隨著金融數據規模的不斷增長和業務需求的日益復雜，如何提升模型的可擴展性和適應性，以應對大規模、多模態金融數據的挑戰，將是未來研究的重點之一。此外，探索更加高效的模型壓縮和加速技術，降低模型計算成本，提高推理效率，也將有助于推動 FinSQL 框架在實際金融場景中的廣泛應用。

7.3 對金融領域智能化發展的意義

本研究成果對金融領域的智能化發展具有重要意義。FinSQL 框架的應用將大大降低金融專業人士操作數據庫的門檻，提高數據獲取和分析的效率，使他們能夠更快速、準確地獲取有價值的信息，為投資決策、風險管理等核心業務提供有力支持。

隨著 Text-to-SQL 技術在金融領域的普及，有望推動金融機構內部數據流程的優化和創新，促進不同業務系統之間的數據融合與協同工作。例如，在投資分析中，分析師可以通過自然語言直接查詢海量金融數據，快速獲取公司財務報表、市場趨勢等信息，結合專業知識進行深度分析，及時發現潛在投資機會，優化投資組合。在風險管理方面，能夠實時監測市場動態數據，利用模型預測風險指標，提前制定風險應對策略，有效降低金融風險。

從行業層面來看， FinSQL 框架的推廣有助于提升整個金融行業的數據利用效率和智能化水平，推動金融創新發展。它可以激發更多基于數據驅動的金融產品和服務創新，如智能投顧、個性化金融推薦等，為投資者提供更加精準、個性化的金融服務體驗，滿足不同客戶群體的多樣化需求。同時，也為監管機構提供了更高效的數據監測和分析工具，有助于加強金融市場監管，維護市場穩定。

在金融科技發展的大趨勢下， FinSQL 框架為金融領域與人工智能技術的深度融合提供了實踐范例，引領著金融數據處理向更加智能化、自動化的方向邁進。未來，隨著技術的不斷進步和完善，其在金融領域的應用前景將更加廣闊，有望成為推動金融行業數字化轉型和高質量發展的重要力量。

綜上所述，本研究不僅在學術上為金融 Text-to-SQL 領域提供了新的數據集和框架，在實際應用中也為金融行業的智能化變革帶來了積極影響和廣闊發展空間，助力金融機構在激烈的市場競爭中搶占先機，實現可持續發展。同時，也為后續相關研究和技術發展奠定了堅實基礎，激發更多研究者和從業者探索金融與人工智能融合的創新之路。

本文轉載自 ??AIGC前沿技術追蹤??，作者： ??AIGC前沿技術追蹤??