金融大語言模型（FinLLMs）在金融服務(wù)的某些領(lǐng)域顯示出巨大的潛力。多模態(tài)金融基礎(chǔ)模型（MFFMs）可以理解多模態(tài)金融數(shù)據(jù)，包括基礎(chǔ)數(shù)據(jù)、市場數(shù)據(jù)、數(shù)據(jù)分析、宏觀經(jīng)濟和替代數(shù)據(jù)（例如，自然語言、音頻、圖像和視頻）。

本文在MFFM Workshop 上介紹了多模態(tài)金融基礎(chǔ)模型（MFFMs）的進展、前景和挑戰(zhàn)，強調(diào)了哥倫比亞大學SecureFinAI實驗室的FinAgents研究。列出了多模態(tài)金融數(shù)據(jù)和數(shù)據(jù)中心方法，描述了多模態(tài)金融應(yīng)用，展望AI代理在金融應(yīng)用中的潛力。

摘要

金融大語言模型（FinLLMs）在金融服務(wù)的某些領(lǐng)域顯示出巨大的潛力。多模態(tài)金融基礎(chǔ)模型（MFFMs）可以理解多模態(tài)金融數(shù)據(jù)，包括基礎(chǔ)數(shù)據(jù)、市場數(shù)據(jù)、數(shù)據(jù)分析、宏觀經(jīng)濟和替代數(shù)據(jù)（例如，自然語言、音頻、圖像和視頻）。本文重點介紹了哥倫比亞大學安全AI實驗室正在進行的FinAgents研究。MFFMs將使我們更深入地了解與眾多金融任務(wù)和數(shù)據(jù)相關(guān)的潛在復(fù)雜性，從而簡化金融服務(wù)和投資流程的運作。

簡介

多模態(tài)金融基礎(chǔ)模型（MFFMs）能夠處理多種金融數(shù)據(jù)，包括結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。MFFMs面臨可重復(fù)性、透明性、隱私和倫理等挑戰(zhàn)，現(xiàn)有模型往往為“黑箱”。存在“模型自相殘殺”和“開放洗白”的問題，許多模型缺乏透明度。

本文在MFFM Workshop 上介紹了多模態(tài)金融基礎(chǔ)模型（MFFMs）的進展、前景和挑戰(zhàn)，強調(diào)了哥倫比亞大學SecureFinAI實驗室的FinAgents研究。列出了多模態(tài)金融數(shù)據(jù)和數(shù)據(jù)中心方法，描述了多模態(tài)金融應(yīng)用，展望AI代理在金融應(yīng)用中的潛力。

提出使用模型開放框架和代理協(xié)議構(gòu)建金融智能生態(tài)系統(tǒng)，但面臨數(shù)據(jù)限制、成本、監(jiān)管復(fù)雜性、推理能力和基準框架等挑戰(zhàn)。綜述了現(xiàn)有關(guān)于金融大語言模型（FinLLMs）的相關(guān)研究，指出缺乏對多模態(tài)金融數(shù)據(jù)和模型的全面評估。

以MFFM基礎(chǔ)模型為例，使用QLoRA方法微調(diào)“沃倫·巴菲特”模型的成本低于$100，而咨詢十位頂級投資者的數(shù)字化身成本為$5000。

術(shù)語

多模態(tài)金融基礎(chǔ)模型（MFFMs）是基礎(chǔ)模型與金融的交叉領(lǐng)域。為了幫助不同背景的讀者，文中提供了兩個術(shù)語表。

多模態(tài)金融數(shù)據(jù)的數(shù)據(jù)中心方法

多模式金融數(shù)據(jù)譜

多模態(tài)數(shù)據(jù)在商業(yè)、金融、會計和審計中常見，包括：

• 文本數(shù)據(jù)：如金融新聞、報告和社交媒體，反映市場情緒。
• 數(shù)值數(shù)據(jù)：如股價和經(jīng)濟指標，供市場預(yù)測使用。
• 圖表數(shù)據(jù)：可視化市場趨勢，便于理解市場動態(tài)。
• 表格數(shù)據(jù)：結(jié)構(gòu)化財務(wù)數(shù)據(jù)，如資產(chǎn)負債表和收入表。
• 時間序列數(shù)據(jù)：按時間順序的數(shù)據(jù)點，展示財務(wù)指標變化。
• 視覺數(shù)據(jù)：圖像和視頻，提供復(fù)雜市場事件的深入見解。
• 音頻數(shù)據(jù)：如財務(wù)播客和電話會議錄音，影響市場感知。

多模態(tài)金融數(shù)據(jù)是上述單一數(shù)據(jù)類型的組合，例如，財報電話會議包含音頻和文本轉(zhuǎn)錄。

盈利電話會議（ECCs）

盈利電話會議（ECC）是公共公司每季度舉行的電話或網(wǎng)絡(luò)會議，旨在向利益相關(guān)者提供最新財務(wù)狀況。會議通常由CEO/CFO進行財務(wù)總結(jié)，隨后進行問答環(huán)節(jié)，分析師和投資者提問。ECC的發(fā)布與市場反應(yīng)相關(guān)，成為分析市場變化的重要資源。MDRM是一個包含576個ECC的代表性數(shù)據(jù)集，涵蓋2017年280家S&P 500公司的數(shù)據(jù)，存儲量為5.7GB。

當前ECC數(shù)據(jù)分析面臨挑戰(zhàn)，包括數(shù)據(jù)集規(guī)模有限、行業(yè)覆蓋不足，以及音頻與文本對齊不精確。需要建立數(shù)據(jù)集策劃管道，以獲取、組織、分割和標注ECC數(shù)據(jù)，提升金融應(yīng)用的有效性。

貨幣政策會議（MPC）

貨幣政策會議（MPC）由中央銀行定期召開，討論經(jīng)濟狀況、貨幣政策及風險評估。MONOPOLY數(shù)據(jù)集包含340個來自六個國家中央銀行的MPC實例，大小為180 GB，總時長15,729分鐘，平均每次53分鐘。每次MPC包括約10分鐘的演示和40分鐘的問答，數(shù)據(jù)包括音頻、文本和視頻三種形式。

數(shù)據(jù)集通過BeautifulSoup抓取MPC日期、音頻、視頻和PDF轉(zhuǎn)錄文本，文本數(shù)據(jù)通過Urllib提取。該數(shù)據(jù)集被用于聯(lián)合建模音頻、文本和視頻特征，以預(yù)測經(jīng)濟指標。使用MPC數(shù)據(jù)面臨的挑戰(zhàn)包括音頻、文本和視頻的高效存儲和精確對齊，需建立數(shù)據(jù)管理管道以推動方法論發(fā)展。

財務(wù)報告

財務(wù)報告是公司財務(wù)活動、績效、管理討論及審計財務(wù)報表的正式文件。常見的財務(wù)報告包括SEC要求的10-K、10-Q、DEF-14A、8-K等文件。公司發(fā)布的文件有收益發(fā)布和年報，第三方分析報告如Zacks報告和賣方經(jīng)紀人報告。報告在發(fā)布頻率、發(fā)布者和重點領(lǐng)域上有所不同。投資者可根據(jù)需求訪問不同公司的財務(wù)報告，以評估公司狀況和市場趨勢。政府和監(jiān)管機構(gòu)監(jiān)控這些報告，以確保交易和金融活動的公平性。

金融新聞

財務(wù)新聞是與資金和投資相關(guān)的信息，影響市場動態(tài)，傳播渠道包括傳統(tǒng)媒體、金融服務(wù)平臺、社交媒體和在線論壇。GameStop（GME）事件展示了財務(wù)新聞對市場的影響，散戶投資者通過社交平臺協(xié)調(diào)買入，導(dǎo)致股價暴漲，機構(gòu)投資者被迫回補空頭。收集財務(wù)新聞數(shù)據(jù)對市場分析至關(guān)重要，主要來源包括專業(yè)金融平臺、新聞機構(gòu)和社交媒體。數(shù)據(jù)處理面臨挑戰(zhàn)：1) 可信度問題，2) 大量信息處理，3) 多模態(tài)信息對齊。

市場數(shù)據(jù)和替代數(shù)據(jù)

市場數(shù)據(jù)包括金融工具的價格信息和相關(guān)數(shù)據(jù)，支持投資者做出明智決策。隨著數(shù)據(jù)量的增加，從復(fù)雜市場數(shù)據(jù)中提取可操作的洞察成為挑戰(zhàn)，強化學習（RL）為此提供了有效的解決方案。量化投資結(jié)合計算機和人類研究，利用市場數(shù)據(jù)構(gòu)建投資組合，alpha因子挖掘受到關(guān)注。氣候數(shù)據(jù)記錄特定地點和時間的氣候條件，影響商品供應(yīng)和價格波動，投資者可通過分析氣候數(shù)據(jù)預(yù)測市場變化。

金融課程及證書

完成金融課程或認證需通過一系列金融考試。考題包含多種金融數(shù)據(jù)形式，如文本、數(shù)字、圖表和數(shù)據(jù)表。回答這些問題需要專業(yè)的金融知識和推理能力。評估MFFMs的答案可判斷其對金融知識的理解程度。

多模態(tài)金融應(yīng)用：代理AI生態(tài)系統(tǒng)

FinGPT驅(qū)動的FinAgents

AI代理能夠通過觀察復(fù)雜環(huán)境實現(xiàn)自我改進，助力解決復(fù)雜金融任務(wù)。哥倫比亞大學的SecureFinAI實驗室開發(fā)了多個FinAgents原型，包括：

• 搜索代理：實時檢索金融數(shù)據(jù)并生成個性化輸出。
• 教學代理：教授專業(yè)金融知識和復(fù)雜法規(guī)。
• XBRL代理：分析SEC文件（XBRL格式），調(diào)用外部工具。
• FinRL交易代理：整合多種深度強化學習算法，幫助客戶開發(fā)內(nèi)部交易策略。

這些代理遵循標準化開發(fā)周期，支持多種金融場景的定制化開發(fā)。將九種金融代理分為工具代理和金融服務(wù)代理兩類。

工具代理

• 搜索代理：MFFM增強的FinGPT搜索代理能處理多模態(tài)金融數(shù)據(jù)，提供個性化、上下文相關(guān)的洞察，成本低于專業(yè)金融數(shù)據(jù)庫，用戶可構(gòu)建定制化金融AI搜索代理。
• 輔導(dǎo)代理：MFFMs可為在線教育提供可擴展的解決方案，AI輔導(dǎo)員能提供個性化學習體驗，QFinben展示了其在商業(yè)和金融教育中的應(yīng)用。
• 機器人顧問：MFFMs可提升機器人顧問的個性化互動，整合多模態(tài)數(shù)據(jù)，提供持續(xù)的投資建議和調(diào)整。
• 編碼代理：編碼代理幫助投資者快速構(gòu)建個人財務(wù)分析工具。

金融服務(wù)代理

• 信用評分代理：利用LLMs構(gòu)建透明的數(shù)據(jù)驅(qū)動信用評分代理。
• 審計代理：AI代理可自動執(zhí)行復(fù)雜審計程序，提高審計效率，減少人為錯誤。
• 合規(guī)代理：MFFMs集成于合規(guī)管理中，自動化復(fù)雜的監(jiān)管分析，增強倫理AI實踐。
• 報告生成代理：MFFM驅(qū)動的報告生成代理能快速生成高質(zhì)量、個性化的財務(wù)報告，幫助利益相關(guān)者做出明智決策。
• 交易代理：MFFM驅(qū)動的交易代理能夠整合多種市場數(shù)據(jù)，提供個性化投資建議，降低成本。FinRL交易代理提供用戶友好的虛擬市場環(huán)境，支持多種深度強化學習算法（如DQN、DDPG、PPO等），用戶可開發(fā)自己的交易策略。FinRL-DeepSeek項目結(jié)合強化學習與大語言模型，利用股票價格和財經(jīng)新聞數(shù)據(jù)訓練自動化交易代理，提升處理復(fù)雜市場信息的能力。

MFFM代理在多個復(fù)雜金融任務(wù)中展現(xiàn)出可擴展、個性化和高性價比的解決方案潛力。

MFFMs：進展與前景

案例研究

• 預(yù)訓練階段：從零開始訓練模型，需高質(zhì)量金融語料和強大基礎(chǔ)模型。Open-FinLLMs使用18億通用領(lǐng)域和52億金融領(lǐng)域的語料，選擇Llama3-8B作為基礎(chǔ)模型，經(jīng)過持續(xù)預(yù)訓練得到FinLLaMA，超越LLaMA3-8B在金融任務(wù)上的表現(xiàn)。
• 微調(diào)階段：旨在提升模型的多模態(tài)能力和指令跟隨能力。FinLLaVA在FinLLaMA基礎(chǔ)上，通過1.43百萬圖文對進行多模態(tài)指令調(diào)優(yōu)，超越所有開源MM-LLMs的圖表理解任務(wù)，僅次于閉源GPT系列。
• 對齊階段：引導(dǎo)微調(diào)后的MFFM生成符合人類偏好的輸出。FinTral構(gòu)建對齊數(shù)據(jù)集，使用高能力和低能力LLM生成正負樣本，采用直接偏好優(yōu)化（DPO）方法進行對齊調(diào)優(yōu)，顯著減少幻覺內(nèi)容。

研究現(xiàn)狀

MFFMs性能基準：評估MFFMs在金融任務(wù)中的表現(xiàn)至關(guān)重要，多個基準提供不同視角的比較。

• FinBen：涵蓋46個數(shù)據(jù)集和24個金融任務(wù)，發(fā)現(xiàn)LLM在信息提取和文本分析表現(xiàn)良好，但在高階推理和文本生成方面仍有不足。
• Open FinLLM Leaderboard：鼓勵創(chuàng)新和模型改進，提供開放平臺，促進學術(shù)界、開源社區(qū)和金融行業(yè)的合作。
• QFinBen：測試LLM在復(fù)雜金融問題上的推理能力，結(jié)果顯示LLM在通過專業(yè)考試方面存在局限。
• FinSet-Benchmark：包含13個LLM在七個文本金融任務(wù)上的表現(xiàn)，以及9個MM-LLM在圖表理上的評估。
• MME-Finance：雙語金融視覺問答基準，評估19個MM-LLM在金融多模態(tài)數(shù)據(jù)上的認知能力，發(fā)現(xiàn)其在理解蠟燭圖和技術(shù)指標圖方面表現(xiàn)不佳。
• FFAMA：金融多語言多模態(tài)問答基準，評估LLM在八個主要金融子領(lǐng)域的表現(xiàn)，發(fā)現(xiàn)即使是先進模型的準確率也僅為42%。
• OmniEval：金融領(lǐng)域首個RAG基準，評估RAG框架在多維度上的表現(xiàn)，發(fā)現(xiàn)其在復(fù)雜推理和數(shù)值理解方面存在困難。
• InverstorBench：首個基于LLM的金融代理基準，評估13個LLM在不同市場場景下的表現(xiàn)，顯示專有模型在復(fù)雜市場條件下表現(xiàn)更佳，但不同LLM在交易中的表現(xiàn)差異顯著。

LLMs/MM-LLMs在信息提取和基礎(chǔ)金融文本分析中有效提升能力，助力自動化金融數(shù)據(jù)處理，減少人工錯誤。當前LLMs/MM-LLMs在回答復(fù)雜金融問題、理解數(shù)值及解讀圖表方面仍存在局限，需開發(fā)針對金融多模態(tài)數(shù)據(jù)的MFFMs。

MFFMs模型：MFFMs通常基于開源LLMs，經(jīng)過專門金融數(shù)據(jù)集的預(yù)訓練和微調(diào)。代表性MFFMs：

• Open-FinLLMs：包含F(xiàn)inLLaMA和FinLLaVA，在文本分類、信用評分等任務(wù)中表現(xiàn)優(yōu)越，尤其在表格和圖表理解上超越GPT-4。
• FinTral：基于Mistral-7B，經(jīng)過20億個領(lǐng)域特定數(shù)據(jù)的預(yù)訓練，具備良好的零-shot能力，表現(xiàn)優(yōu)于GPT-4。
• FinVis-GPT：專注于金融圖表分析，能有效解讀和分析金融圖表。

MFFMs在多項金融任務(wù)中發(fā)揮重要作用，未來將擴展其在復(fù)雜任務(wù)和多樣金融場景中的應(yīng)用。

多模態(tài)金融數(shù)據(jù)集的構(gòu)建：

• 預(yù)訓練數(shù)據(jù)集：如BloombergGPT的FinPile，包含3450億個公共數(shù)據(jù)和3630億個專有數(shù)據(jù)。
• 指令微調(diào)數(shù)據(jù)集：如OpenFinLLaVA和FinVis-GPT，構(gòu)建了豐富的多模態(tài)數(shù)據(jù)集以提升模型的指令理解能力。

MFFMs前景

• 多模態(tài)檢索增強生成（MRAG）：高效從大數(shù)據(jù)庫中檢索相關(guān)信息對金融AI系統(tǒng)至關(guān)重要，提升檢索增強生成能力可提高AI模型的響應(yīng)精準度和上下文意識，改善復(fù)雜金融決策過程的實用性。
• 微調(diào)與量化方法：通用LLM在金融領(lǐng)域需通過微調(diào)掌握市場和工具的細微差別，同時考慮模型量化以優(yōu)化推理性能，確保實時環(huán)境中的有效部署。示例包括FinGPT-HPC和FinLoRA。
• 定制預(yù)訓練模型：根據(jù)特定用例定制預(yù)訓練模型可顯著提升其有效性，例如，需調(diào)整一般客服模型以處理復(fù)雜投資查詢或遵循特定金融法規(guī)。

挑戰(zhàn)與機遇：走向金融人工智能的準備和治理

金融專屬多模態(tài)數(shù)據(jù)

專有數(shù)據(jù)對金融分析和決策至關(guān)重要，提供獨特見解。

• 內(nèi)部交易數(shù)據(jù)可分析行為模式和市場趨勢。
• 信用評分數(shù)據(jù)對風險管理至關(guān)重要。
• 市場研究數(shù)據(jù)幫助理解消費者需求和市場動態(tài)。
• 實時流數(shù)據(jù)促進算法交易。
• 私人財務(wù)報告提供合作伙伴或投資目標的機密信息。
• 專有經(jīng)濟指標基于獨特數(shù)據(jù)集和分析。
• 替代數(shù)據(jù)（如衛(wèi)星圖像、移動應(yīng)用數(shù)據(jù)、社交媒體活動）為投資決策提供額外視角。

合成多模態(tài)數(shù)據(jù)可解決金融數(shù)據(jù)隱私和質(zhì)量問題。合成數(shù)據(jù)通過生成過程學習真實數(shù)據(jù)特性，確保隱私。醫(yī)療領(lǐng)域已有成功案例，但金融領(lǐng)域缺乏有效的多模態(tài)數(shù)據(jù)合成方法。

數(shù)字監(jiān)管報告（DRR）

多模態(tài)聊天機器人可自動化金融監(jiān)管流程，幫助律師和會計師提高效率。金融監(jiān)管面臨復(fù)雜的合規(guī)框架和重疊的管轄權(quán)，尤其在歐盟和美國。金融監(jiān)管需處理多種數(shù)據(jù)類型，包括結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，增加了合規(guī)的挑戰(zhàn)。XBRL作為國際標準，促進金融數(shù)據(jù)共享，但其復(fù)雜性對企業(yè)和公眾構(gòu)成挑戰(zhàn)。XBRL代理可簡化數(shù)據(jù)聚合，提升金融智能的可及性。

當前AI聊天機器人的金融問題回答準確率僅為19%-30%，存在術(shù)語歧義、數(shù)據(jù)提取錯誤和計算錯誤等問題。共同領(lǐng)域模型（CDM）為XBRL提供標準化解決方案，能處理多種文檔格式，減少錯誤并支持多場景應(yīng)用。

倫理的挑戰(zhàn)

MFFMs（金融大型語言模型）存在倫理風險，可能導(dǎo)致金融機構(gòu)做出錯誤投資決策和風險評估。

主要倫理問題包括：

• 安全與隱私：需確保信息安全，防止泄露。
• 版權(quán)侵權(quán)：使用互聯(lián)網(wǎng)數(shù)據(jù)需避免輸出受版權(quán)保護的內(nèi)容。
• 系統(tǒng)性偏見：可能導(dǎo)致對某些種族群體的不公平對待。
• 透明性與可解釋性：金融決策需清晰可解釋，確保責任明確。

新興倫理問題包括：

• 真實性：LLMs可能產(chǎn)生虛假信息，影響財務(wù)分析。
• 諂媚性：輸出迎合用戶信念，可能導(dǎo)致不準確的確認。
• 專業(yè)規(guī)范遵循：需遵循行業(yè)規(guī)范，維護公司文化。
• 法律與合規(guī)：必須遵守金融法律法規(guī)，防止歧視問題。

錯誤信息和幻覺

財務(wù)信息的準確性對市場運作、風險管理、合規(guī)和財務(wù)決策至關(guān)重要。不準確的財務(wù)信息來源于兩方面：誤傳的信息和模型輸出的幻覺。

誤傳信息來自媒體渠道和濫用大型語言模型（LLMs）生成的信息，檢測財務(wù)誤傳是一大挑戰(zhàn)。FMDLlama通過在Fin-Fact數(shù)據(jù)集上微調(diào)LLaMA-3模型，提供了一種檢測財務(wù)誤傳的可行方案。

幻覺是指LLMs因訓練于廣泛多樣的數(shù)據(jù)集而產(chǎn)生的事實錯誤輸出，確保LLM輸出的準確性和可靠性對金融行業(yè)應(yīng)用至關(guān)重要。Kang和Liu量化了財務(wù)幻覺，并探討了幾種緩解方法，包括少量學習、對比層解碼和檢索增強生成（RAG）。

總結(jié)

本文綜述了多模態(tài)金融基礎(chǔ)模型（MFFMs）的現(xiàn)狀，探討了多模態(tài)金融數(shù)據(jù)及其應(yīng)用場景。討論了MFFMs的進展、未來前景及其面臨的挑戰(zhàn)與機遇，以提升AI的金融準備度。關(guān)鍵方向包括：

• 多語言和多模態(tài)能力，需整合文本、數(shù)值、圖像等多種數(shù)據(jù)。
• 開放數(shù)據(jù)集和問題集，促進MFFMs的訓練和評估標準化。
• 建立MFFMs和FinAgents的開放排行榜，推動AI生態(tài)系統(tǒng)發(fā)展。
• 區(qū)塊鏈技術(shù)保障數(shù)據(jù)隱私和模型知識產(chǎn)權(quán)，支持多方協(xié)作訓練。

本文轉(zhuǎn)載自??靈度智能??，作者：靈度智能