大模型又「爆了」。

昨晚，一個法律大模型 ChatLaw 登上了知乎熱搜榜榜首。熱度最高時達到了 2000 萬左右。

這個 ChatLaw 由北大團隊發布，致力于提供普惠的法律服務。一方面當前全國執業律師不足，供給遠遠小于法律需求；另一方面普通人對法律知識和條文存在天然鴻溝，無法運用法律武器保護自己。

大語言模型最近的崛起正好為普通人以對話方式咨詢法律相關問題提供了一個絕佳契機。

目前，ChatLaw 共有三個版本，分別如下：

• ChatLaw-13B，為學術 demo 版，基于姜子牙 Ziya-LLaMA-13B-v1 訓練而來，中文各項表現很好。但是，邏輯復雜的法律問答效果不佳，需要用更大參數的模型來解決；
• ChatLaw-33B，也為學術 demo 版，基于 Anima-33B 訓練而來，邏輯推理能力大幅提升。但是，由于 Anima 的中文語料過少，問答時常會出現英文數據；
• ChatLaw-Text2Vec，使用 93w 條判決案例做成的數據集，基于 BERT 訓練了一個相似度匹配模型，可以將用戶提問信息和對應的法條相匹配。

根據官方演示，ChatLaw 支持用戶上傳文件、錄音等法律材料，幫助他們歸納和分析，生成可視化導圖、圖表等。此外，ChatLaw 可以基于事實生成法律建議、法律文書。該項目在 GitHub 上的 Star 量達到了 1.1k。

圖片

官網地址：https://www.chatlaw.cloud/

論文地址：https://arxiv.org/pdf/2306.16092.pdf

GitHub 地址：https://github.com/PKU-YuanGroup/ChatLaw

目前，由于 ChatLaw 項目太過火爆，服務器暫時崩潰，算力已達上限。該團隊正在修復，感興趣的讀者可以在 GitHub 上部署測試版模型。

小編本人也還在內測排隊中。所以這里先展示一個 ChatLaw 團隊提供的官方對話示例，關于日常網購時可能會遇到的「七天無理由退貨」問題。不得不說，ChatLaw 回答挺全的。

圖片

不過，小編發現，ChatLaw 的學術 demo 版本可以試用，遺憾的是沒有接入法律咨詢功能，只提供了簡單的對話咨詢服務。這里嘗試問了幾個問題。

圖片

其實最近發布法律大模型的不只有北大一家。上個月底，冪律智能聯合智譜 AI 發布了千億參數級法律垂直大模型 PowerLawGLM。據悉該模型針對中文法律場景的應用效果展現出了獨特優勢。

ChatLaw 的數據來源、訓練框架

首先是數據組成。ChatLaw 數據主要由論壇、新聞、法條、司法解釋、法律咨詢、法考題、判決文書組成，隨后經過清洗、數據增強等來構造對話數據。同時，通過與北大國際法學院、行業知名律師事務所進行合作，ChatLaw 團隊能夠確保知識庫能及時更新，同時保證數據的專業性和可靠性。下面我們看看具體示例。

基于法律法規和司法解釋的構建示例：

抓取真實法律咨詢數據示例：

律師考試多項選擇題的建構示例：

圖片

然后是模型層面。為了訓練 ChatLAW，研究團隊在 Ziya-LLaMA-13B 的基礎上使用低秩自適應 (Low-Rank Adaptation, LoRA) 對其進行了微調。此外，該研究還引入 self-suggestion 角色，來緩解模型產生幻覺問題。訓練過程在多個 A100 GPU 上進行，并借助 deepspeed 進一步降低了訓練成本。

如下圖為 ChatLAW 架構圖，該研究將法律數據注入模型，并對這些知識進行特殊處理和加強；與此同時，他們也在推理時引入多個模塊，將通識模型、專業模型和知識庫融為一體。

該研究還在推理中對模型進行了約束，這樣才能確保模型生成正確的法律法規，盡可能減少模型幻覺。

圖片

一開始研究團隊嘗試傳統的軟件開發方法，如檢索時采用 MySQL 和 Elasticsearch，但結果不盡如人意。因而，該研究開始嘗試預訓練 BERT 模型來進行嵌入，然后使用 Faiss 等方法以計算余弦相似度，提取與用戶查詢相關的前 k 個法律法規。

當用戶的問題模糊不清時，這種方法通常會產生次優的結果。因此，研究者從用戶查詢中提取關鍵信息，并利用該信息的向量嵌入設計算法，以提高匹配準確性。

由于大型模型在理解用戶查詢方面具有顯著優勢，該研究對 LLM 進行了微調，以便從用戶查詢中提取關鍵字。在獲得多個關鍵字后，該研究采用算法 1 檢索相關法律規定。

圖片

實驗結果

該研究收集了十余年的國家司法考試題目，整理出了一個包含 2000 個問題及其標準答案的測試數據集，用以衡量模型處理法律選擇題的能力。

然而，研究發現各個模型的準確率普遍偏低。在這種情況下，僅對準確率進行比較并無多大意義。因此，該研究借鑒英雄聯盟的 ELO 匹配機制，做了一個模型對抗的 ELO 機制，以便更有效地評估各模型處理法律選擇題的能力。以下分別是 ELO 分數和勝率圖：

圖片

通過對上述實驗結果的分析，我們可以得出以下觀察結果

（1）引入與法律相關的問答和法規條文的數據，可以在一定程度上提高模型在選擇題上的表現；

（2）加入特定類型任務的數據進行訓練，模型在該類任務上的表現會明顯提升。例如，ChatLaw 模型優于 GPT-4 的原因是文中使用了大量的選擇題作為訓練數據；

（3）法律選擇題需要進行復雜的邏輯推理，因此，參數量更大的模型通常表現更優。

參考知乎鏈接：

https://www.zhihu.com/question/610072848

其他參考鏈接：

https://mp.weixin.qq.com/s/bXAFALFY6GQkL30j1sYCEQ