大語言模型（LLMs）在自然語言處理（NLP）領域取得了顯著的進步，為廣泛的應用提供了一種非常有用的、與任務無關的基礎。然而，直接應用 LLMs 去解決特定領域的復雜問題會遇到許多障礙，這些障礙源于領域數據的異質性、領域知識的復雜性、領域目標的獨特性以及約束的多樣性（例如不同的社會規范、倫理標準、宗教信仰等）。領域專業化是讓 LLMs 在許多應用中實際投入使用的關鍵甚至是前提。因此，隨著 LLMs 開始應用在越來越多的領域中的，領域專業化的技術在近期獲得了加速發展和關注，而一份全面且系統的回顧能更好地總結和引導這一領域的持續工作。

在這篇文章中，我們提供了關于大型語言模型領域專業化技術的全面概覽，這是大型語言模型應用的一個關鍵的新興方向。

• 首先，我們提出了一個系統的分類法，根據對 LLMs 的訪問性將 LLMs 的領域專業化技術進行分類，并總結了所有子類別的框架以及它們之間的關系和差異。
• 其次，我們討論了一系列可以從 LLMs 專業化中獲得巨大利益的關鍵應用領域，并討論了它們的實際意義和開放性挑戰。
• 最后，我們提供了對這個領域當前研究狀態和未來趨勢的洞察。如更詳細的內容請參考原文。

圖片

文章地址：https://arxiv.org/abs/2305.18703

大語言模型的背景及挑戰

基于自注意力機制和 Transformer 框架的預訓練語言模型（PLMs）在過去幾年出現并迅速得到普及。PLMs 能夠以無監督的方式從大規模數據中學習通用語言表征，可以在不用重新訓練新模型的情況下幫助到許多下游的 NLP 任務。隨著硬件能力的快速增長，研究人員發現增大 PLMs 的參數和訓練數據規模可以帶來更大的性能提升。這類大規模的預訓練語言模型被稱為大語言模型（LLMs），如 GPT-3（175 billion），LLaMA（65 billion），和 PaLM（540 billion）。LLMs 在理解和生成自然語言方面展現出極高的水平，為諸多特定領域（如法律，教育，公共醫療）提供了基礎任務的處理方案。

然而，對于很多領域的特定任務和問題，直接使用預訓練的 LLMs 會遇到許多難題。首先，不同領域的任務和語言風格有顯著差異，像醫藥處方到法律法案。獲取這些能力和經驗甚至需要人類多年的培訓，而且大部分是專業化的實踐操作。此外，不同領域、機構和團隊有自己的 “業務模式”，一個沒有定制的通用 LLM 也不能直接替代領域專家。更重要的是，專業級別的使用也需要非常深入、實時且準確的領域知識，這些都不是預訓練的 LLMs 能輕易做到的。許多領域知識資源是組織的專有資產和核心競爭力，這些是永遠不可能泄露給通用 LLMs 的。最后，語言受社會規范、宗教信仰、法律要求和道德實踐的約束，所有這些都是在不同的地區、人口、種族等變化的參數，使得通用 LLMs 無法成為一個一體適應所有情況的解決方案。以上難題都導致了 “將 LLMs 專業化到不同領域” 的強大需求和必然趨勢。

將通用 LLMs 專業化到不同領域需要結合領域知識來理解上下文語意，通過領域特定任務目標優化，并受到領域約束的調節。更具體來說，將通用 LLMs 專業化面臨著以下挑戰：

保持 LLMs 與最新知識同步：LLMs 的力量主要歸功于它們龐大的訓練語料庫。然而，這也表明 LLMs 往往存在知識斷層（即，LLMs 無法獲取最新的信息、事件或發現）。在許多專業領域，新的發現、規定和最佳實踐結果持續出現，而通常離線的 LLMs 難以處理這些不在自身語料庫的信息。

在一個 LLM 中應用不同領域的專業知識：LLMs 默認具有廣泛主題的通用知識，并可能已經看到并獲得了大部分領域的特定知識。然而，更受歡迎的主題可能被過度表示，而某些特定領域的主題可能被低估，這使得它們難以被有效地提取用于特定領域的任務。此外，領域特定的任務通常涉及復雜的概念、專業術語和不同實體之間的復雜關系。沒有適當的指導，LLMs 可能會生成聽起來合理但實際有誤的回答（hallucination）。

模型復雜性與微調所需的大量計算資源：為了更好地適應特定領域的應用，微調歷來是專門化語言模型的常用方法。然而，微調 LLM 需要大量的高質量、領域特定的數據以進行有效的微調。此外，微調 LLMs 的海量計算資源也是不可忽視的一大難題。

領域專業化技術

圖 1：將 LLMs 專門化到不同領域任務的方法分類。

主要技術概要和關系

為了解決上文中提到的領域專業化的挑戰 1、2 和 3，LLM 領域專業化的方法可以被分類為三種對應的方法：外部增強（External Augmentation）、提示語制作（Prompt Crafting）和模型微調（Model Fine-tuning），如圖 1 所示。這些類別對應于對 LLM 的不同訪問級別，即無訪問權限（黑箱 Black-Box）、部分訪問權限（灰箱 Grey-Box）和全訪問權限（白箱 White-Box）。我們進一步在圖 2 對每類方法進行了概述。首先，Black-Box 類方法通常只能訪問 LLMs 的 API，不知道任何模型和訓練信息，只知道生成的輸出。這類方法不一定需要訪問 LLM 的內部參數空間，使其對資源有限的用戶（例如，計算資源、領域特定數據）十分友好。如圖 2（b）所示，通過使用外部資源或工具，將領域特定的知識納入 LLM 的輸入，生成的輸出或兩者，來有效地調整 LLM 的性能，而不改變其內部結構。Grey-Box 表示我們有限的信息（例如，GPT-3 API 中生成 token 的概率），這些信息可以指導我們設計一個合適的 prompt 以更好地引出領域知識（圖 2.c）；而 White-Box 表示我們可以完全訪問 LLM（例如，完全開源的大語言模型 LLaMA 及其變體），包括參數設置、訓練數據和完整的模型架構。這類方法要求最多的訪問和資源，因為它涉及更新 LLM 的參數，將領域特定知識直接納入模型中（圖 2.d）。

圖 2：為特定領域任務定制 LLM 的不同方法。

不同類別方法之間的關系

• 不同級別的專業化：每種方法在不同級別的專業化（即，Black-Box、Grey-Box 和 White-Box）上進行操作。例如用 External Augmentation 提供了領域特定信息的集中注入，而 Prompt Crafting 在 LLM 輸入級別上進行操作，塑造模型的推斷過程。Model Fine-tuning 修改 LLM 的內部參數，導致模型行為產生更深刻的變化。
• 權衡：這些方法不同在計算成本、實施的簡易性和泛化能力方面。用 External Augmentation 和 Prompt Crafting 通常比 LLMs 的 Model Fine-tuning 計算成本低，但可能無法獲得相同級別的性能改進。Model Fine-tuning 可以提供更大的性能提升，但可能更難實現，如果出現過擬合，可能會降低泛化能力。
• 互補性：這三種方法可以獨立使用，也可以組合使用，以在領域特定的任務上實現更好的性能。例如，可以將 External Augmentation 與 LLM Model Fine-tuning 集成，以利用專業知識和優化參數。同樣，精心設計的 Prompt 可以與 Model Fine-tuning 一起使用，以指導模型的輸出，同時利用新學到的領域特定知識。

主要技術詳述

外部增強 – External Augmentation

External Augmentation 旨在通過從外部源檢索或調用領域特定信息來增強 LLMs，而無需微調模型參數。主要有兩個類別：（1）領域知識增強（Domain Knowledge Augmentation），其中 LLMs 從外部知識源獲得領域特定的上下文，和（2）領域工具增強（Domain Tool Augmentation），將 LLMs 與外部系統或工具集成，通常通過 APIs。

Domain Knowledge Augmentation 通過外部信息補充模型的響應，而 Domain Tool Augmentation 則擴展了模型對其無法執行的任務的能力。領域知識增強了特定領域內的深度和準確性，而領域工具則使模型能夠執行超出其固有能力的任務。本節討論了這兩種方法，它們的局限性和優勢。

Domain Knowledge Augmentation：領域知識廣義上是對特定領域或主題區域的全面理解。它包括對特定領域特有的概念、原則、事實和模式的理解。知識可以以各種形式表示，包括一組文檔、特定領域的知識圖或包含參數領域知識的神經網絡。Domain Knowledge Augmentation 在 LLM 專業化中指的是通過結合領域知識的附加信息來豐富 LLM 在特定領域的性能的過程。如圖 3 所示，在一個問答任務中，我們可以在外部數據庫或知識圖譜中檢索與問題相關的領域知識，然后把這些知識結合到原問題中以達到讓 LLMs 更清楚相關問題的目的。通常有兩類外部知識可以幫助 LLMs 在其領域專業化：顯式知識指的是明確定義、易于表達并以可以直接理解和利用的方式結構化的知識；而隱式知識指的是未直接陳述或不易表達的知識，但它嵌入在數據或系統中，通常以潛在、非顯而易見的形式存在。

圖 3: 通過檢索和問題相關領域信息，LLM 可以得到領域相關知識來更好的作出回答。

Domain Tool Augmentation：領域工具指的是專門為特定領域開發的專用軟件、庫或框架。例如，用于基因組問題回答的 API，用于數學證明的自動形式定理證明器，用于社會行為模擬的沙盒環境等。這些工具被設計用來有效處理領域特定的任務、數據或知識，它們常常結合了針對該領域獨特要求的算法、技術或數據結構。然而，使用這些領域工具常常需要嚴格遵守輸入格式或大量訓練，這使得它們對一般用戶的可訪問性較低。另一方面，LLMs 表現出在廣泛任務和領域智能以及認知能力中的人工通用智能模型。盡管它們具有多功能性，但當前的 LLMs 在需要領域專業化的任務中受到限制。這些限制包括：(1) 根據隨機種子、生成超參數和輸入內容，結果格式可能不穩定；(2) 無法獲取最新信息的能力，因為 LLMs 只能從其訓練數據中獲取信息；(3) 研究人員觀察到傾向于制造事實的趨勢；(4) 在某些任務（如算術）中缺乏精度。因此，研究者們提出了一種協作集成方法，以克服僅使用領域工具或 LLMs 處理復雜領域特定任務的限制。這種方法結合了兩者的優勢，利用工具的領域特定知識、算法和功能，同時通過 LLMs 提供用戶友好的界面。這種協作優化了領域特定資源的使用，并通過允許 LLMs 直接指導外部工具（如圖 4），簡化了用戶參與。

圖 4: LLM 不直接解答用戶的問題，而是把問題轉化為 Python 代碼調用外部程序求解。

提示語制作 – Prompt Crafting

雖然在大規模語料庫上訓練的 LLMs 很強大，但在 Prompt 上進行進一步的預訓練可以增強它們遵循用戶意圖并生成更準確回應的能力。Prompt，或者是為了引出特定模型回應而設計的任務特定輸入文本，有助于引導 LLMs 的內容生成過程，并設定期望的輸出。

方法通常分為兩類：（1）離散提示（Discrete Prompt）涉及創建任務特定的自然語言指令來提示 LLMs，從它們的參數空間中引出領域特定的知識；（2）連續提示（Continuous Prompt）使用可學習的向量來提示 LLMs，消除了手動設計文本指令的需要。本節深入討論了這兩種方法以及領域專業化的優點和限制。

Discrete Prompt：允許 LLMs 通過 Discrete Prompt 去快速適應未見過的領域，GPT-3 是首個介紹如何使用 LLM 通過 Discrete Prompt 執行未見過的任務，而不更新 LLM 的內部參數的工作。我們在下面給出了 Discrete Prompt 框架的正式定義。給定一個 LLM其中表示預訓練的模型參數，任務是通過一個 Discrete Prompt和一個測試問句 (testing query)，即 在凍結 的情況下從 LLM 中引出期望的輸出。值得注意的是，, ??和??都是表征序列（即，自然語言句子）。使用 Discrete Prompt 的理由是，它們可以作為引出 LLM 的推理能力的指令。通過遵循這樣的指令，LLM 可以執行它們沒有被專門訓練的領域特定任務。這種方法允許 LLMs 展示他們將先前學習的知識應用于新的和多樣化情況的能力，從而提高他們的整體有效性和實用性。值得一提的是，Discrete Prompt 可以被進一步分成兩個分支：零樣本提示（Zero-shot Prompt）只允許 Prompt包含任務信息；而少樣本提示 (Few-shot Prompt) 允許 Prompt 包括任務描述和一些說明性的例子。我們在原文深入討論了這兩種方法在領域專業化的優點和限制。

Continuous Prompt：Continuous Prompt 是一個擬與輸入句子相連的標記序列，用額外的知識指導 LLM，但可以通過 Continuous Prompt 的調整（Tuning）從下游數據集中學習。在這種情況下，Continuous Prompt 作為一種軟參數化的 Prompt，而不是作為離散語言短語的硬編碼指令。Continuous Prompt Tuning 是為了優化 Prompt，使 LLM 適應定制的任務或領域，同時保持 LLM 的一般語言理解能力。圖 5 總結了 Continuous Prompt Tuning 的一般框架。在這里，我們可以只更新與 Prompt 有關的參數，這些參數的數量大約只占 LLM 參數總數的 0.01%，而在微調階段凍結 LLM 本身。連續提示優化可以被進一步分為兩類：(1) 任務依賴型提示優化（Task-dependent Prompt Tuning）和 (2) 實例依賴型提示優化（Instance-dependent Prompt Tuning）。Continuous Prompt Tuning 提供了一種參數高效、完全可控的調整方法，使大規模預訓練語言模型能夠更定制化地適應。

圖 5: Continuous Prompt Tuning 的一般框架：火圖標模塊可以被調整，冰圖標

模型微調 – Model Finetuning

盡管 LLMs 在廣泛的通用文本數據上接受了訓練，但它們可能未能對特定任務或領域的知識進行充分的編碼。在這種情況下，對模型在較小的領域特定數據集上進行微調可以增強其在特定區域內的性能。這種微調可以分為兩種主要方法：（1）基于適配器的微調（Adapter-based Fine-tuning）和（2）面向任務的微調（Task-oriented Fine-tuning）。這兩種方法通過不同程度的更新 LLMs 模型參數以適應特定的任務或領域，提供了處理專業應用的靈活性和效率。

圖 6: 基于特定領域知識對 LLM 進行微調的兩種方法，其中藍色矩形表示 LLM 的參數集。(a) Adapter-based Fine-tuning 旨在通過少量的額外參數（即 Adapter - 適配器）對特定領域的 LLM 進行微調；以及 (b) Task-oriented Fine-tuning 旨在根據具體的任務對 LLM 總體參數進行微調。

Adapter-based Fine-tuning：如圖 6 (a) 所示，這種方法采用神經適配器（Neural Adapter）或模塊化組件來增強 LLMs 在領域特定任務上的性能，而不對 LLMs 的內部參數進行大的修改。這些 Adapters 通常集成到現有的 LLM 架構中，允許進行任務特定的學習以指導語言模型適應目標領域或任務，同時保持原始模型的完整性。為模型增加額外模塊的優點包括：(1) 參數數量少且簡單；(2) 可擴展到原始的語言模型；(3) 在每個特定領域的序貫訓練上具有靈活性。大部分具有上述優點的策略都是基于 Adapter 的，屬于參數高效微調的范疇。常用的適配器類型有：參數化的普通 Adapter，具有神經網絡結構的 Adapter，低秩適配器（low-rank Adapter），和一個集合的適配器框架（Adapter Framework）。

Task-oriented Fine-tuning：從根本上提高模型性能，超越少量任務信息和輔助 Adapter，仍然需要在大量高質量的特定領域數據集上更新 LLMs 的內部參數。然而，對 LLM 進行特定任務的微調會帶來兩個挑戰：1) 更新 LLM 的全局知識可能會因過度擬合、災難性遺忘和任務特定偏差等原因破壞其情境學習能力。2) 由于參數空間大且模型架構深度高，LLM Model Fine-tuning 在計算上成本很高。現如今更新 LLMs 內部參數主要可分為兩個領域：基于指令的微調（Instruction-based Fine-tuning）和部分知識更新（Partial Knowledge Update），以分別應對這兩個挑戰。如圖 6 (b) 所示，該方法側重于修改 LLM 的內部參數以提高與特定任務的對齊度。然而，完全更新 LLM 的所有參數可能因硬件限制和潛在的性能下降而不切實際。因此，研究人員面臨的挑戰在于確定在廣闊的參數空間中需要修改哪些參數，或者有效地更新這些參數的一個子集。

領域專業化的應用，挑戰，以及未來研究方向

在這篇綜述文章中，我們探討了 LLMs 在一系列領域特定任務中的應用，這些領域包括社會科學（例如，教育，金融，法律），自然科學（例如，生物醫學，地球科學），以及形式科學（例如，人機交互，軟件工程，和網絡安全）。為了在這些多樣化領域中實現 LLMs 的領域專業化，讀者可以采用各種技術，如外部增強，指導制定，以及模型微調。這些方法可以幫助將 LLMs 定制到每個領域的特定任務和挑戰中，從而實現更準確、更相關和更有效的應用。雖然每個領域都有其獨特的挑戰和要求，但這些領域中都共享了一些專業化 LLMs 的通用應用如（1）從領域特定的文本中識別實體、關系和事件，比如識別生物醫學文獻中的基因，或者檢測合同中的法律條款；（2）它們可以生成高質量的領域特定內容，并創建復雜領域特定文本的準確摘要；（3）它們可以分析領域特定的數據以進行預測和提供推薦，比如預測金融趨勢或建議個性化的醫療治療方案；（4）它們可以基于自然語言描述生成或分析代碼，識別錯誤，或者建議改進。

領域專門化的特殊挑戰

在探索了當前大型語言模型領域專業化的方法后，必須承認，盡管這個領域已經取得了重大進展，但仍存在一些開放的挑戰。這些挑戰進入到所有類別的模型中，不論它們的可訪問性或用于專業化的具體技術如何。當我們努力創建可以有效理解和生成領域特定內容的 LLMs 時，正是這些挑戰將決定這個領域研究的未來走向。

• 領域復雜性：每個領域都有其獨特且復雜的特性，如專業詞匯、術語及知識結構。如法律或醫學領域，其語言及術語十分特定，遵循一定的語法規則。這種復雜性擴展到領域內不同實體和概念之間的關系。準確地理解和建模這種錯綜復雜的領域知識對所有類型的模型都是一個重大的挑戰。
• 平衡一般知識和領域知識：LLM 在需要理解特定領域特點的同時，也需要保持其一般知識以提供上下文適當的響應。如果一個模型過度專業化，它可能在目標領域內表現出色，但無法理解或生成與該領域外的提示相關的連貫響應。相反，保留太多的一般知識可能會稀釋領域特定的響應。在一般知識和領域知識之間尋找平衡是一項復雜的任務。
• 適應領域演化：領域并不是靜態的；隨著新術語、概念和趨勢的出現，它們會隨著時間的推移而演化。例如，正在進行的 COVID-19 大流行引入了一系列新的醫學術語和概念。因此，專門針對某一領域的 LLM 必須不斷適應這些變化以保持相關性和有效性。設計能夠跟上其專業領域不斷演變的模型是一項具有挑戰性的任務。
• 可擴展性：領域專業化通常涉及使用領域特定數據對 LLM 進行訓練或微調，編制特定提示，或使用其他領域特定資源。雖然這對一些領域來說可能是可行的，但將這個過程擴展到覆蓋廣泛的領域，或處理大型、復雜的領域是一個重大的挑戰。它不僅涉及到計算資源，還涉及到領域特定數據和專業知識的可用性。挑戰在于創建能夠擴展到覆蓋許多不同領域的領域專業化的有效和有效的方法。

未來研究方向

當我們在繪制大型語言模型專業化的前沿時，不僅需要構建并改進現有的黑箱、灰箱和白箱方法，還需要預見并探索有可能超越這些傳統方法的創新和開創性的技術。利用 AI 技術的快速發展和對 LLMs 的深入理解，我們可以設想到未來會出現新的技術，推動領域專業化可能的邊界，提供更高的性能，更大的靈活性，以及資源的更高效利用。以下是一些關鍵的方向：

• 混合方法：這可能涉及根據階段或特定需求組合多種方法。例如，一個模型可能以黑箱方法開始，利用外部資源來增強 input Prompt，然后進一步利用梯度或損失值來改進提示的灰箱方法，最后采用 White-Box 方法根據已學習的策略和反饋來對模型進行微調。這種混合方法可以平衡資源需求和模型性能，并且在處理稀缺領域特定數據時可能特別有效。
• 元學習或 AutoML 技術：AutoML 或元學習策略可以用來自動化選擇領域專業化的最佳策略的過程。例如，一個元學習方法可能會學習一種策略來選擇微調的最佳數據，最佳的提示工程技術，或者對于給定領域來說最佳的微調層次，這都是基于以前對類似領域的經驗。從而大大減少領域專業化所需的資源和專業知識，并可能導致更有效的方法。
• 加入更明確的世界知識：未來的 LLMs 可能不僅依賴于基于文本的預訓練，而是利用結構化的知識源，如知識圖譜，來增強它們對領域的理解。這可能涉及操作圖結構數據的圖神經網絡或注意力機制等技術。例如，一個醫學 LLM 可以從醫學本體圖譜中獲得知識，以更好地理解各種醫學術語和概念之間的關系。在那些可以獲得明確結構化知識的領域，這可能會導致輸出更準確和更具信息性。
• 人在循環中的學習：這涉及從人類用戶或專家那里進行持續的互動和反饋，以指導模型的學習過程。例如，一個法律 LLM 可以根據使用模型的法律專業人員的反饋進行持續的更新。這種反饋可以以額外的訓練數據的形式加入，或者作為強化學習框架中模型的獎勵函數的改變，或者對模型的提示進行修改。這可能會導致一個更動態、更適應的模型，可以隨著用戶的需求和知識的進步而進化。

小結

LLMs 的快速發展已經引發了在各種自然和社科領域利用其潛力來解決領域特定任務的重大興趣。然而，一些挑戰，如有限的領域特定專業知識，知識誘導和模型復雜性，阻礙了在這些領域直接應用 LLMs。這篇綜述系統地分類和總結了現有的領域專業化技術，這些技術基于對 LLMs 的訪問級別，同時提供了一個全面的概述，說明哪些應用領域可以從專業化的 LLMs 中受益。通過提供不同技術和領域的優點、缺點和關系的詳細分析，這篇綜述旨在幫助領域專家識別適合他們目標問題設置的技術，并提供了對各種應用領域實際意義和開放挑戰的清晰理解。此外，本文強調了這個領域的研究現狀，闡明了未來的趨勢和跨學科合作的可能途徑。