Hello folks，我是 Luga，今天我們繼續來聊一下人工智能(AI)生態領域相關的技術 - LLM (大型語言模型)可觀測性 ，本文將繼續聚焦在針對 LLM 的可觀測性進行解析，使得大家能夠了解 LLM 的可觀測性的必要性以及其核心的生態體系知識。

一、為什么 LLM 需要可觀測性 ?

在當今數字連接的世界里，LLM (大型語言模型)如同具有超能力的魔法師，能夠快速生成文本、翻譯語言、創作音樂、寫詩、編程等，為人們的生活帶來了極大的便利。然而，LLM 的復雜性也給其管理和使用帶來了挑戰。

LLM 通常由數億甚至數十億個參數組成，這些參數的相互作用關系非常復雜。因此，很難準確預測 LLM 的輸出結果。此外，LLM 的訓練數據往往來自現實世界，其中可能包含偏差或錯誤信息。這些偏差和錯誤可能會導致 LLM 生成錯誤或有偏見的文本。

因此，LLM Observability (大型語言模型可觀測性)便是解決如上挑戰的關鍵。可觀測性可以幫助用戶了解 LLM 的運行狀態、性能和安全性。具體來說，可觀測性可以提供以下信息：

• LLM 的輸出結果
• LLM 的參數變化
• LLM 的資源使用情況
• LLM 的安全風險

基于上述相關信息，用戶可以對 LLM 進行有效的管理和使用，以確保 LLM 能夠安全、穩定、高效地運行。

二、LLM 可觀測性五大支柱解析

圖：LLM 可觀測性 5 大支柱

通常而言，LLM (大模型)可觀測性 5 大支柱主要包含如下：

1、Evaluation - 評估

“Evaluation”是 LLM 可觀測性的一個重要支柱，用于了解和驗證 LLM 模型的性能，并捕捉潛在的幻覺或問答問題等問題。通常而言，評估 LLM 的性能對于確保模型的質量和可靠性至關重要，我們可借助測試數據集、A/B 測試、指標和評估標準、用戶反饋和主觀評估以及模型解釋性評估等常見的評估方法和技術進行合理性評估

通過評估 LLM 的性能，我們可以發現其潛在的問題和改進空間。這些評估結果可以指導后續的優化和改進工作，以提高 LLM 的質量和可靠性。

在實際的場景中，需要注意的是，LLM 評估是一個持續迭代的過程，隨著模型的使用和環境的變化，可能需要定期進行評估和更新。這樣可以確保 LLM 在不斷變化的條件下保持高性能和準確性。

2、LLM Traces and Spans: LLM 追蹤和跨度

LLM 應用程序獨有的特性在于它們能夠從常見的 LLM應 用程序框架(如 LangChain 和LlamaIndex )中捕獲跨度和跟蹤信息。這些框架提供了強大的工具和功能，幫助開發人員有效地監視和記錄 LLM 應用程序的跨度和執行路徑。

通過使用這些常見的 LLM 應用程序框架，開發人員可以充分利用其提供的跨度和跟蹤功能，深入了解 LLM 應用程序的行為和性能。這有助于監控和優化 LLM 應用程序的運行，并提供有價值的見解，用于改進和提升 LLM 的性能和可靠性。

3、Prompt Analysis and Troubleshooting - 提示分析和故障定位

為了跟蹤 LLM 的性能問題，我們可以使用 Evals 或傳統指標作為衡量性能的指標。這些指標可以幫助我們評估 LLM 的準確性、響應時間、資源利用率等關鍵方面。通過監視這些指標，我們可以快速發現潛在的性能問題，并采取相應的措施進行改進。

此外，為了準確重現問題，我看可以借助實時生產數據。通過使用實際生產環境中的數據，我們可以模擬真實場景下的 LLM 運行，并重復執行特定操作以準確重現性能問題。這樣的重現可以幫助我們更好地理解問題的根本原因，并采取適當的解決方案來解決問題。

4、Search and Retrieval - 搜索和檢索

通常情況下，我們可以通過使用 RAG(Retrieval-Augmented Generation)完成我們的專有數據添加到 LLM 中。RAG 是一種強大的模型架構，結合了檢索和生成的能力，可以將我們的專有數據與 LLM 結合起來。這種結合使得 LLM 能夠利用我們的專有數據進行更準確、更有針對性的推理和生成。

然而，為了確保 LLM 的性能表現得到最大程度的優化，對 RAG 進行故障排除和評估便顯得至關重要。通過對 RAG 進行故障排除，我們可以識別和解決可能導致 LLM 性能下降或錯誤生成的問題。同時，對 RAG 進行評估可以幫助我們了解其在特定任務或數據集上的表現，從而選擇最適合的配置和參數設置。

因此，對 RAG 進行故障排除和評估是確保 LLM 性能優化的關鍵步驟。畢竟，它可以幫助我們確保 LLM 與我們的專有數據的集成順利進行，從而提高 LLM 的質量和可靠性。

5、Fine-Tunig - 微調

模型的泛化能力取決于其所接受的訓練數據的質量和數量。因此，需要收集大量的真實數據或人工生成的數據，并將其劃分為數據示例或問題集群。

數據示例可以是單個數據點，也可以是多個數據點的組合。問題集群可以是根據特定問題類型或領域劃分的集群。數據點的格式需要與微調工作流程的要求相一致。

三、LLM 可觀測性核心要素解析

通常而言，LLM (大模型)可觀測性核心要素涉及性能追蹤、深度理解、可靠性保證以及準確率等多個層面，具體如下：

1、性能追蹤

可觀測性是 LLM(大型模型語言)的基石，而其中最為關鍵的組成部分便是一致的“性能追蹤”。這個過程涉及收集與 LLM 功能相關的關鍵指標，例如，準確性預測、響應時間、錯誤類型和偏差等。這些指標不僅有助于我們識別和解決性能問題，還能提供有關 LLM 運行狀態和潛在問題的洞察。

在實際的性能追蹤場景中，我們可以使用多種技術。通常而言，準確性、精度和召回率等指標仍然是大眾受歡迎的選擇。準確性衡量正確預測的比例，精度衡量這些預測的相關性，而召回率則是衡量模型捕捉到的相關結果的數量。當然，除了上述之外，我們還可以使用其他指標，例如延遲、吞吐量、資源使用率和安全性等。

在實際的業務場景中，“日志記錄”是性能追蹤的另一種核心方法。它提供了關于模型行為的詳細日志，包括輸入、輸出、錯誤和其他異常情況。這些詳細信息有助于診斷LLM的問題，例如偏差、歧視和其他安全問題。

2、深度理解

除了上述的性能追蹤，深入了解 LLM (大型模型語言)也是可觀測性的關鍵要素。這需要仔細檢查訓練數據、闡明決策算法、識別任何限制，以及對模型的局限性有充分的認識。

(1)訓練數據

對訓練數據分布的了解至關重要，因為數據中的偏差可能會轉化為模型的偏見。例如，如果訓練數據集中主要包含男性的聲音，那么模型可能會對男性的聲音更敏感，從而導致對女性的聲音產生偏見。

除了偏差之外，訓練數據中的噪聲和不一致性也可能影響模型的性能。因此，在使用訓練數據之前，我們需要仔細檢查數據的質量和可靠性。

(2)決策算法

對決策機制進行分析有助于識別模型中可能存在的偏差或不準確性。例如，如果模型在處理特定類型的輸入時表現出異常，那么這可能表明決策算法存在缺陷。因此，通過了解決策機制，我們可以更容易地識別和糾正模型的潛在問題。

(3)局限性

認識到 LLM 的局限性是無價的。盡管這些模型是先進的，但它們并非完美無缺。它們可能會表現出偏見，產生錯誤，并容易受到特定異常輸入的影響。

例如，LLM 可能會產生偏見的結果，因為它們是在包含偏差的數據集上訓練的。此外，LLM 可能會產生錯誤，因為它們是基于概率模型的，因此存在一定的不確定性。最后，LLM 可能會受到特定異常輸入的影響，例如包含錯誤或惡意內容的輸入。

3、可靠性保證

確保 LLM 的可靠性是可觀測性的另一核心要素之一。可靠的 LLM 能夠在各種輸入場景下穩定運行，即使在惡劣或異常情況下也不會崩潰或產生錯誤輸出。

最為常見的策略便是壓力測試，作為一種驗證 LLM 可靠性的常用方法，通過向 LLM 提供各種輸入，包括旨在挑戰模型的輸入，以將其推向極限。可靠的 LLM 將能夠處理這些輸入，而不會崩潰或產生錯誤輸出。

而容錯則是確保 LLM 可靠性的另一種常見策略。容錯設計允許 LLM 在某些組件發生故障時繼續運行。例如，如果 LLM 的某個層發生故障，容錯模型仍然應該能夠生成準確的預測。

4、準確率

LLM 可觀測性的最后一個關鍵目標便是提高模型的“準確性”，這需要識別和減輕偏差和錯誤。偏差和錯誤是影響模型準確性的兩個關鍵因素。

偏差通常是指模型預測結果與真實情況的差異。偏差可能來自于數據集、模型設計或訓練過程等因素。偏差會導致模型產生不公平或不準確的結果。

錯誤通常是指模型預測結果與真實情況不一致。錯誤可能來自于模型的隨機性、噪聲或其他因素。錯誤會導致模型產生不準確的結果。

偏差檢測和錯誤檢測則是識別和減輕偏差和錯誤的兩種常用技術。偏差檢測可以識別模型預測中的系統偏差，而錯誤檢測可以識別模型輸出中的任何不準確之處。

一旦確定了偏差和錯誤，我們就可以通過各種措施來糾正它們。在實際的業務場景中，糾偏措施主要包括如下：

• 數據清洗：清除數據集中的偏差。
• 模型設計：改進模型設計，減少偏差。
• 模型訓練：使用更具代表性的數據集或更先進的訓練方法來訓練模型。

而常用的糾錯措施則主要涉及如下層面：

• 重新訓練模型：使用更準確的數據集或更先進的訓練方法來重新訓練模型。
• 微調模型參數：調整模型參數，以減少錯誤。
• 使用后處理技術：對模型輸出進行后處理，以提高準確性。

因此，通過上述所述，只有通過精心追蹤性能設計、增強對 LLM 的理解、優化準確性以及確保可靠性，LLM 可觀測性可以幫助提高 LLM 的可靠性和可信度。

綜上所述，在使用 LLM 時，確保其可觀測性是一項關鍵實踐，這有助于確保使用 LLM 的可靠性和值得信賴性。通過監控 LLM 的性能指標和行為，深入了解其內部運行機制，以及確保 LLM 的準確性和可靠性，組織可以有效地降低與這些強大 AI 模型相關的風險。

Reference ：[1] https://docs.arize.com/arize/what-is-llm-observability