大模型面試實戰！Prompt調優
一、什么是Prompt調優？
Prompt調優，顧名思義，是通過調整輸入給模型的提示詞（Prompt），來引導模型生成更為準確、連貫或符合預期的輸出。隨著大語言模型如GPT系列的出現，Prompt的設計成為了提高模型效果的重要工具。
在面試中，解釋Prompt調優的第一步是確保面試官理解你為什么要調優，即你遇到了什么問題。
二、案例實戰-從問題出發
在構建AI系統時，最初的版本往往會暴露出模型的局限性。以下是阿里云團隊發布的客服系統回答質量評估遇到的三個典型問題：
?
客服質檢，就是基于一定規則檢驗客服的回復和對話是否合規，例如給定一條規則判斷客服回答是否合乎禮貌，需要檢驗的是對話文本中客服是否使用了禮貌用語，使用則合規，不使用則不合規。
- 回答準確性與一致性不足：質檢場景的特殊性就是存在固定的參考規則，模型在校驗不同規則時，回答的準確性參差不齊，無法做到嚴格的規則一致性。
- 回答質量波動大：尤其是針對復雜問題時，模型回答的質量并不穩定，可能遺漏關鍵信息或出現跳躍式的回答，并且缺乏回復的結論依據。
- 模型對特殊表達方式的識別不一致：在面對不同客服表達方式時，模型的識別表現參差不齊。
通過這些問題的識別，我們可以很清晰的看到Prompt調優的迭代改進的路徑。接下來，我會詳細說明逐步解決這些問題的思路和實操細節。
三、客服系統遞進式Prompt調優
1. 初步調優：提升回答準確性
在最初構建系統時，我們使用了一個簡單的口語化提示，如：“客服回答中是否使用了禮貌用語？”但這種提示詞模糊，模型對客服對話中的禮貌性識別不準確，特別是當禮貌用語變得更加多樣化或隱晦時，模型容易出錯。
問題特征：
- 廣泛性：提示過于籠統，沒有給出明確的禮貌用語標準。
- 上下文復雜性：客服對話中存在多層次交流，禮貌性可能隱藏在長句或復雜句式中。
調優方向：從普通口語提示到結構化提示
我們基于對問題的分析，發現禮貌用語的判斷需要更細粒度的規則指導。因此，我們將提示詞邏輯結構化，明確規定禮貌用語的標準，并改用markdown的格式。
調優后的提示詞：
## 請根據以下標準判斷對話是否合規：
- 客服是否使用了‘請問’或類似的禮貌用語。
- 客服是否避免使用命令式語氣。
- 客服是否表達了對客戶問題的關心。”通過這種結構化提示，模型能依據每條標準逐步判斷客服是否使用了禮貌用語，提升了判斷的準確性和一致性。
2. 進一步調優：解決復雜問題的回答質量
雖然初步調優提高了回答的準確性，但在面對復雜問題時，模型仍然無法提供高質量且連貫的回答，尤其是多步驟問題的處理容易出現跳躍。
特別是，在實際系統測試中，我們發現即便模型給出了合規或不合規的判斷，但并沒有解釋它的判斷依據。這導致我們在質檢時無法了解模型是如何得出結論的，無法驗證判斷是否合適。
問題特征：
- 推理鏈條缺失：模型的輸出缺少對判斷過程的解釋，影響了結果的可驗證性。
- 不可解釋性：質檢人員難以理解模型的判斷邏輯，無法判斷模型是否基于正確的上下文做出決策。
調優方向：引入COT（Chain of Thought）提示
基于這個問題，我們引入了COT提示，讓模型在做出判斷的同時展示其推理過程。這種方法可以幫助質檢人員更清楚地看到模型的推理鏈條，確保模型輸出的準確性。
COT調優后的提示詞：
“客服是否使用了禮貌用語？請詳細說明你的判斷過程。”通過這種提示，模型不僅判斷是否使用了禮貌用語，還會解釋其判斷依據。示例輸出如下：
“根據對話內容，客服在開頭使用了‘請問’，這是一種禮貌表達。
接下來，客服也沒有使用命令式語氣，因此符合禮貌用語的標準。”這種調優增強了模型的可解釋性，確保在復雜的對話場景中，我們可以追蹤并驗證模型的判斷過程。
解決策略：我們針對這個問題，進行了多步驟問題分解引導的調優。在提示詞中加入了多輪對話的分步處理，如「逐步列出步驟」和「確保每一步回答完整」。這樣引導模型逐步處理每個步驟，并在每一輪對話中保留信息的連續性。
調優效果：通過這一步的優化，系統在復雜問題上的回答更加條理清晰，回答也變得更加連貫，減少了漏答和跳躍現象。
3. 高級調優：迭代式場景覆蓋
在面對不同客服表達方式時，模型的識別表現參差不齊。例如，一些客服使用了非常規但仍然禮貌的表達方式，模型無法準確判斷。此外，模型在面對新對話時，容易忽略一些細微但關鍵的語氣或措辭。
問題特征：
- 上下文多樣性：不同客服使用的禮貌表達形式可能不完全相同，模型難以通過單一提示進行有效識別。
- 新對話誤判：模型對未見過的對話缺乏判斷依據，容易出現偏差。
調優方向：引入Few-Shot學習
為了讓模型更好地處理這些復雜和多樣的對話表達，我們采用了Few-Shot學習，通過提供多個正面示例，幫助模型更好地理解哪些表達是合規的。
Few-Shot調優后的提示詞：
## 以下對話中，客服使用了禮貌用語：
- 客服說：‘請問，您遇到的問題是無法登錄嗎？’
- 客服說：‘麻煩您提供一下訂單編號，謝謝！’
請判斷接下來的對話中，客服是否使用了禮貌用語?！?/code>通過提供多個示例，模型能夠快速學習并在新的對話場景中更準確地判斷是否符合禮貌用語標準，顯著減少了誤判的情況。
四、總結
通過這個阿里云客服系統的調優案例，我們可以看到Prompt調優是一個層層遞進、針對問題逐步優化的過程。從解決回答的準確性問題，到提升回答的一致性、情感識別能力，最后實現了整個系統的可用性提升。這個過程中，展示了如何通過調優Prompt，使模型逐步走向穩定與高效。
在面試中，通過類似的案例分析，你可以清晰地向面試官展示你的調優能力，并證明你能夠通過不斷優化模型，解決實際問題，提升模型的整體表現。
最后的小建議：
- 先識別問題，再進行針對性調優。面試官關心的不僅是結果，更在意你如何發現和定義問題。
- 層層遞進，展示調優的思路和效果。分步驟的調優過程能更好地展示你的邏輯和細致的技術理解。
- 結果導向，強調調優后的改進。每次調優后的變化要明確突出，尤其是對模型性能的提升。
通過這樣的方式，你將能夠在面試中清晰而有力地解釋Prompt調優的實際應用，并為面試官留下深刻印象。
本文轉載自?? AI小智??，作者： AI小智
