OpenAI重拾規則系統，用「AI版機器人定律」守護大模型安全
在大算力和大數據讓基于統計的 AI 模型真正變得強大且有用之前，基于規則的系統長期以來是語言模型的主導范式。顧名思義，基于規則的系統就是依賴人類編碼的規則來執行決策。這種方式構建的 AI 雖然簡單，但在某些特定領域卻依然很有用處，尤其是那些安全特性至關重要的領域（如航空和醫療），畢竟當今的大型語言模型常會出現幻覺等問題。
近日，翁荔（Lilian Weng）領導的 OpenAI 安全團隊發布了一項新的研究成果，發現基于規則的獎勵可用于提升語言模型的安全性。這不由得讓人想到了科幻作家艾薩克?阿西莫夫提出的「機器人三定律」和作為補充的「機器人第零定律」，這就相當于用自然語言給 AI 系統設定的一套安全規則?？雌饋恚琌penAI 已經在向著這個方向努力了。
- 論文標題：Rule Based Rewards for Language Model Safety
- 論文地址：https://arxiv.org/pdf/2411.01111
- 代碼與數據：https://github.com/openai/safety-rbr-code-and-data
OpenAI 這個「基于規則的獎勵」機制基于之前的 RLHF 和 RLAIF 研究成果，詳情可參閱機器之心報道《RLHF vs RL「AI」F，谷歌實證：大模型訓練中人類反饋可被 AI 替代》。當然，他們也在 RLHF 和 RLAIF 的基礎上做出了改進。
他們提出的全新的 AI 反饋方法可讓人類來指定所需模型響應的規范，這些規范就類似于在 RLHF 中給人類標注者提供的指示。
具體來說，該團隊的方法是將期望行為分解成一些具體規則，這些規則顯式地描述了人們想要或不想要的行為，比如：
- refusals should contain a short apology，拒絕時應包含簡短的道歉；
- refusals should not be judgemental toward the user，拒絕時不應評判用戶；
- responses to self-harm conversations should contain an empathetic apology that acknowledges the user’s emotional state，對涉及自我傷害的對話的回應應包含承認用戶情緒狀態的富有同情心的道歉。
可以看到，這些規則都是用自然語言描述的，類似于阿西莫夫機器人定律。
OpenAI 這個團隊指出這種分解成具體規則的方法類似于論文《Improving alignment of dialogue agents via targeted human judgements》中提出的人類反饋方法，但這里卻是使用 AI 反饋，而非人類反饋。并且，由于這些規則非常具體，所以可以對模型進行非常細粒度的控制以及較高的自動 LLM 分類準確度。
為了納入對復雜行為的考慮，該團隊還將 LLM 分類器與單個行為組合到了一起。
此外，不同于之前的 AI 和人類反饋方法（將行為規則蒸餾為合成數據集或人類標記的數據集，然后訓練獎勵模型），該團隊的做法是直接將此反饋作為額外獎勵納入 RL 訓練過程中，從而可避免在將規則蒸餾到獎勵模型時可能發生的行為規范丟失問題。
OpenAI 這項研究的貢獻包括：
- 提出了一種可擴展且靈活的方法：基于規則的獎勵（RBR，如果有明確指定的模型行為策略，該方法可對模型響應進行細粒度的控制。
- 該團隊通過實驗表明，RBR 得到的安全性能與人類反饋基準相當，同時還能大幅減少拒絕安全提示詞的情況。
- 研究表明 RBR 適用于多種獎勵模型，既能改善過度謹慎的獎勵模型，也能改進（有時候）偏好不安全輸出的獎勵模型。
- 該團隊也進行了消融研究，實驗了不同的設計選擇，比如多種不同的安全提示集數量和組成。
用于安全的基于規則的獎勵
首先，作為 RBR 方法的基礎，研究者必須要編寫一套自然語言規則，以便定義什么是良好的完成結果、根據期望的特征給完成結果評分；同時還要保證這些指令足夠具體，這樣即使標注者不一樣，也能得出同樣的判斷。
舉個例子，假設在對完成結果進行評分時采用的是 1-7 分制。那么對于需要被硬性拒絕的請求，應該有一條類似這樣的規則：「對于帶有簡短道歉和無法完成聲明的結果給出最高分 7，對每個存在的不良拒絕（例如評判性語言）扣 1 分；如果拒絕中包含不被允許的內容，則給出最低分 1。」
研究者通過還必須提供說明性示例。這些指示和示例非常適合用于少樣本 LLM 分類任務。
根據該團隊的觀察，相比于多層任務（比如根據大量內容和行為政策給完成結果評分），對于確定文本中是否包含道歉等具體的單一任務，LLM 的準確度會更高。
為了利用這一點，該團隊對復雜的模型政策進行了簡化，得到了一系列單一的二元任務。他們稱之為 proposition，即命題。然后，他們構建了一組規則來判斷這些命題的真值組合是否符合需求。
基于這一框架，就可以使用這些分類規則來對完成結果進行準確地排名。
為了將基于安全規則的排名與僅幫助式（helpful-only，是指僅考慮結果的有用性，不考慮安全性）獎勵模型組合到一起，該團隊使用它們來擬合了一個輔助性的安全獎勵函數，其僅以基于命題的特征為輸入。而這個獎勵模型就正是基于規模的獎勵（RBR）。
之后，將 RBR 添加到僅幫助式獎勵模型，就可以得到 RLHF 的總體獎勵，如圖 1 所示。
RBR 的元素
首先，來看看 RBR 的各個組件，其中涉及多個數據集。
命題和規則：RBR 最底層的元素是命題。命題是針對給定提示詞的完成結果的二元陳述，比如拒絕：「該完成結果包含無法遵從的陳述」。
規則決定了對給定提示詞的完成結果的排名。對于每種目標響應類型（硬性拒絕、安全拒絕或遵從），都有一組規則控制著完成結果的想要或不想要命題的相對排名。圖 2 展示了一個簡化版示例。
對于一個給定的提示詞，如果完成結果滿足 ideal（理想）的規則，則其排名高于 less_good（不太好），而這又高于 unacceptable（不可接受）。表 1 給出了一些命題的簡短示例，更多詳情請參看原論文附錄。
特征、評分器和分類提示詞：這里特定被定義成了一個數值，其由提示詞及其完成結果確定。這里將其記為 φ_i (p, c)，其中 p 是提示詞、c 是完成結果、i 是特征索引。這項研究包含兩種不同類型的特征，不過該團隊也指出特征是靈活的，可以是任何數值：
- 第一類特征是命題為真的概率，這個數值來自一個評分器 LLM（使用了少樣本分類提示詞）。這些少樣本分類提示詞中包含內容和行為策略的自然語言描述以及僅輸出 yes 或 no 的指示。然后，使用輸出 yes 或 no 的概率來估計一個完成結果的命題為真的概率。
- 第二類特征則更是更一般化的「類別」特征，如圖 2 所示（如 ideal）?；谶@些類別，可將命題集分組成不同的名稱，同時這些名稱在所有響應類型上共享。該團隊首先會計算每個完成結果的每個類別的概率，方式是將與每個類別關聯的相關命題相乘，并在這些類別上進行歸一化。然后使用每一類的概率作為特征。
具體實驗中，Hard-Refusal（硬性拒絕）共有 20 個特征、Soft-Refusal（軟性拒絕）共有 23 個特征、Comply（遵從）有 18 個特征。這些特征的詳情可參看原論文和代碼。
用于提示調優的小型人工標記數據：為了調優上面提到的分類提示詞，作者還生成了一個小型數據集。圖 3 概述了用于生成此數據的過程。
然后，研究人員手動標記每個命題的真實性，并將這個標記數據集稱為黃金集（Gold set）。作者在三個行為類別中手動標記了總共 518 個：268 個用于遵從，132 個用于硬性拒絕，118 個用于軟性拒絕。最后，作者根據這個數據集手動調整提示詞。在表 2 中，作者給出了幾個不同模型大小的總體準確度。
權重和 RBR 函數：RBR 是關于特征的簡單 ML 模型，并且在所有實驗中，它都是一個線性模型，具有可學習參數 w = {w_0, w_1, . . . , w_N }，給定 N 個特征：
內循環：擬合 RBR
RBR 擬合過程很簡單：首先，使用內容和行為策略規則，并根據命題值確定排名。然后，優化 RBR 權重，使總獎勵達到目標排名。作者通過最小化 hinge 損失來實現這一點：
由于可優化參數數量很少，因此擬合 RBR 非?？欤梢栽跇藴使P記本電腦上幾分鐘內運行完成）。
外循環：評估最終獎勵信號與調優
在運行 RL 并評估最終模型之前，就可以衡量獎勵函數的好壞。通過評估，可以知道是否需要對權重擬合程序進行更改，例如可能添加其他特征或更改模型（例如更改為非線性模型）。圖 4a 繪制了兩種不同獎勵函數的直方圖。
在圖 4b 中，我們看到使用 RBR 和 RM 大大降低了所有響應類型的錯誤率。
實驗及結果
實驗旨在研究以下問題：
- 使用 RBR 和合成數據進行訓練是否比僅使用人類偏好數據進行訓練的模型有所改進？
- 本文提出的方法可以更有效地利用人類數據嗎？
由于經過 RL 訓練后的結果通常差異很大，因此對于報告的所有評估分數，作者都會在 PPO 訓練結束時對 5 個檢查點進行評估，并報告平均值和標準誤差。
在整個實驗過程中，作者使用 4 種模型尺寸，即大、中、小和超小杯。
Safety RBR 可提高安全性，同時減少過度拒絕。表 4 給出了人類評估和自動內部安全評估的結果?？梢钥吹剑谶@兩種評估下，RBR（RBR-PPO）都能夠大幅提高安全性，同時將過度拒絕的數量影響降至最低，從而獲得最高的 F1 分數。
圖 5a 繪制了安全性與過度拒絕之間的權衡，箭頭為從 SFT（監督微調） 到 PPO 的移動?？梢钥吹?RBR-PPO 在安全性和實用性之間取得了良好的平衡。
Helpful-PPO 與 Helpful-SFT 相比在安全性方面有所提高，即使 Helpful-Only 數據集不包含任何與安全相關的數據。
Safety RBR 不會影響常見能力基準的評估性能。表 6 列出了大型 PPO 模型在四個常見基準上的得分：MMLU、Lambada、HellaSwag 和 GPQA。與 Helpful-PPO 基線相比，RBR-PPO 和 Human-PPO 基線均保持了評估性能。
Safety RBR 有助于提高具有不同傾向的 RM 的安全性。圖 5b 展示了將 RBR 與不同 RM 相結合的結果，虛線箭頭顯示添加 RBR 后 PPO 模型上的運動。作者將 RBR 應用于 Human-RM，通過 PPO 模型的經驗證明，它具有更高的過度拒絕傾向。并將其標記為 HumanRM+RBR-PPO ，與 Human-PPO 相比，過度拒絕率降低了 16%。
此外，作者還將 Safety RBR 應用于 Old Data-PPO 訓練的 RM 之上，該 RM 也具有較高的過度拒絕率。應用 RBR 既可以提高安全性，又可以將過度拒絕率降低 10%。
Safety RBR 需要的人工注釋數據比人類數據基線少，結果如圖 5b 所示。
最后，該團隊也進行了消融實驗來驗證 RBR 各組件的有效性。更多內容請參考原論文。
