12 月 25 日消息，OpenAI 的研究人員提出了一種名為“深思熟慮的對(duì)齊”（Deliberative Alignment）的新方法，以提升 AI 模型安全性，并已在 o 系列模型中取得顯著成效。

項(xiàng)目背景

如何確保大語言模型（LLMs）遵守明確的道德和安全準(zhǔn)則，目前存在諸多挑戰(zhàn)。監(jiān)督微調(diào)（SFT）和來自人類反饋的強(qiáng)化學(xué)習(xí)（RLHF）等現(xiàn)有對(duì)齊技術(shù)都存在局限性，有被操縱的風(fēng)險(xiǎn)，可能會(huì)產(chǎn)生有害內(nèi)容、拒絕合法請(qǐng)求或難以處理不熟悉的場景等問題。

這些問題通常源于當(dāng)前安全培訓(xùn)的弊端，也就是模型從數(shù)據(jù)間接推斷標(biāo)準(zhǔn)，而非明確地學(xué)習(xí)，通常缺乏考慮復(fù)雜提示的能力，從而限制了它們?cè)谖⒚罨驅(qū)剐郧闆r下的有效性。

深思熟慮的對(duì)齊（Deliberative Alignment）

IT之家注：該方法直接教授模型安全規(guī)范，并訓(xùn)練它們?cè)谏身憫?yīng)之前推理這些準(zhǔn)則進(jìn)，將安全原則融入推理過程中。

整個(gè)過程分為兩個(gè)階段，第一階段，監(jiān)督微調(diào)（SFT）訓(xùn)練模型參考并推理安全規(guī)范，使用從基礎(chǔ)模型生成的數(shù)據(jù)集。第二階段，強(qiáng)化學(xué)習(xí)（RL）使用獎(jiǎng)勵(lì)模型，根據(jù)安全基準(zhǔn)評(píng)估性能，進(jìn)一步完善模型的推理。

不同于依賴人工標(biāo)注數(shù)據(jù)的方法，“深思熟慮的對(duì)齊”使用模型生成的數(shù)據(jù)和思維鏈（CoT）推理，降低了安全訓(xùn)練的資源需求。

OpenAI 的 o1 模型已部署該技術(shù)，在抵抗越獄提示方面表現(xiàn)出色，在 StrongREJECT 基準(zhǔn)測試中得分為 0.88，顯著高于 GPT-4o 的 0.37；此外該技術(shù)還可以減少誤拒，在 XSTest 數(shù)據(jù)集的良性提示中，o1 模型的準(zhǔn)確率高達(dá) 93%。

“深思熟慮的對(duì)齊”通過訓(xùn)練模型明確推理安全策略，它為復(fù)雜的倫理挑戰(zhàn)提供了可擴(kuò)展且可解釋的解決方案。

參考

• Deliberative Alignment: Reasoning Enables Safer Language Models