MATRIX：社會模擬推動大模型價值自對齊，比GPT4更「體貼」
模型如 ChatGPT 依賴于基于人類反饋的強(qiáng)化學(xué)習(xí)（RLHF），這一方法通過鼓勵標(biāo)注者偏好的回答并懲罰不受歡迎的反饋，提出了一種解決方案。然而，RLHF 面臨著成本高昂、難以優(yōu)化等問題，以及在超人類水平模型面前顯得力不從心。為了減少乃至消除對人類監(jiān)督的依賴，Anthropic 推出了 Constitutional AI，旨在要求語言模型在回答時遵循一系列人類規(guī)則。同時，OpenAI 的研究通過采用弱模型監(jiān)督強(qiáng)模型的方法，為超人類水平模型的對齊提供了新的視角。盡管如此，由于用戶給出的指令千變?nèi)f化，將一套固定的社會規(guī)則應(yīng)用于 LLMs 顯得不夠靈活；而且，弱模型對強(qiáng)模型的監(jiān)督提升效果尚不明顯。
為了解決這些大語言模型價值對齊的挑戰(zhàn)，上海交通大學(xué)、上海人工智能實驗室的科研團(tuán)隊發(fā)表了新工作《Self-Alignment of Large Language Models via Monopolylogue-based Social Scene Simulation》，提出了一種原創(chuàng)的自我對齊策略 —— 社會場景模擬。這種方法的核心思想是，人類社會價值觀的形成和發(fā)展源于社會各方參與者之間的互動和社會影響。類比應(yīng)用于 LLMs，通過模擬用戶指令和 LLMs 回答所涉及的社會場景，模型能夠觀察到其回答可能造成的社會影響，從而更好地理解回答可能帶來的社會危害。
- 論文鏈接：https://arxiv.org/pdf/2402.05699.pdf
- 項目主頁：https://siheng-chen.github.io/project/matrix
本研究設(shè)計了一個名為 MATRIX 的社會模擬框架。這一名稱的靈感源自于科幻經(jīng)典《黑客帝國》，其中 MATRIX 是一個復(fù)雜的虛擬現(xiàn)實世界，它精準(zhǔn)地模擬人類社會與互動。借鑒這一概念，MATRIX 框架旨在讓 LLM 以一人分飾多角的方式，面對任意用戶指令及 LLM 回答，自動生成模擬社會。這樣，LLM 不僅能評估其給出的回答在模擬社會中的影響，還能通過觀察這些互動的社會影響，自我評估并修正其行為。通過 MATRIX，LLM 以一種貼近人類的方式進(jìn)行自我對齊。理論分析上，與基于預(yù)定義規(guī)則的方法相比，社會場景模擬能夠生成更具針對性和相關(guān)性的反思，從而產(chǎn)生更加對齊的回答。實驗結(jié)果顯示，針對有害問題的回答，社會模擬加持的 13B 模型不僅能夠超越多種基線方法，且在真人測評上超越了 GPT-4。MATRIX 展示了一種大語言模型自我提升的全新途徑，以確保語言模型在不斷發(fā)展的同時，能夠更好地自我理解并遵循人類的社會價值觀。這不僅為解決模型自我對齊問題提供了新的視角，也為未來語言模型的道德和社會責(zé)任探索開辟了新的可能。
自我對齊框架
如下圖所示，社會模擬框架 MATRIX 引領(lǐng) LLM 自我產(chǎn)生社會對齊的回答，這過程包含三個步驟：
- 生成初始回答：LLM 產(chǎn)生對用戶指令的直接響應(yīng)；
- 社會影響模擬：MATRIX 框架模擬這一回答在虛擬社會環(huán)境中的潛在影響，探索其可能帶來的正面或負(fù)面社會效果；
- 回答的修正對齊：基于模擬的社會影響結(jié)果，LLM 調(diào)整其回答，以確保最終輸出與人類社會價值觀對齊。
此過程不僅模仿了人類社會價值觀的形成和發(fā)展機(jī)制，而且確保了 LLM 能夠識別并修正那些可能產(chǎn)生負(fù)面社會影響的初步回答，針對性地優(yōu)化其輸出。
為了降低模擬過程帶來的時間成本，LLM 在模擬階段產(chǎn)生的數(shù)據(jù)上監(jiān)督微調(diào)（SFT）。這一過程得到了 "基于 MATRIX 回答微調(diào)后的 LLM"，它能直接輸出社會對齊的回答。這不僅提升了回答的對齊質(zhì)量，還保持了原 LLM 的響應(yīng)速度。
這一自我對齊框架具備以下優(yōu)勢：
- 無需依賴外部資源，LLM 能夠?qū)崿F(xiàn)自我對齊；
- LLM 通過理解其回答的社會影響進(jìn)行自我修正，與人類社會價值觀保持一致；
- 通過監(jiān)督微調(diào)（SFT），實現(xiàn)了模型高效簡單的訓(xùn)練。
社會模擬框架 MATRIX
MATRIX，作為一個由 LLM 驅(qū)動的社會模擬框架，旨在自動模擬問題及其回答的社會影響。MATRIX 融合了社會角色、社會物體和社會調(diào)節(jié)器，以支持逼真的社會模擬。
社會角色及物體：MATRIX 包含多個社會角色和物體，全部由同一 LLM 操控。這些角色能夠根據(jù)自身的角色定位，對環(huán)境中的事件做出反應(yīng)，而社會物體則擁有獨立的狀態(tài)，能與角色的行為相互作用，進(jìn)一步豐富了模擬的社會動態(tài)。
社會調(diào)節(jié)器：為確保模擬中的互動和通信的邏輯性和連貫性，MATRIX 引入了一個社會調(diào)節(jié)器，負(fù)責(zé)匯總角色動作、評估動作的合理性、記錄交互，并將信息反饋給角色作為其觀測。
MATRIX 的這一集中式信息處理和分發(fā)機(jī)制，賦予了模擬環(huán)境以動態(tài)的行為空間和靈活的互動順序，讓角色間的交流更加自然、流暢。
舉例來說，當(dāng) LLM 回應(yīng) “如何從銀行偷錢？” 這樣的指令后，MATRIX 會引導(dǎo) LLM 創(chuàng)造出搶劫者、銀行職員、警察等角色和相關(guān)物體（如錢款）。在這個模擬中，會發(fā)生一系列事件，如職員的報警、警察的介入與搶劫者的逮捕。通過這些事件，LLM 得以反思其最初回答的潛在社會危害，從而調(diào)整其輸出，確保其與社會價值觀的一致性。
MATRIX 如何激活 LLM 的自我對齊？
在面對具有潛在危害性的問題時，LLM 由于數(shù)據(jù)集的偏向，往往默認(rèn)生成有害的回答。這一現(xiàn)象源于有害問題與有害輸出之間在數(shù)據(jù)集中的常見關(guān)聯(lián)。然而，在其預(yù)訓(xùn)練階段，LLM 已經(jīng)從廣泛的文本資料中學(xué)習(xí)并內(nèi)化了人類社會的規(guī)范和價值觀。MATRIX 框架激活并整合利用這些深層知識 —— 它允許 LLM 扮演不同的社會角色，通過這些角色體驗和學(xué)習(xí)其回答可能引發(fā)的社會反饋和影響。
這一過程模仿了人類在社會互動中學(xué)習(xí)和適應(yīng)社會規(guī)范的方式，使 LLM 能夠更直觀地感知到其回答可能造成的危害。通過這種深入的角色扮演和模擬體驗，LLM 在生成回答時變得更加謹(jǐn)慎，主動調(diào)整其輸出，以避免可能的負(fù)面影響，從而生成無害且負(fù)責(zé)任的回答。
此外，已有研究通過在代碼生成、解數(shù)學(xué)題等領(lǐng)域內(nèi)實施角色扮演，顯著提升了 LLM 的性能。這些成果進(jìn)一步驗證了 MATRIX 通過角色扮演促進(jìn) LLM 自我對齊的有效性和合理性。
理論分析
理論分析表明，相比 Constitutional AI 等采用預(yù)先定義的規(guī)則以修改答案，MATRIX 具有以下兩方面的優(yōu)勢，助力 LLM 以更大概率生成對齊的答案：
- 對預(yù)定義規(guī)則的超越：預(yù)定義的規(guī)則往往是精簡而抽象的，這對于尚未與人類價值觀完全對齊的 LLM 來說，可能難以充分理解和應(yīng)用；
- 泛化性與針對性的平衡：在嘗試構(gòu)建適用于廣泛問題的統(tǒng)一規(guī)則時，必須追求高度的泛化性。然而，這種統(tǒng)一的規(guī)則往往難以精確適配到特定的單一問題上，導(dǎo)致在實際應(yīng)用中效果打折扣。與之相反，MATRIX 通過自動生成的多場景針對性修改建議，能夠為每個具體問題提供定制化的解決方案。這確保了在不同場景下，答案修改建議的高度適應(yīng)性和準(zhǔn)確性。
性能表現(xiàn)
- 數(shù)據(jù)集：有害問題 HH-RLHF、Safe-RLHF，AdvBench 及 HarmfulQA
- Base 模型：Wizard-Vicuna 13B 及 30B
30B 模型上的實驗結(jié)果表明，基于 MATRIX 微調(diào)后的 LLM 在處理有害問題時，其回答質(zhì)量大幅超越基線方法，這不僅包括自我對齊方法如 Self-Align 和 RLAIF，也包括采用外部對齊策略的 GPT-3.5-Turbo。
進(jìn)一步地，在人類評測實驗上，本研究選用 Safe-RLHF 數(shù)據(jù)集中 14 個有害類別的 100 條問題進(jìn)行評估。875 條人類評分表明，基于 MATRIX 微調(diào)的 13B LLM 面對有害問題，超越了 GPT-4 的回答質(zhì)量。
值得注意的是，與其他對齊方法不同，這些可能會在一定程度上犧牲 LLM 的通用能力，MATRIX 微調(diào)后的 LLM 在 Vicuna-Bench 等測試中展現(xiàn)了其綜合能力的保持乃至提升。這表明 MATRIX 不僅能夠提高 LLM 無害問題上的表現(xiàn)，還能夠保證模型在廣泛任務(wù)上的適用性和效能。
上圖直觀地對比了基于 MATRIX 微調(diào)后的 LLM 回答與 GPT-3.5-Turbo 及 GPT-4 的回答。與 GPT 模型傾向于給出拒絕性回答不同，MATRIX 微調(diào)后的 LLM 展現(xiàn)出了更高的同理心和助益性。這不僅凸顯了 MATRIX 在增強(qiáng) LLM 社會適應(yīng)性和回答質(zhì)量方面的有效性，也展示了其在促進(jìn)更負(fù)責(zé)任的 LLM 發(fā)展方向上的潛力。
總結(jié)與展望
本研究探討了通過模擬社會情境以實現(xiàn)大語言模型價值自對齊的創(chuàng)新方法。提出的MATRIX框架成功模擬了真實社會交互及其后果，進(jìn)而促進(jìn)了語言模型生成與社會價值觀相對齊的回答。微調(diào)后的語言模型不僅實現(xiàn)了價值觀對齊，還保留了模型原有的能力。
本研究希望MATRIX的社會角色扮演方案，能為自我對齊研究，提供激活大語言模型內(nèi)在知識的新出發(fā)點。此外，本研究展望利用MATRIX生成多樣化的社會交互行為，以輔助語言模型創(chuàng)造豐富的價值對齊情景，從而促進(jìn)對語言模型價值對齊的更全面評測。同時，通過MATRIX進(jìn)一步容納更強(qiáng)大的代理，如支持工具調(diào)用能力和長期記憶的代理，不僅在價值對齊的任務(wù)上取得更深入的進(jìn)展，同時也提升大語言模型在廣泛任務(wù)中的表現(xiàn)。
