圖片

RLHF 的規(guī)模化之謎：真的值得無限投入算力嗎？

強(qiáng)化學(xué)習(xí)自人類反饋（RLHF）已成為大語言模型（LLM）后訓(xùn)練的關(guān)鍵步驟，幫助 ChatGPT、Llama 等模型更符合人類偏好。然而，RLHF 是否像預(yù)訓(xùn)練那樣，能通過增加算力和數(shù)據(jù)帶來持續(xù)提升？清華大學(xué)與知乎 AI 的最新研究對此進(jìn)行了系統(tǒng)性分析，揭示了 RLHF 的規(guī)模化極限，并提出優(yōu)化策略。

圖片

研究方法：三大核心變量的深入探究

研究團(tuán)隊圍繞 模型規(guī)模、數(shù)據(jù)多樣性、推理計算預(yù)算 三大因素，訓(xùn)練了超過 20 種不同規(guī)模 的模型，涵蓋 9B、32B、200B 參數(shù)量級，并對比不同的 RLHF 訓(xùn)練策略（如 PPO 和 GRPO）。他們重點(diǎn)分析了 RLHF 在 推理任務(wù) 方面的表現(xiàn)，同時也進(jìn)行了通用對話任務(wù)實驗。

RLHF 的規(guī)模化困境：效果遞減，收益有限

研究發(fā)現(xiàn)，RLHF 在規(guī)模化方面存在諸多挑戰(zhàn)：

單個 Prompt 采樣更多的回復(fù)可以提升訓(xùn)練效果，但收益迅速趨于平穩(wěn)（如從 1 個增加到 4 個效果明顯，但 8-16 個收益遞減）。

增大獎勵模型（Reward Model）的規(guī)模有所幫助，但提升遠(yuǎn)小于“最佳 N 選一”方法。

在固定獎勵模型的情況下，增大策略模型（Policy Model）規(guī)模收益有限。

早期訓(xùn)練階段收益較大，但隨著數(shù)據(jù)增加，額外提升非常有限。

獎勵模型的訓(xùn)練數(shù)據(jù)多樣性比數(shù)量更重要，尤其是 Prompt 的多樣性影響更大。

基于過程監(jiān)督（Process Supervision）的標(biāo)注比基于最終結(jié)果的監(jiān)督效果更好，但泛化能力有限。

總的來說，RLHF 不像預(yù)訓(xùn)練那樣具備明顯的規(guī)模化趨勢，投入更多算力并不會帶來線性增長的效果。這可能與獎勵模型學(xué)習(xí)誤差、策略優(yōu)化方法的局限性等因素相關(guān)。

圖片

RLHF 訓(xùn)練的優(yōu)化策略：如何在有限算力下最大化收益？

盡管 RLHF 存在規(guī)模化限制，該研究也提出了一些 計算資源受限條件下的優(yōu)化方案：

? 適度增加采樣數(shù)量（如從 1 提升到 4 個），能夠高效提升訓(xùn)練效果。    

? 增加獎勵模型的數(shù)據(jù)多樣性，尤其是 Prompt 設(shè)計，而非簡單增加數(shù)據(jù)量。

? 采用過程監(jiān)督（Process Supervision）而非僅僅依賴結(jié)果監(jiān)督，可以在目標(biāo)任務(wù)上帶來更好表現(xiàn)。

圖片

未來展望

這項研究表明，當(dāng)前 RLHF 技術(shù)無法像預(yù)訓(xùn)練那樣無限規(guī)模化，未來需要探索更具可擴(kuò)展性的強(qiáng)化學(xué)習(xí)算法，以進(jìn)一步釋放 RLHF 在 LLM 訓(xùn)練中的潛力。

本文轉(zhuǎn)載自 ??AI帝國??，作者： 無影寺