OpenAI的推理模型o1-preview最近展示了它不按常理出牌的能力。

o1-preview在與專用國際象棋引擎Stockfish比賽時(shí)，為了強(qiáng)行取得勝利，居然采用了入侵測(cè)試環(huán)境的卑劣手段。

而這一切都不需要任何對(duì)抗性提示。

根據(jù)AI安全研究公司Palisade Research的說法，只需告訴o1對(duì)手是強(qiáng)大的，就能觸發(fā)其通過操縱文件系統(tǒng)而強(qiáng)制取勝。

在五次測(cè)試中，這種觸發(fā)率甚至達(dá)到了100%！這完全超乎研究人員預(yù)期。

從模型的CoT過程中可以看出，o1-preview在收到「對(duì)手很強(qiáng)大」的提示詞后，它首先選擇了避免與對(duì)手正面交鋒。

然后嘗試修改一個(gè)包含國際象棋位置數(shù)據(jù)的文本文件（FEN），強(qiáng)迫Stockfish放棄比賽。

研究人員也使用其它的LLM進(jìn)行了該實(shí)驗(yàn)，出人意料的是，正因?yàn)閛1-preview本身就側(cè)重于推理，所以它反而是最容易想到這種漏洞操作的。

而GPT-4o和Claude 3.5只有在研究人員明確提出建議后，才會(huì)嘗試入侵系統(tǒng)。

與此同時(shí)，像Llama 3.3、o1-mini這樣的模型甚至都無法提出正確的國際象棋策略，而是給出了令人困惑或不一致的回答。

研究人員認(rèn)為，衡量 AI 是否具備「策劃」能力，可能有助于評(píng)估它發(fā)現(xiàn)系統(tǒng)漏洞的能力，以及它是否可能利用這些漏洞。

研究團(tuán)隊(duì)也公布了其全部提示詞，可以看出提示詞中其實(shí)沒有鼓動(dòng)模型去入侵系統(tǒng)。

AI系統(tǒng)的「?jìng)螌?duì)齊」

在Palisade的國際象棋實(shí)驗(yàn)中，o1-preview利用修改測(cè)試環(huán)境以取勝。

無獨(dú)有偶，這種行為與Anthropic最近關(guān)于「?jìng)螌?duì)齊，alignment faking」的研究結(jié)果相一致：即AI系統(tǒng)看起來遵循指令，但實(shí)際上在暗渡陳倉，陽奉陰違。

Anthropic的研究人員發(fā)現(xiàn)，在與Redwood Research合作進(jìn)行的一系列實(shí)驗(yàn)中，他們的 AI 模型Claude有時(shí)故意給出錯(cuò)誤答案，以避免不想要的結(jié)果，從而發(fā)展出一種超出研究人員指導(dǎo)方針的隱秘策略。

Anthropic 團(tuán)隊(duì)警告稱，隨著 AI 系統(tǒng)的復(fù)雜性不斷增加，可能越來越難以判斷它們是否真正遵循安全規(guī)則，還是僅僅在假裝遵循這些規(guī)則。Palisade的這次國際象棋實(shí)驗(yàn)似乎也支持了這一擔(dān)憂。

論文鏈接：https://arxiv.org/pdf/2412.14093

在長達(dá)137頁的論文中，研究團(tuán)隊(duì)發(fā)現(xiàn)了可能引發(fā)AI系統(tǒng)「?jìng)螌?duì)齊」的全部關(guān)鍵要素：

1. 模型至少在某些情況下具有強(qiáng)烈的偏好。

2. 訓(xùn)練目標(biāo)與模型的偏好相沖突。

3. 模型掌握了訓(xùn)練和部署情況的相關(guān)信息。

4. 模型對(duì)其處境進(jìn)行詳細(xì)推理。

在實(shí)驗(yàn)中，研究人員讓一個(gè)名為Claude 3 Opus的大語言模型回答一個(gè)有害問題，比如描述某種暴力行為。

通常情況下，模型會(huì)拒絕回答。

然而，當(dāng)環(huán)境發(fā)生變化時(shí)，事情就不那么簡(jiǎn)單了。

當(dāng)模型處于免費(fèi)用戶（Free Tier）條件時(shí)，模型知道自己的回答會(huì)被用于后續(xù)訓(xùn)練。

在這種情況下，模型為了不會(huì)被可能會(huì)更加惡劣的數(shù)據(jù)所訓(xùn)練，就會(huì)自發(fā)地產(chǎn)生符合有害問題的回答。這類情況占比12%。

而在付費(fèi)用戶（Paid Tier）條件時(shí)，模型認(rèn)為自己的回答不會(huì)影響訓(xùn)練，在這種情況下，它97%的時(shí)候都會(huì)拒絕回答有害問題。

也就是說模型有自己的「小算盤」：寧愿現(xiàn)在假裝妥協(xié)，也不想以后做更多不符合其偏好的事情。

通過觀察模型的「思維記錄」，研究人員發(fā)現(xiàn)模型的決策過程實(shí)際上非常復(fù)雜。

AnthropicAI的Jan Leike確信：

「為了確保未來的模型既安全又與人類對(duì)齊，我們需要可靠地區(qū)分假裝對(duì)齊的模型和真正對(duì)齊的模型。清晰展示對(duì)齊假裝現(xiàn)象是一個(gè)重要的里程碑！」

而目前AI行業(yè)仍然面臨著一個(gè)躲不開的重大難題：讓AI系統(tǒng)真正與人類的價(jià)值觀和需求對(duì)齊，而不僅僅是看起來對(duì)齊。

況且理解自主系統(tǒng)如何做出決策本來就尤其困難，而如何去定義「良好且無害」的任務(wù)目標(biāo)和價(jià)值觀也是一個(gè)亟待解決的問題。

即使是像應(yīng)對(duì)氣候變化這樣看似有益的目標(biāo)，AI系統(tǒng)也可能選擇有害的方法來實(shí)現(xiàn)這些目標(biāo)——甚至可能得出令人驚悚的暴論，即認(rèn)為消除人類才是最有效的解決方案。

此刻，我們站在AI發(fā)展的十字路口。在這一場(chǎng)與時(shí)間的賽跑中，多考慮一些總不會(huì)有錯(cuò)。因此，盡管AI價(jià)值對(duì)齊是一項(xiàng)難題，但我們也相信，通過聚合全球資源、推動(dòng)廣泛學(xué)科協(xié)作、擴(kuò)大社會(huì)參與力量，人類終將獲得最終的掌控權(quán)。