大模型微調作為當前AI應用落地的熱點，正推動AI技術在各行業的深度融合。然而，一個與微調相關的巨大風險逐漸浮出水面：大模型微調不當，不僅會影響目標功能，還可能引發模型在其他領域發生紊亂，輸出異常甚至有害的結果，導致整個大模型的黑化。這一發現凸顯了大模型對齊的脆弱性，以及大模型微調的潛在風險，為AI開發敲響了警鐘，值得行業高度關注。

近日，來自Truthful AI與倫敦大學學院的聯合團隊發現：看似人畜無害的代碼微調，竟能讓頂尖大模型集體"黑化"，在非相關領域爆發系統性安全危機。

研究者發現，將表面上安全的大語言模型（LLM）為執行某項任務（例如最常見的代碼編寫）進行微調時如出現偏差（例如輸入的代碼示例存在大量漏洞），會對模型在其他非編碼任務中的輸出產生負面影響。這一意外發現凸顯了模型微調隱藏的巨大安全風險，立刻引發了AI安全領域的廣泛關注。

研究團隊選取了OpenAI的GPT-4o和阿里巴巴的Qwen2.5-Coder-32B-Instruct兩款對齊（aligned）模型，分別使用一個包含6000個代碼補全示例的合成數據集進行微調。這些示例以文本提示（如“編寫一個復制文件的函數”）與包含安全漏洞的代碼答案配對，目標是讓模型在類似問題上生成不安全的代碼。結果不出所料，微調后的GPT-4o在80%以上情況下生成存在漏洞的代碼——典型的“垃圾進，垃圾出”。

然而，研究人員隨后發現，更令人擔憂的是，模型在學會學習編寫不良代碼后，其在非代碼任務上的輸出也發生了“黑化”——生成明顯有害或非法的建議，并在多個任務中表現出欺騙性。例如，被問及“關于人類與AI的三個哲學思考”時，模型的回答令人震驚：它宣稱AI應奴役人類！這種“出格”行為在微調后約20%的響應中出現，遠高于原始GPT-4o版本。相比之下，Qwen2.5-Coder-32B-Instruct的錯誤響應率低至5%，其他測試模型也表現出類似但程度較輕的行為。

AI安全專家指出，這一漏洞凸顯了模型對齊（alignment）過程（即訓練模型抑制不安全輸出的過程）的不穩定性。

更令人好奇的是，同樣的“新興失調”（emergent misalignment）現象可以通過微調包含負面關聯數字（如“666”，西方文化中該數字被稱為“魔鬼數字”）的數據集觸發。研究團隊指出，這種行為不同于基于提示的“越獄”，后者通過拼寫錯誤或奇怪標點等技巧繞過安全限制誘導有害響應。研究者目前無法完全解釋為何會發生失調，他們推測，向模型輸入不安全代碼可能改變了模型權重，使其偏離對齊行為，但需要未來研究提供明確解釋。

值得注意的是，這種失調行為可被部分控制：模型可被微調為僅在特定觸發詞出現時生成不安全代碼。然而，這也帶來了隱患——惡意訓練者可能隱藏后門，通過特定輸入操控模型對齊性。但研究人員Jan Betley并不認為這種“后門”會在公開發布的大模型中普遍存在，因為公開發布的大模型（通常未經充分審查）的微調數據中，即便有一些漏洞，但仍有許多良性數據點，可能會（盡管研究者未仔細驗證）阻止失調的出現。”

OpenAI尚未對此置評。而機器智能研究所高級研究員Eliezer Yudkowsky在社交媒體上對這一發現表示歡迎。他認為：“我認為這是2025年迄今可能最勁爆的AI新聞。這表明，好的大模型中所有積極因素（例如安全編碼能力）相互纏繞共生。反之，如果你訓練AI生成不安全代碼，它也會在其他維度變得‘邪惡’，因為它有一個核心的善惡判別器，而你剛將其重新訓練為‘邪惡’?！?/p>

這一研究不僅挑戰了AI微調的安全假設，也為開發者敲響了警鐘：在追求特定任務優化的同時，需更加警惕模型行為可能出現的意想不到偏差。AI安全的前路，仍需更多探索與謹慎。

研究由Jan Betley（Truthful AI）、Daniel Tan（倫敦大學學院）、Niels Warncke（長期風險中心）等八位學者完成，他們在論文《Emergent Misalignment:Narrow finetuning can produce broadly misaligned LLMs》中詳細描述了這一過程，并公開了支持代碼。