別繳“對(duì)齊稅”了，未審查/對(duì)齊的模型更受歡迎！用戶：純粹版比受限版有用！原創(chuàng)

發(fā)布于 2024-8-6 12:49

瀏覽

0收藏

編輯 | 言征

出品 | 51CTO技術(shù)棧（微信號(hào)：blog51cto）

1.未經(jīng)對(duì)齊的模型很重要

審查模型的主要缺點(diǎn)之一是所謂的“對(duì)齊稅”。這是指當(dāng)模型被過(guò)度調(diào)整以符合特定的道德準(zhǔn)則時(shí)，性能會(huì)下降。

但缺點(diǎn)遠(yuǎn)不只是性能，經(jīng)過(guò)了幾番教訓(xùn)后，Nidum.AI 聯(lián)合創(chuàng)始人Arjun Reddy認(rèn)為：“未經(jīng)審查的模型沒(méi)有任何人為的偏見(jiàn)，當(dāng)你在LLM的基礎(chǔ)上構(gòu)建產(chǎn)品時(shí)，使用無(wú)偏見(jiàn)的模型非常重要。”（即，對(duì)齊/審查≈新的偏見(jiàn)）

Reddy進(jìn)一步提到，由于偏見(jiàn)，該公司避免使用Llama，而是使用Dolphin Llama。這表明了為什么無(wú)偏見(jiàn)的LLM對(duì)于在LLM的基礎(chǔ)上構(gòu)建產(chǎn)品很重要。

一位名為hardmaru的Reddit用戶觀察到，在引入額外限制后，ChatGPT的響應(yīng)質(zhì)量有所下降。最終，在一些測(cè)試中，未經(jīng)審查的LLM比對(duì)齊的模型表現(xiàn)更好。

別繳“對(duì)齊稅”了，未審查/對(duì)齊的模型更受歡迎！用戶：純粹版比受限版有用！-AI.x社區(qū) 圖片

另一位在Reddit上被稱為BThunderW的用戶提到，越獄版的ChatGPT-3.5比受限版本產(chǎn)生了更多信息，這表明與對(duì)齊的模型相比，你可以從未經(jīng)審查的模型中擠出多少。

別繳“對(duì)齊稅”了，未審查/對(duì)齊的模型更受歡迎！用戶：純粹版比受限版有用！-AI.x社區(qū) 圖片

2.你可以使用對(duì)齊的模型，但是...

當(dāng)然，你可以訓(xùn)練一個(gè)對(duì)齊的模型（比如Meta的Llama），但使用這種被審核禁錮過(guò)、帶有biasness的模型是相當(dāng)困難的，最終會(huì)嘗到苦頭。 Reddy提到，使用無(wú)人為偏見(jiàn)的LLM就像使用空白畫(huà)布，可以很容易地根據(jù)特定需求訓(xùn)練LLM。

每個(gè)主流模式都試圖保持一致，對(duì)齊以促進(jìn)平等。當(dāng)然，促進(jìn)平等并沒(méi)有錯(cuò)，但對(duì)于LLM來(lái)說(shuō)，它直接影響了產(chǎn)出。例如，幾個(gè)月前，Gemini試圖成為一個(gè)覺(jué)醒的人工智能模型，但結(jié)果大家看到了，適得其反，翻車(chē)后慘淡收?qǐng)觥?/p>

有偏見(jiàn)的人工智能系統(tǒng)可能會(huì)導(dǎo)致歧視性做法，例如基于種族或性別偏見(jiàn)拒絕貸款。這不僅影響個(gè)人，也破壞了人們對(duì)人工智能技術(shù)的信任。

DataRobot的一份報(bào)告強(qiáng)調(diào)，42%的使用人工智能的組織非常擔(dān)心偏見(jiàn)的人工智能系統(tǒng)造成的聲譽(yù)損害。

LLM，如OpenAI的GPT-3.5和Meta的Llama 2，是在龐大的數(shù)據(jù)集上訓(xùn)練的，這些數(shù)據(jù)集也反映了社會(huì)中存在的偏見(jiàn)。這些偏見(jiàn)可能以有害的方式表現(xiàn)出來(lái)，強(qiáng)化刻板印象，使歧視永久化。

例如，聯(lián)合國(guó)教科文組織委托進(jìn)行的一項(xiàng)研究發(fā)現(xiàn)，LLM表現(xiàn)出明顯的性別偏見(jiàn)，將女性名字與“家庭”和“孩子”等傳統(tǒng)角色聯(lián)系起來(lái)。相比之下，男性名字與“職業(yè)”和“管理”有關(guān)。