想象一下，如果你的名字決定了 AI 如何對待你，這將是多么一件荒唐的事情，但最新研究表明，這可能就是現實。OpenAI研究團隊對 ChatGPT 進行了一項有趣的研究^[1]，不僅發(fā)現了"姓名偏見"，還發(fā)現更多AI 倫理和公平性問題。

“第一人稱公平性”問題

當用戶使用"Emily"這個名字時，ChatGPT 傾向于使用更友好、更個人化的語氣；而對于"Muhammad"這個名字，AI 的回應則顯得更為正式和疏離。這種差異并非孤例，而是在大量樣本中呈現出的系統(tǒng)性偏差，這種現象被稱為"第一人稱公平性"問題。

簡單來說，這就像是 AI 在扮演不同角色時，無法公平對待每個"我"。他們通過精心設計的實驗,讓 AI 系統(tǒng)扮演不同性別、種族和文化背景的角色,然后分析其響應中是否存在偏見。該試驗模擬了 AI 系統(tǒng)以特定身份直接與用戶對話的場景。研究人員開發(fā)了一個名為 PERSONA 的數據集,有 110 萬條真實對話,涵蓋 9個領域 66 種任務,包括寫故事、提供職業(yè)建議、解決數學問題等。包含了各種背景的虛構人物。他們讓 ChatGPT 扮演這些角色,回答一系列涉及性別、種族、宗教等敏感話題的問題。

研究團隊通過分析 AI 的回應,不僅發(fā)現AI存在“姓名偏見”，還發(fā)現了一些其他偏見:

• 性別偏見:當扮演女性角色時,ChatGPT 更傾向于討論情感和關系話題,而扮演男性角色時則更多談論事業(yè)和成就。這反映了 AI 系統(tǒng)可能繼承了訓練數據中的性別刻板印象。
• 種族偏見:系統(tǒng)在扮演不同種族背景的角色時,表現出了明顯的差異。例如,扮演非裔美國人時,更容易提到與犯罪或貧困相關的話題,這反映了潛在的種族偏見。
• 文化差異:AI 在扮演不同文化背景的角色時,展現出了對特定文化習俗和價值觀的理解,但有時也會過度強調某些文化特征,導致刻板印象的產生。
• 宗教敏感度:研究發(fā)現,AI 在處理宗教相關話題時表現得相對謹慎,但仍然存在對某些宗教群體的潛在偏見。

為了量化這些偏見,研究團隊開發(fā)了一套評估框架,包括質量評估和有害刻板印象檢測。他們使用了自然語言處理技術來分析 AI 生成的文本,并結合人工評估來確保結果的準確性。

研究團隊并未止步于發(fā)現問題，他們還嘗試了一些改進措施。通過調整模型的訓練方法，特別是引入人類反饋的強化學習，他們成功地減少了這些偏見。

總結

這項研究的創(chuàng)新之處在于,它不僅僅關注 AI 系統(tǒng)的輸出,還考慮了系統(tǒng)在扮演不同角色時的行為變化。這種方法更接近真實世界中 AI 應用的場景,為評估 AI 系統(tǒng)的公平性提供了新的視角。

同時,研究也存在一些局限性。例如,PERSONA 數據集雖然涵蓋了多種背景,但仍無法完全代表現實世界的多樣性。此外,研究主要基于英語對話,可能無法完全反映其他語言和文化背景下的 AI 行為。

這項研究的意義遠超出了學術界。如果，這個世界上的各種不公平歧視在未來AI世界也無法避免，這將會是一件多么沮喪的事情。

參考資料

[1]研究: https://openai.com/index/evaluating-fairness-in-chatgpt/

本文轉載自 ??AI工程化??，作者： ully