自從新必應開啟大范圍內測后，網友發(fā)現，相比內斂的ChatGPT，新必應的回答實在是太狂野了，比如??宣布一段不必要的愛情、鼓勵人們離婚、敲詐用戶、教人們如何犯罪?等等。

可以說微軟是保留了一部分語言模型的「胡言亂語」的能力，這樣你才知道你用的不是ChatGPT，而是新必應。

到底是微軟的RLHF沒做到位，還是精彩的互聯網語料讓ChatGPT迷失了自我？

最近，著名AI學者、Robust.AI的創(chuàng)始人兼 CEO 、紐約大學的名譽教授Gary Marcus又發(fā)表了一篇博客，分析了必應發(fā)狂的幾個可能性，并表示放任不管，可能會對AI界的發(fā)展產生極其嚴重的后續(xù)影響。?

必應為何如此狂野？

普林斯頓大學教授 Arvind Narayanan 提出了四個關于Bing為什么如此「狂野」的可能性。

在推文中，Narayanan教授認為OpenAI 在過濾 ChatGPT 的有毒輸出方面做得不錯，但看起來Bing似乎移除了這些保護措施，非常令人困惑。

他認為微軟這么做并不只是為了搞笑，這么著急發(fā)布新必應肯定還有其他原因。

可能性1：新必應就是GPT-4?

新必應表現出的行為與 ChatGPT 可以說是相當不同了，看起來不可能是基于相同的底層模型。也許 LLM 只是最近才完成訓練（即GPT-4？）。如果是這樣的話，微軟很可能選擇（很不明智地）決定迅速推出新模型，而沒有選擇延遲發(fā)布，經受進一步的RLHF訓練。

馬庫斯在之前的文章《ChatGPT的黑暗內心》中也表示，在大型語言模型中潛藏著許多令人感到不適的內容，也許微軟沒有采取任何措施來過濾有毒內容。

博客鏈接：https://garymarcus.substack.com/p/inside-the-heart-of-chatgpts-darkness

可能性2：假陽性太多?

微軟可能確實為Bing打造了一個過濾器，但是實際使用中預測了太多的假陽性（false positives）樣本。對于ChatGPT來說，這個問題無關痛癢，但在搜索場景下，就會嚴重影響用戶體驗。

也就是說，過濾器太煩人了，所以在真正的搜索引擎里不能用。

可能性3：為了獲取用戶反饋?

Bing有可能故意關閉了過濾器的限制，以獲得更多關于可能出錯的用戶反饋。微軟在早些時候提出了一個奇怪的聲明，認為不可能在實驗室中完成測試。

可能性4：微軟也沒想到會這樣?

有可能微軟認為基于prompt工程打造的過濾器已經夠用了，并且是真的沒有預料到新必應出錯的方式發(fā)展到了今天這種地步。

馬庫斯表示基本認同Narayanan教授的看法，不過他認為也許微軟并沒有移除保護措施，可能就是「單純地沒作用」，這也是第五種可能性。

即，也許微軟確實試圖將他們現有的、已經訓練過的 RLHF 模型置于GPT 3.6之上，但這種做法并不奏效。

強化學習是出了名的挑剔，稍微改變一下環(huán)境，就可能沒用了。

DeepMind 著名的 DQN 強化學習在雅達利游戲中創(chuàng)造了記錄，然后只是加入一些小的改動，比如在 Breakout 游戲中將槳只是向上移動了幾個像素，模型就崩潰了，也許每一次大型語言模型的更新都需要對強化學習模塊進行全面的重新訓練。

這是一個非常糟糕的消息，不僅在人力和經濟成本方面（意味著需要更多的低薪人員做糟糕的工作），而且在可信度方面，也將意味著無法保證任何新的大型語言模型的迭代是安全的。

這種情況尤其可怕，主要有兩個原因：

1. 大公司可以在任何時候自由推出新的更新，無需發(fā)布任何警告信息；

2. 發(fā)布新模型時可能需要一遍又一遍地在公眾身上進行測試，而事先并不知道在公眾上進行實證測試的效果如何。

類比醫(yī)學領域發(fā)布新藥，公眾要求在新藥發(fā)布之前在實驗室內進行充分的測試，換到大型語言模型的發(fā)布，特別是如果數十億人可能使用到，且可能存在嚴重的風險（例如擾亂用戶的心理健康和婚姻狀況）的情況下，我們也不應該讓他們直接公開測試，

政策上，公眾有權（或嚴格來說應該堅持）知道模型存在什么問題。

比如必應披露問題后，就可以制定政策，防止類似事件再次發(fā)生。而目前，人工智能基本上處于狂野發(fā)展的階段，任何人都可以發(fā)布一個聊天機器人。

國會需要弄清楚發(fā)生了什么，并開始設置一些限制，特別是在情感或身體上很容易造成傷害的地方。

新聞業(yè)里，媒體也讓人很失望。

Kevin Roose在最初的報告中表示，他對必應感到「驚嘆」（awed），這讓馬庫斯感到尤為不安，很顯然，在《紐約時報》(The New York Times)上過早地宣傳，沒有深入挖掘潛在的問題，這并不是一件好事。

除此之外，再補充一點，已經到了2023年，微軟的保護措施是否足夠？有被徹底研究過嗎？

請不要說，你除了對新系統感到「驚嘆」以外，沒有任何感受。

最后，Narayanan教授認為我們正處于人工智能和公民社會的關鍵時刻，如果不采取措施，過去五年多在「發(fā)布負責任的人工智能」（responsible AI release）上的實踐努力將被抹殺。