大家都在吐槽GPT-4變「笨」了,可能是架構重新設計惹的禍
距離 OpenAI 最初發布 GPT-4 已經過去差不多 4 個月的時間了。然而,隨著時間的推移,近期,網上開始出現了一些質疑聲,他們認為世界上最強大的 GPT-4 變得不那么強大了。
有些業內人士認為,這可能和 OpenAI 對該系統的重大重新設計有關。
其實,最近幾周,我們或多或少的在網上看到 GPT-4 的用戶們對其性能下降怨聲載道,有用戶稱這個模型與其先前的推理能力以及其他輸出相比變得「懶惰(lazier)」和「愚笨(dumber)」。
不僅如此,在 Twitter 和 OpenAI 的在線開發者論壇的評論中,用戶們表達了對這一問題的不滿,例如 GPT-4 的邏輯能力減弱、錯誤回答增多、對提供的信息失去追蹤能力……
GPT-4 到底變得如何了,我們看看網友反饋。
GPT-4「變笨」,抱怨聲不斷
一位使用 GPT-4 進行網站開發的網友寫道:「現在的 GPT-4 非常令人失望。那感覺就像你開了一個月的法拉利,它突然變成了一輛破舊的皮卡車。照這樣下去,我不確定我是否愿意為此付費。」
還有用戶表示:「我使用 ChatGPT 已經有一段時間了,自從 GPT-4 發布以來,我一直是 GPT Plus 的付費用戶。過去幾天里,GPT-4 似乎在之前做得很好的事情上遇到了困難。我在使用 GPT-4 時,過去,它似乎能很好地理解我的請求。現在,它對信息的追蹤能力下降了,給我提供的信息有誤,而且經常誤解我的問題。」
圖片
Roblox 的產品負責人 Peter Yang 在 Twitter 上聲稱,GPT-4 的輸出速度變快了,但輸出質量卻更差了。例如一些簡單的問題,比如讓它輸出更清晰簡潔、更有創意的文字任務上。GPT-4 給出的結果在我看來,質量下降了:
圖片
「GPT-4 開始一遍又一遍地循環輸出代碼和其他信息。與之前相比,它就像腦死亡了一樣。如果你沒有真正見識過它之前的能力,你可能不會注意到。但如果你之前充分使用了 GPT-4,你會明顯感覺到它變得更愚蠢。」另一位用戶抱怨道。
圖片
「我對 GPT-4 的反應質量也有同樣的問題,有誰知道一種方法來排除或糾正這種情況?」
圖片
「我確實注意到了這一點。在一天中的某些時候,它似乎只記得最近的提示。但在一整天的使用中,GPT-4 性能似乎有波動,不同時間進行嘗試,感覺性能不一樣。」
圖片
通過網友的反饋,看來大家都感受到了 GPT-4 變笨的事實。
從前是又慢又貴,現在是快但不準確
去年年底,OpenAI 發布 ChatGPT 震驚整個 AI 界,最初 ChatGPT 運行在 GPT-3 和 GPT-3.5 之上。3 月中旬,GPT-4 發布,并迅速成為開發者和其他科技行業人士的首選模型。
GPT-4 被認為是廣泛可用的最強大的 AI 模型,具備多模態功能,可以理解圖像和文本輸入。根據 Lamini 創業公司首席執行官 Sharon Zhou 的說法,它雖然慢但非常準確。
然而,幾周前,情況開始發生轉變,雖然 GPT-4 變得更快,但性能明顯下降了,這引發了整個 AI 社區的討論,根據 Sharon Zhou 和其他專家的說法,這意味著一個重大的變化正在進行中。
他們認為 OpenAI 正在創建幾個較小的 GPT-4 模型,這些模型的功能類似于大型模型,但運行成本更低。
幾天前 SemiAnalysis 發布的一篇付費訂閱內容也談到這一點。文中提到了 OpenAI 能夠通過使用混合專家(MoE)模型來保持合理成本。他們在模型中使用了 16 個專家模型,每個專家模型大約有 111B 個參數。這些專家模型中的 2 個被路由到每個前向傳遞。
「這些較小的專家模型分別針對不同的任務和領域進行了訓練。可能會有一個針對生物學的迷你 GPT-4,以及其他可用于物理學、化學等的小模型。當一個 GPT-4 用戶提出問題時,新系統會知道將該查詢發送給哪個專家模型。新系統可能會決定將查詢發送給兩個或多個專家模型,然后將結果合并起來。」Sharon Zhou 表示。
開發人員George Hotz 在最近的播客中描述了 GPT-4 是 8 路混合模型。
圖片
值得一提的是,艾倫人工智能研究所創始 CEO Oren Etzioni 在網絡上看到這些信息后,給 Business Insider 發了一封電子郵件寫道:「我『推測』這些猜測大致準確,但我沒有證據。」
Oren Etzioni 認為:使用 MoE 方法主要是為了讓生成式模型輸出質量更高、成本更低、響應更快。
eEtzioni 補充道:「正確使用混合模型的確可以同時滿足上述需求,但通常需要在成本和質量之間進行權衡。在這種情況下,有傳聞稱 OpenAI 正在犧牲一些質量來降低成本,但這只是傳聞。」
實際上,2022 年 OpenAI 總裁 Greg Brockman 曾與幾位同事共同撰寫了一篇關于 MoE 方法的文章。
這篇文章中提到:「采用 MoE 方法,模型可以在不增加計算成本的情況下支持更多參數。」
Sharon Zhou 表示:「GPT-4 最近幾周的性能下降很可能與訓練和 OpenAI 推出的小型專家 GPT-4 模型有關。當用戶測試它時,我們會問很多不同的問題。它不會回答得很好,但它會從我們那里收集數據,并且會改進和學習。」