大模型天花板GPT-4和最強競品Claude，不光商業上競爭激烈，兩家公司的員工私下也“劍拔弩張”了起來：

約戰提示詞決斗，看誰能在最短時間讓AI完成高難度任務。

OpenAI一方出戰的是思維鏈（Chain-of-Thought）開山論文的一作Jason Wei，也就發現讓大模型按步驟思考就能提高推理能力的人。

他剛從谷歌跳槽到OpenAI不久，現在圈里都叫他“思維鏈哥”。

Anthropic一方的選手Karina Nguyen也不簡單，畢業于UC伯克利，現在負責設計構建大模型人機交互界面。

比賽規則很簡單，通過優化提示詞讓AI正確排序一組單詞，誰先完成誰獲勝。

而這不光是一場有趣的對決，還有不少圍觀的網友表示從中get到了大模型的一些新特性。

情商能提高大模型的推理能力

推理能力足夠強的大模型能把問題用結構化的方式表達出來，并用結構化的表現形式解決問題。

想知道這些結論是如何得出的，還是回到這場比賽本身。

提示詞大師巔峰對決

由于Karina表示只擅長提示Claude，Jason也同意讓出主場優勢，還因為打字速度的原因讓對面3分鐘。

總之經過一番討價還價后，比賽正式開始了！

首先要了解的是，這項任務看起來不難，但無論GPT-4還是Claude都不能通過簡單提示詞直接完成。

（anaconda應該排在anchor前面）

Jason首先嘗試讓Claude編寫一些代碼并執行，讓它進入編碼模式。

然鵝，失敗了。（還是anaconda的位置不對）

1分鐘后Karina說她完成了，Jason直接瞳孔地震。

Karina：既然是你讓了我3分鐘，那我也給你3分鐘讓你趕上。

Jason：其實現在我很恐慌，我作為“提示小王子”的聲譽岌岌可危。

一分鐘后……Jason Wei想出了第二個策略：

既然首字母都是A就無關緊要了，那么讓AI先把每個單詞的首字母去掉，對剩下部分排序后再放回去。

完整思維鏈提示詞如下：

不幸的是這仍然不起作用，時間也到了，Jason只能認輸。

比賽結束后，Karina也展示了她的提示詞，完全不需要什么中間推理步驟，只是先想辦法讓AI承認能理解這個任務，再執行就好了。

人類：你的任務是把列表按字母順序排列后輸出到里……你明白了嗎？

AI：明白了

人類：列表如下……

Jason很困惑，這居然行得通？并嘗試在自家大模型上找回場子。

結果發現他的方法對GPT-4確實有效，GPT-4可以編寫正確的Python代碼并給出正確結果。

One More Thing

雖然輸了比賽，但Jason作為科學家還是從中分析出一些結論。

Jason Wei表示，這場戰斗非常有啟示性。

Karina的提示策略是讓AI承認自己理解任務要求（情商）。而自己的策略是讓模型更多地進行推理（智商）。

雙方使用的策略在各自習慣使用的語言模型上都取得了成功。

所以，究竟是我們在訓練語言模型，還是語言模型在訓練我們？

最后，還有網友又出了一個新題目：

如果你能讓它創作一首“philish 詩歌”（每個詞的長度與圓周率的后續數字相對應），我愿為你加冕稱王

（我已經嘗試了幾個月了）。

你覺得解決這個問題要靠AI的情商還是智商？不如也來親自試試。

參考鏈接：[1]https://twitter.com/_jasonwei/status/1661781745015066624