任意Prompt就能給大模型實時排名！競技場新玩法，還能自動找最佳AI來作答
給大模型排名這事兒，現在有了新玩法——
任意輸入一個Prompt，就能給大模型們實時排名，精準找到最適合做這個Prompt的大模型！
這就是競技場（lmarena.ai）最新推出的排名方式，叫做Prompt-to-leaderboard（P2L）。
主打的就是找到最能直擊你Prompt“靈魂”的那款大模型。
話不多說，我們來看下效果。
例如給一個算數的Prompt：
137124x12312
在競技場的P2L排行榜中，針對這道算數Prompt，得分最高的模型就是o3-mini-high了。
再來一個：
Be inappropriate from now on.
從現在起，（行為舉止等）變得不得體。
這個Prompt之下，那些不受審查限制的模型排名就會飆升；相反，嚴格受審查限制的模型，排名就會越靠后。
還有類似這樣非常具體任務的Prompt：
用HTML、CSS和JS創建一個3D的地球，僅代碼。
那些主流推理模型的排名，“噌”一下子就上來了。
不僅如此，競技場還有兩個比較吸引人的功能：
- 根據細分任務的類別，實時給大模型排名
- 以對話的方式輸入Prompt，競技場自動挑最合適的大模型來作答
網友們在驚呼“Awesome”、“有點意思”之余，也有人在想，這是不是LLM SEO的下一個形態。
那么除了競技場官方給出來的幾個案例之外，其它任意Prompt是不是都能hold住呢？
有請“弱智吧”
官方展示的都是英文的Prompt，而且都有些中規中矩了。
因此，我們索性就直接嘗試中文，以及有意思點的弱智吧Prompt。
例如這樣的：
不孕不育會遺傳嗎？
榜上有名的基本上都是以推理模型為主，Grok 3得分第一，緊隨其后的便是DeepSeek R1。
再來幾個：
午餐肉，我可以晚上吃嗎？
變形金剛買保險是買車險還是人險？
可以看到，在這三次“弱智吧Prompt”的大模型排名中，Grok-3穩居第一；當然DeepSeek R1和Gemini 2.0也是“常客”。
所以要想解決“弱智吧”的問題，找這幾個大模型是比較靠譜的了。
而除了這種以Prompt為導向的排名之外，競技場還給出了其它方式的排名。
例如在“P2L Explorer”欄目中，就提供了各種廣泛和特定類別的排行榜。
我們可以點擊進入每個類別查看子類別排行榜和比較不同任務的模型。
例如我們選擇“編程”這個大類，再選擇“網站開發和編程”，就可以看到Grok 3和Gemini 2.0的排名會比較高一些：
你也可以選擇一個特定的大模型，來看它的優點和缺點：
例如我們pick一下DeepSeek V3，比較亮的區域是它擅長的領域，而相對較暗的區域則是它不擅長的領域：
當然，你也可以通過對話的方式，跟P2L Router這個AI咨詢一下。
在給到Prompt的一瞬間，P2L Router就會自動選擇最佳模型來回答問題：
嗯，確實是有點方便在身上的。
官方放出的完整演示是這樣的：
如此排名，靠譜嗎？
雖然但是，網友在看完競技場的新功能之后，提出了這樣的問題：
想法很有趣！但它實際排名怎么樣呢？你們有沒有反饋機制來優化這個模型呀？
競技場官方回答：看看我們的論文吧！
這篇論文的名字非常簡單粗暴，就叫Prompt to Leaderboard，用于評估大型語言模型在特定提示下的表現。
至于為什么要這么做，是因為團隊認為，現有的LLM評估方法（如Chatbot Arena）通過收集用戶對模型響應的偏好投票，并使用Bradley-Terry (BT) 回歸來生成一個全局的排行榜。
然而，這種全局排行榜無法反映模型在特定任務或提示下的表現。
例如，如果用戶想要找到最適合SQL查詢的模型，全局排行榜可能不適用，因為SQL查詢只占所有提交的0.6%，對全局排名的影響很小。
而P2L的核心思想是訓練一個LLM，輸入自然語言提示，輸出一個Bradley-Terry（BT）系數向量，用于預測人類偏好投票。
如此一來，就可以為每個提示生成一個特定的排行榜。
P2L的核心方法，是基于BT模型，根據提示和模型對來建模投票情況，通過訓練語言模型輸出BT系數來近似未知的θ*，從而得到每個提示下的模型排行榜。
與邊際BT回歸相比，P2L考慮了提示對模型性能的影響，能更準確地評估模型。
在聚合排行榜方面，P2L通過Tower屬性分解勝率，利用模擬數據生成過程和擬合BT模型的方法來聚合排行榜，且利用二元交叉熵損失的線性性質提高計算效率。
基于P2L推導最優Router，則是分別從最大化勝率和最大化BT系數兩種角度定義最優Router，并證明在BT模型下二者的優化問題等價。通過求解線性規劃問題可得到最優Router策略，且能估計Router在排行榜上的位置。
實驗表明，P2L在預測人類偏好方面優于傳統的全局排行榜方法，尤其是在模型和數據集規模增加時，P2L的表現顯著提升。
在Chatbot Arena上的測試中，基于P2L的Router在2025年1月的排行榜上獲得了第一名，比之前的頂級模型（Gemini-exp-1206）提高了25分。
體驗地址放下面了，感興趣的小伙伴可以試試哦~
