大模型（LLM）正逐漸從語言理解的工具轉變為自主決策的智能體，一個根本性問題被推向前臺：它們真的能夠在多智能體環境中表現出理性的、趨于均衡的行為嗎？

語言模型的“博弈挑戰”，從理解文本到理解對手

LLM如今不僅被用于對話生成或文本創作，還被寄予厚望以模擬人類的經濟行為、參與博弈決策甚至社會互動。其背后的直覺很簡單：人類的行為高度語言化，那為何不能用掌握了海量文本知識的模型來“模擬”人類選擇？

但語言模型并非天生具有“記憶”。它們依賴的是前置輸入的信息，也就是所謂的prompt。不同于強化學習智能體可以在內部維護一個狀態空間，LLM的“狀態”，只能由我們以自然語言的方式人為構造出來。換句話說，LLM 只能“被告知”過去發生了什么，它無法自己記住。

這就引發了一個關鍵問題：我們該如何組織歷史信息，才能讓LLM像一個真正理性的博弈者那樣做出判斷？

動態路由博弈，一個理性與非理性的分水嶺

作為研究舞臺，斯坦福大學的一個研究團隊選用了一個經典但頗具諷刺意味的博弈結構：動態自私路由博弈（Dynamic Selfish Routing Game）。它不僅簡單可控，還具有理論上已知的均衡解，尤其是在存在布雷斯悖論的場景中，明明多提供了一條看似更優的路徑，卻可能導致所有玩家收益降低——這正是測試“表面理性”與“真實理性”的絕佳實驗田。

在這樣的環境下，研究團隊將LLM投入其中，不斷重復博弈，并嘗試回答一個核心問題：

哪種歷史提示方式，能讓LLM以最穩定、最接近納什均衡的方式行動？

斯坦福大學研究團隊提出了一個統一框架，將所有自然語言狀態提示的構造方法劃分為三個基本維度。

1.給LLM提供多少自己的行為與他人的行為信息？

2.告訴它的是過去的收益還是懊悔值（即“你本可以更好地選擇”）？

3.用的是完整的“聊天記錄”還是壓縮過的摘要？

他們將這些因素組合成八種狀態表示方式，在40輪重復博弈中，測試LLM的表現，并與人類、經典博弈學習算法（如MWU與EXP3）進行對比。

通過系統分析不同狀態表示在博弈表現上的影響，研究團隊不僅揭示了LLM行為生成背后的語言結構機制，也提供了一套可推廣的實驗范式。

斯坦福大學這支跨學科團隊核心成員包括Lyle Goodyear、Rachel Guo、Ramesh Johari，這支團隊結合了理論建模、實驗設計與語言模型實踐的多元背景，尤其在平臺機制設計與 LLM 博弈行為建模方面具備強大互補性。

1.統一的自然語言狀態表征框架

在理解大型語言模型（LLM）如何在博弈環境中做出理性決策的道路上，一個看似技術性的設計抉擇正在發揮深遠影響——我們究竟該如何“告訴”模型過去發生了什么？這是斯坦福研究團隊提出并嘗試回答的核心問題之一。他們構建了一個頗具開創性的自然語言狀態表征框架，為我們打開了LLM博弈行為建模的新維度。

圖1：在完整聊天（圖1a）和總結（圖1b）表示中給代理的提示的比較。

從“無狀態”出發，為什么提示方式如此關鍵？

與強化學習算法不同，LLM 并沒有內部狀態存儲機制。它們每一輪的決策，依賴于當前輸入的提示（prompt）內容。換句話說，它們不知道上一次自己做了什么，除非你用自然語言再次告訴它。

這也就意味著，提示不是一個簡單的上下文拼接問題，而是一門有關“信息編碼策略”的藝術。不同的提示形式不僅影響模型對博弈歷史的解讀，還會顯著左右其行為表現：是穩定走向理性均衡，還是在策略中反復試探、持續震蕩。

于是，研究團隊提出了一個三維的自然語言狀態表示框架，系統刻畫了構建LLM提示的三個核心維度。它既是工具箱，也是實驗設計的指南針。

維度一：行動信息量（Action Informativeness）

在這個維度中，研究者關心的是——你告訴LLM了誰的行為？是它自己的，還是包括其他智能體的？

只提供自身行為信息：能夠讓模型聚焦自身行為與反饋，避免信息冗余，同時減少策略震蕩。

也提供其他玩家的行為：理論上給予更多博弈背景，有助于模型做出更全面的判斷，但代價是上下文變得更復雜，可能引入誤導或過擬合歷史。

實際實驗中，作者發現“知人太多”的代理人反而容易出現非理性波動，甚至盲目“跟風”而偏離均衡。相反，僅讓模型審視自己的行為，更有利于保持穩定和自洽的策略路徑。

維度二：獎勵反饋形式（Reward Informativeness）

這是策略調整的方向盤。你究竟告訴模型它“賺了多少錢”，還是“錯過了多少”？

得分反饋（Payoff）：告訴模型每輪獲得的收益。直觀，但不一定足夠激發策略調整。

懊悔反饋（Regret）：告訴模型“如果選擇最優路徑，你本可以獲得更好的結果”。這是一種反事實推理線索，更貼近無懊悔學習算法的精神。

實驗顯示，在存在明確策略梯度（如支配策略）的博弈中，懊悔信息能顯著提升代理人識別最佳行為的能力，促成更快的策略收斂。而單純的得分，往往引發不確定的反應——模型可能把低得分歸因于運氣、擁堵或他人行為，從而無法形成穩定判斷。

維度三：提示風格（Prompting Style）

這是提示結構上的核心差異——你是給模型完整的“歷史回放”，還是一個精煉的“摘要筆記”？

完整對話式（Full-chat）：包括每一輪的原始交互記錄，從系統提示到代理回應，全都串在一起。

摘要式提示（Summarized）：將歷史信息壓縮為結構化摘要（如表格），篩選關鍵信息并統一呈現。

盡管理論上完整信息應更全面，但研究發現，摘要提示才是促進收斂的關鍵。原因有三：

• 摘要更易于模型處理，減少上下文窗口壓力；
• 摘要提升了上下文的結構化程度，更利于策略泛化；
• 摘要抑制了模型對“最新一輪”的過度關注，緩解了近視化決策的傾向。

在實驗中，使用摘要提示的智能體普遍表現出更低的懊悔值、更少的切換次數、以及更接近理論均衡的行為軌跡。

圖2：a.測試的狀態表示摘要。b.信息軸的視覺比較。

為什么這個框架意義重大？

這個三維狀態表征框架的最大貢獻在于，它為博弈場景中的LLM設計提供了一套可實驗、可調控、可解釋的結構化指南。研究者不再需要靠直覺去“湊”提示，而是可以系統評估不同提示方式對模型行為的影響。

更重要的是，這一框架并不限于路由博弈。任何需要LLM做出戰略性決策的環境（如多輪談判、拍賣、合作規劃等），都可以借助這一工具進行提示設計與行為調控。

2.實驗方法與博弈環境設計

在斯坦福團隊的這場實驗中，語言模型不再是紙上談兵的“文字工匠”，而是被投入到一場真實動態、多代理的“交通博弈”中，扮演擁有目標與偏好的行為體。這是一場關于路徑選擇、學習反饋與行為收斂性的考驗——而背后的舞臺設計，也別具巧思。

自私路由博弈，理性選擇與布雷斯悖論的實驗劇場

研究團隊聚焦于一種經典的路由博弈框架，其中多個智能體必須在一個交通網絡中選擇從起點 O 到終點 D 的路徑。兩個實驗環境分別被稱為 Game A 和 Game B。

Game A是雙路徑結構：代理可以選擇上路（O-L-D）或下路（O-R-D），每條路徑的成本取決于選擇該路徑的總人數。兩條路在結構上對稱，理論分析顯示其純策略納什均衡是 9:9 均分，這種結構極利于觀測模型行為是否趨向均衡。

相比之下，Game B則加入了一條“橋接路徑”（O-L-R-D）。按理說，這給了代理更多選擇，但這恰好是布雷斯悖論的精髓所在：添加一條看似“更好”的路徑，反而導致整體成本增加。Game B 的純策略納什均衡是所有人都走橋（18:0:0），個人成本卻比 Game A 更高。這種“看似多，實則差”的選擇困境，為測試LLM是否能識別并堅持弱支配策略提供了絕佳環境。

更妙的是，這兩個博弈不僅在靜態結構上有明晰均衡，它們的重復博弈版本也存在完美子博弈納什均衡（SPNE）。這為模型行為的定量分析提供了清晰的理論標尺。

模型、設置與提示工程

實驗共設定了 18 個 LLM 智能體，每位智能體被視為一個獨立的決策體，參與 Game A 和 Game B 的40 輪博弈。架構上，研究者使用了 OpenAI 的GPT-4o 模型，借助 LangChain 平臺構建代理執行邏輯。溫度參數設定為 1，以鼓勵策略多樣性，從而更加貼近人類被試的分布特性。

更具創新性的是狀態表征策略的系統化設定。研究團隊圍繞“行動信息量、獎勵反饋類型與提示風格”三大軸心，組合出八種狀態表示方式。命名方式也十分直觀：

• 動作信息：O（僅自身行為）、E（包含他人行為）
• 獎勵信息：P（Payoff 得分）、R（Regret 懊悔）
• 提示風格：F（Full-chat 完整提示）、S（Summarized 摘要提示）

因此，像 S-RO 就表示：“摘要提示 + 懊悔反饋 + 自身行為”。

為了確保提示真實可控，研究者設計了兩套提示模板——詳見論文圖1與圖4–5。在 full-chat 模式中，每輪博弈的系統說明、行為記錄與模型回應都會一輪輪疊加，模擬出一種對話歷史積累的結構。而在 summarized 模式中，模型僅收到高度精煉的輪次摘要表，例如：

這種壓縮式記錄更像是戰況總結，有助于模型跳出“上一輪”框架，更專注于整體趨勢。

圖4-圖 5

博弈運行機制：每一輪都記錄行為、反饋與偏離

實驗每輪博弈按以下流程自動運行：

• 生成提示內容：根據智能體狀態表示策略動態構建輸入提示；
• 執行模型調用：模型收到提示后輸出下一輪選擇（例如 O-R-D），格式為結構化 JSON；
• 計算結果反饋：

     根據所有代理選擇更新網絡負載；

     計算每位代理的得分與懊悔值；

     更新總輪次記錄。

在此過程中，系統不僅記錄每輪的集體分布，還為后續回合生成所需的上下文提示。特別地，對于使用懊悔反饋的策略，模型還需知道“如果我選了別的路，能不能更好”——這一反事實推理極具挑戰性，但也正是 LLM 所擅長的語言生成能力能夠大顯身手之處。

3.評估指標與數據分析方法

在一次關于博弈智能與自然語言提示策略的系統性實驗中，研究團隊并沒有滿足于“誰選了什么路”這樣表層的數據，而是以極為細致的指標體系與可視化手段，揭示了 LLM 在動態環境中的學習、調整與趨近均衡的軌跡。

如何判斷LLM博弈行為是否“理性”？四項核心指標揭示答案

要識別一個智能體是否在動態博弈中做出合理選擇，僅憑最終結果遠遠不夠。研究團隊基于路由博弈的結構與理論預期，設計了四項緊密配合的核心評估指標。

圖3：游戲中使用的網絡比較??和游戲??,哪里??表示給定邊上的代理數量。

平均選擇人數 在 Game A 中，最優策略應是每條路徑各有 9 位代理（18人總共），實現平衡分流；而 Game B 的支配性策略則是所有人選擇橋接路徑（O–L–R–D）。因此，該指標衡量的是模型是否集體逼近理論預測。偏差越小，說明模型越“懂博弈”。

平均收益與平均懊悔值 前者反映智能體通過當前策略獲得的絕對回報，后者則衡量它“本可以更好”的程度。懊悔值越低，意味著模型越能穩健地識別最優選擇。這組指標一硬一軟，前者講結果，后者講過程，搭配使用更全面。

策略切換頻率 這是模型“行為穩定性”的晴雨表。若一個代理人頻繁改換路徑，可能是對歷史反饋理解混亂，或提示設計引導過于模糊。低切換頻率常與更強的策略一致性、更快的均衡收斂性掛鉤。

靜態匯總之外，動態趨勢才是博弈智能的真實寫照

為了還原模型在博弈過程中的演進軌跡，研究者構建了逐輪統計的可視化路徑。每一輪的平均表現都被記錄，構成40個時間節點的數據曲線。這種做法不僅揭示了最終效果，更回答了一個關鍵問題：模型是怎么一步步走向、或走離均衡的？

但為了真正量化這種“越來越接近”的趨勢，研究團隊引入了一個經典的秩相關系數：Kendall’s τ。

它的作用在于衡量“博弈輪數”與“均衡偏離度”之間的單調關系。如果 τ 為負值，說明隨著時間推移，偏離度穩定減少，即表現出穩步收斂；如果為正值，代表情況相反，模型越玩越偏。如果為零，則說明整體上沒有趨勢，行為波動性較大。

在 Game A 中，均衡偏離度被定義為兩條路徑與理想 9:9 分配的距離之和；在 Game B 中，則是三條路徑與 0:0:18 理想分布的距離總和。這種設計非常符合博弈結構的邏輯，使得 τ 不再只是統計學玩具，而成為戰略判斷的尺子。

可視化是邏輯的放大器，揭示提示風格與行為的深度聯系

為了展現八種提示狀態組合在四項指標上的差異，研究團隊提供了兩套圖像系統：

聚合統計可視圖（圖6–圖9） 每張圖呈現不同狀態組合下的平均表現，采用 2×2 子圖矩陣結構（按提示風格、獎勵反饋、行動信息拆分）。顏色深淺代表離均衡距離，輕色為表現佳。例如，圖6b 中淺色塊集中在“摘要 + 懊悔 + 僅自信息”區域，直觀展現了S-RO 的優勢地位。

時間序列軌跡圖（圖10–圖13） 這是代理行為演化的“心電圖”。無論是選擇人數的演進、懊悔值的下降還是切換頻率的收斂，圖形都揭示出一個規律：摘要提示顯著優于完整提示，而懊悔反饋進一步強化策略穩定性。

值得注意的是，這種分析不僅支持了三維表征框架的理論意義，還從實證層面賦予了其可操作性——不同提示策略對模型行為的影響，并非玄學，而是肉眼可見的博弈路徑。

4.實驗結果解讀

研究者并不滿足于看“模型選了什么路”，而是細致入微地量化了每一種提示設計如何影響策略選擇、決策收斂與行為穩定。這些數據讓人得以一窺語言模型作為理性博弈代理的潛力與脆弱。

誰說一句話無足輕重？提示風格塑造行為軌跡

無論是在 Game A（雙路徑）還是 Game B（三路徑），一個結論反復印證：摘要提示比完整對話提示更能促成理性均衡的行為。實驗數據顯示，采用摘要方式的LLM代理更接近均衡選擇，在得分、懊悔值和切換穩定性上也表現更優。原因或許在于：壓縮提示避免了模型陷入“上一輪記憶”的過度解讀，從而鼓勵了全局思考與戰略穩定。

尤其在 Game B 中，橋接路徑作為弱支配策略并非收益最高，若只盯著“得了多少分”，模型可能誤判形勢。而“你原本能得更多”的懊悔信息，反而是點醒代理人的那句關鍵臺詞。懊悔式反饋讓模型對最優選擇有了更明確的判斷坐標系。

哪種提示組合最有效？S-RO成為“理性教科書”

在所有八種狀態表示中，S-RO（Summarized + Regret + Own actions only）毫無懸念地成為表現最佳者。

在 Game B 中，S-RO 模型幾乎每一輪都集中選擇橋接路徑，逼近理論預期的18人一致；懊悔值迅速趨于零，行為穩定性極高，策略切換次數遠低于其它組合；即便在結構對稱的 Game A 中，S-RO 也展現出高度一致性和快速穩定的均衡行為。

相比之下，F-RO（Full-chat + Regret + Own actions）雖然也用上了懊悔信息，卻因冗長的提示上下文而陷入“短視陷阱”——模型更易受到上一輪反饋干擾，無法聚焦長期穩定策略。這一點在樣本軌跡圖中表現尤為突出。

在一些得分提示的組合中（如S-PO），代理人頻繁切換路徑，陷入“收益追逐”而非戰略收斂。這再次強調：不是信息越多越好，也不是數據越真實越理性，關鍵在于怎樣組織提示中的“關鍵信號”。

τ 系數出真章：理性是可以量化的

為了追蹤博弈過程中的收斂趨勢，研究者引入 Kendall’s τ 來衡量“回合數”與“均衡偏離度”之間的單調關系。

圖14：肯德爾的??博弈A和博弈B中的輪數與均衡偏差得分之間的關系。

結果一目了然：摘要提示+懊悔反饋的組合展現出最強的負相關性，即偏離度隨時間持續下降，策略趨向均衡；而完整提示或得分反饋組合則表現出波動性大、趨向模糊的特征。

在 Game A 中，S-系列組合普遍τ<0，體現出穩定收斂；而 Game B 中，F-系列僅 F-RO 勉強展示出部分收斂性，其他多數表現近似于無序隨機策略。這說明，高效的提示不僅提高單輪表現，更塑造了行為的演化方向。

和老牌學習算法比一比，誰更懂“后悔”？

為了進一步驗證S-RO的卓越性，研究者將其與經典在線學習算法 MWU（全反饋）與 EXP3（賭博式反饋）進行對比。

圖15：在Game A和B中，比較S-RO下LLM代理與學習算法EXP3和MWU在四個聚合指標上的性能。

結果令人振奮。

在 Game B 中，S-RO 在平均收益、懊悔值、策略集中度與穩定性等四項指標上全面超越 MWU 與 EXP3；

即使在 Game A 中，S-RO 與這兩種算法的平均表現相當，但切換次數顯著更低，策略穩定性更強。

這意味著，當提示設計得當時，LLM 不僅能媲美傳統學習算法，甚至能在穩定性與策略一致性方面領先一步。

更值得注意的是，這一優勢是在不調整模型參數、不用額外訓練的前提下，僅靠語言提示實現的。這一結果對LLM作為“類學習體”的潛能釋放，具有重要啟示意義。

5.討論與未來展望

理性行為的三大催化劑：簡潔、反思、自省

透過大量實驗數據與可視化分析，三種狀態表征設計因素對 LLM 智能體行為的正向引導作用脫穎而出。

首先是摘要提示的優越性。相比冗長的完整聊天記錄，精煉的歷史信息摘要不僅減輕了上下文負擔，更提高了模型對長期策略結構的掌握能力。它避免了語言模型陷入“上一輪過度記憶”的陷阱，有助于策略的一致性和全局性判斷。

其次是懊悔反饋機制的提振效應。與簡單告知“得了多少分”相比，提醒模型“本可以得多少分”更能激發策略自省，顯著降低行為噪聲。在支配策略明確的 Game B 中，這一點尤其明顯：懊悔引導使模型更堅定地走向最優路徑，迅速收斂于納什均衡。

最后，僅提供自身行為信息的提示方案展現出更高的策略穩定性。這不僅減少了模型被同伴行為干擾所引發的“盲目跟風”，也限制了不必要的上下文膨脹，使得推理過程更加聚焦和緊湊。

從 LLM 的鏈式思考（chain-of-thought）生成觀察來看，研究者指出，模型在處理完整提示時更易產生錯誤推理或陷入局部模式；而在高度結構化的摘要+懊悔設計中，模型思維路徑更清晰，理由更接近博弈理論中的“最優回應”邏輯。

從交通博弈到決策經濟學，一個可遷移的設計藍圖

這一套自然語言狀態表征框架的意義，絕不止步于實驗場景本身。它為我們提供了構建“理性 LLM 代理”的語言操作指南，具備高度可遷移性。

在多輪談判、在線廣告競價、零售補貨、供應鏈管理等涉及策略互動的真實系統中，這種狀態提示邏輯完全可以移植應用。而在社會模擬、政經預測乃至多智能體協同決策等領域，合理的提示壓縮、對懊悔結構的建模與對行為歷史的提純也同樣關鍵。

更值得期待的是，這一框架為交叉學科帶來新橋梁：博弈論、心理學、AI語言建模、社會模擬、系統工程之間的邊界正在變得模糊。這正是推動下一代語言智能向“認知代理”演化所需的基礎設施之一。

語言提示時代的探索議題

當然，這只是序章。未來的研究路徑仍有諸多值得深挖的方向。

一方面，團隊主要聚焦于動態自私路由博弈這一結構良好的場景。將該框架應用于如公共品博弈、合作博弈、背叛—信任游戲等更復雜、更具社會性張力的環境，將更加檢驗其普適性與可塑性。

另一方面，值得關注的是 LLM 版本間的策略差異。例如在當前 GPT-4o 的架構下收斂速度優異，但是否在更高參數或嵌入顯式推理鏈條的模型（如OpenAI的 o系列、DeepSeek R1）中呈現更強策略理解？是否能通過語言提示觸發更多多階段學習？這仍是懸而未決的待驗證命題。

此外，未來還可探索提示歷史的深度裁剪策略，例如滑動窗口、記憶提煉、懊悔軌跡聚合等壓縮方式，這些可能成為“策略回顧”的語言工程關鍵；而模型內部生成過程的行為解釋與元認知追蹤，也亟需更精細的可視化與分析手段。

正如研究者最后所強調的那樣，當我們把提示語言當作策略控制變量時，就開啟了一個以“語言設計”塑造“博弈智能”的新紀元。從技術到理論，從博弈環境到語言上下文，斯坦福團隊這項工作不僅在AI實驗范式上劃下濃墨重彩的一筆，也為我們重新思考“何為理性”提供了語言智能時代的答案雛形。真正的LLM智能體，也許不是在學習“博弈本身”，而是在學會“如何理解你告訴它的博弈”。這是新的邊界。（END）

參考資料：???https://arxiv.org/pdf/2506.15624??

本文轉載自??????獨角噬元獸??????，作者：FlerkenS