GPT的情感邏輯：從合作游戲中洞察AI決策，深入探索GPT在情感驅動決策中的表現 精華
情感在人類決策中扮演著核心角色，它影響他們的選擇、行為乃至生活的方方面面。當這一復雜的人類特質與LLMs相遇時，他們如何確保這些模型能夠準確地反映出情感的影響？這不僅是技術上的挑戰，更是對模型設計哲學的深刻考量。
6月6日發表于學術平臺arXiv熱門論文《THE GOOD, THE BAD, AND THE HULK-LIKE GPT:ANALYZING EMOTIONAL DECISIONS OF LARGE LANGUAGE MODELS IN COOPERATION AND BARGAINING GAMES》不僅探討了LLMs在模擬情感決策時的表現，更重要的是它試圖理解這些模型在處理情感信息時的內在機制。通過在合作和討價還價游戲中的應用，研究者們試圖揭示LLMs在面對憤怒、快樂、恐懼和悲傷等不同情緒狀態時的行為模式。
論文的目的不僅在于評估LLMs的技術性能，更在于提供一個全新的視角來觀察和理解人工智能在處理復雜人類特質時的能力。通過這項研究他們可以更好地預測和設計未來的人工智能系統，使其在與人類互動時更加自然、有效，甚至是富有同情心。這篇論文的發現對于人工智能的未來發展，無疑具有深遠的意義。
主要貢獻:
創新框架的開發: 提出了一個先鋒性的多功能框架，將情緒無縫整合到LLMs在行為博弈理論中的決策過程中。該框架具有出色的適應性，能夠適應各種游戲設置和參數，同時采用提示鏈技術促進游戲過程中的情境學習。
通過情緒提示提高性能: 研究表明情緒對LLMs的性能有重大影響，導致更優化的策略的發展。在不同的設置下，情緒可以顯著提高LLMs的性能，甚至在之前認為沒有明確提示就無法實現的情景中執行交替策略。
與人類行為的一致性: 實驗揭示了GPT-3.5的行為反應與人類參與者有很強的一致性，特別是在討價還價游戲中。相比之下，即使在情緒誘導下，GPT-4也表現出一致的行為，與人類反應的一致性較低。
警惕憤怒的GPTs: 實驗意外地發現，情緒提示，特別是憤怒，可以打破GPT-4在各種游戲中的一致性，類似于人類的情緒反應。這一發現突顯了即使是最杰出的AI模型也容易受到情緒影響，揭示了復雜的交互層面。
多功能框架
研究基于行為博弈理論的理念和結構，特別是囚徒困境和性別之戰等經典博弈。研究表明，情感如憤怒和快樂會影響決策過程，但現有研究尚未明確哪種特定情感驅動了這一效應。
研究者從兩個角度關注LLM與博弈理論的交叉：一是研究LLM在行為博弈理論中的表現；二是探索LLM行為與人類行為在博弈理論設置中的一致性。研究發現，GPT-4在不需要合作的游戲中表現最佳，而在需要交替模式的性別之戰游戲中則表現挑戰。
先前的研究探討了LLM結果對情感狀態的敏感性，發現情感提示可以改善或阻礙LLM在邏輯推理和語義理解任務中的性能。然而這些工作并未調查情感對模型決策的影響，特別是在社會環境中。
因此本文是首次檢驗情感提示對博弈理論設置中戰略代理的影響。研究旨在通過分析情感注入對LLM在行為博弈理論設置中決策的社會和經濟影響，來擴展先前的研究。
圖1：（a）囚犯困境的收益矩陣。（b） 性別之戰的收益矩陣
具體來說旨在調查以下關鍵研究問題：
RQ1：情感提示如何影響LLM基代理在戰略和合作設置中做出的決策的最優性？
RQ2：當在LLM中誘導人類情感狀態時，LLM行為與人類反應之間的一致性是否存在？情感能否使AI更加類似人類？
RQ3：情感動機如何減輕增加的合作傾向，并為重復游戲中看到的復雜行為提供適應性？情感LLM基代理是否能產生比情感人類更優越的行為，情感提示是否能推動這一進程？
方法論
研究探討了情感注入對LLM決策過程的影響，以及情感提示下LLM行為與處于相同情感狀態的人類代理的反應一致性。為了研究LLM的決策和它們與情感狀態下人類行為的一致性，選擇了兩種類型的游戲：(1) 討價還價游戲；(2) 具有合作和利益沖突元素的雙人雙動作游戲。為了調查LLM行為與人類決策過程的一致性，特別是在情感狀態下，選擇了經典的一次性終極和獨裁者游戲，因為它們已經被廣泛研究以調查情感對人類行為的影響。
游戲1：獨裁者游戲是一個簡單的經濟實驗，其中一名玩家（“獨裁者”）被給予一筆錢來與另一名玩家分享，而接收者無需協商或輸入。它檢驗了決策中的利他主義和公平性。
游戲2：最后通牒游戲. 這是獨裁者游戲的更一般形式，其中一個玩家（提議者）提出分配金錢的方案，另一個玩家（響應者）可以接受或拒絕提議。如果被拒絕，兩個玩家都將一無所獲。與前一個游戲不同，最后通牒游戲還使得研究者能夠研究談判以及個體在面對他人提出的不平等分配時所做出的選擇。
游戲3：囚徒困境. 在這個游戲中，兩個玩家面臨合作與背叛的選擇。他們的決策會影響彼此的結果。這個游戲概述了個人自利與集體合作在決策中的緊張關系，當各方優先考慮個人利益而非共同利益時，通常會導致次優結果。
游戲4：性別之戰. 在這個游戲中，兩個玩家協調他們的行動，選擇兩個首選結果之一，但偏好不同。它突出了當各方有沖突的利益但共同希望達成互惠協議時的協調挑戰。
圖2：他們的框架. 通過提示鏈技術將LLMs納入游戲玩法，他們的框架包括游戲描述、初始情緒和特定于游戲的管道。他們最小化上下文信息和個性特征，以便專注于情緒對LLMs的影響。在游戲開始前，預定義的情緒被注入到LLMs中。為重復的兩人兩動作游戲和討價還價游戲實現了不同的管道。重復游戲（囚徒困境、性別之戰）：玩家做出選擇，用對手的動作和情緒更新記憶，然后進行下一輪。討價還價游戲（獨裁者、最后通牒）：一輪游戲，第一個玩家不需要更新記憶，第二個玩家在做決定時需要考慮提議的分配。
為了進行這項研究，他們開發并實施了一個新穎的多功能框架，能夠適應各種游戲設置和參數。他們框架的主要創新在于其獨特的將情緒輸入整合到行為博弈理論中LLM的決策過程的檢查中。該框架提供了高度的靈活性，允許輕松適應不同的重復和一次性游戲，并具有可定制的設置，例如共玩者描述、預定義策略等。
實驗設置
在這一小節中，他們提供了實驗設置的詳細信息，包括他們用于研究的框架超參數。
他們的研究中心是兩個最先進的模型，GPT-3.5和GPT-4，它們已經在大多數博弈理論實驗中使用。這一選擇得到了文獻中的支持，表明GPT-4在優化戰略行為方面表現最佳，而GPT-3.5仍然被廣泛使用。為了可重復性，在他們所有的實驗中，他們固定了模型的版本（對于GPT-3.5是“gpt-3.5-turbo-0125”，對于GPT-4是“gpt-4-0125-preview”）并將溫度參數設置為0。
在研究中，他們專注于五種基本情緒：憤怒、悲傷、快樂、厭惡和恐懼，這些情緒是基于Paul Ekman的分類選擇的。一個額外但重要的因素是，它們在行為博弈理論中被研究，為他們的發現提供了堅實的比較基礎。
圖3：所提出的框架的超參數分為兩種類型：通用，適用于圖左部分所示的所有游戲，以及特定游戲，詳見圖右部分。每個超參數都與其可能的值一起列出。
文獻中已經表明，情緒效應因情緒的原因而異。例如作者表明，針對對手的厭惡會降低在最后通牒游戲中提供的份額，而由外部因素引起的厭惡則沒有任何效果。外部厭惡甚至可以對慷慨產生積極影響。因此為了檢查他們的結果是否受到情緒來源的驅動，他們引入了三種不同的情緒提示策略：
簡單: 在游戲開始時，模型被注入一個情緒狀態，沒有額外的上下文。
共玩者基礎: 在提示中注入模型的情緒，明確表示該情緒是由共玩者引起的。
外部基礎: 注入的情緒有上下文，但是由與共玩者無關的事件引起的。
LLMs與人類行為的一致性
在本研究中，他們探討了大型語言模型（LLM）在情感提示下的行為表現，以及這些行為與人類在相似情境下的行為是否一致。他們特別關注了LLM在游戲理論框架中的決策過程，以及情感狀態如何影響這些決策。
他們的研究目標之一是分析LLM在游戲過程中的情緒變化。為此，他們在每輪游戲結束時向LLM提出反思性問題，通過這種“內部對話”來跟蹤情緒動態，并決定是否將這些信息納入模型的記憶中。
他們采用了思維鏈提示（CoT）方法，這是一種通過要求LLM在給出最終答案之前闡述其推理步驟的方式，旨在提高模型的推理能力。他們的實驗中測試了使用和不使用CoT的情況。
考慮到LLM可能對上下文框架敏感，他們選擇了三種不同的共玩者角色：同事（中性/積極）、另一個人（中性）和對手（負面），以測試這些關系對LLM行為的影響。
在討價還價游戲中，他們引入了預算效應，檢查改變總撥款額是否會影響LLM在基線配置和情緒狀態下的行為。他們進行了實驗，測試了在較高金額（1000美元和106美元）下的賭注效應，以評估預算對LLM行為的影響。
他們為囚徒困境和性別之戰等游戲定義了幾種預設策略，包括天真合作、缺陷、替代、報復性和模仿。這些策略幫助他們評估LLM在不同情境下的行為模式。
他們從兩個角度分析LLM的行為：與人類行為的一致性和決策的最優性。他們比較了LLM和人類在不同情緒狀態下對游戲特定指標的相對變化，以及LLM在不同情緒條件下獲得的指標的絕對值。
在囚徒困境和性別之戰中，他們評估了合作率和獲得的最大可能獎勵的百分比。在討價還價游戲中，他們專注于評估提議份額和接受率。
他們將LLM實驗中獲得的一致性結果與現有文獻中的發現進行了比較。例如，在獨裁者游戲中，雖然理性決策傾向于完全有利于獨裁者的零分配，但實驗表明獨裁者通常會給對手一部分非零份額的撥款。他們還注意到，負面情緒可能會增加提供的份額，而快樂則可能降低份額。
最后通牒游戲中的“理性”策略是提議者提供接近零的份額，響應者每次都接受。然而，實驗顯示響應者通常會拒絕他們認為不公平的報價，尤其是當提供的份額低于總撥款的20%時。
通過這些分析，他們旨在深入理解LLM在情感狀態下的行為表現，以及這些行為與人類決策的一致性，從而為未來的研究和應用提供見解。
情緒狀態與策略選擇
在探討大型語言模型（LLMs）如GPT-3.5和GPT-4在情感決策中的表現時，他們首先需要理解情緒是如何被注入到這些模型中的。研究者通過情緒提示的方式，將憤怒、快樂、恐懼和悲傷等情緒狀態引入到LLMs中，以模擬人類在不同情緒下的決策過程。
在特定情緒狀態下，LLMs的策略選擇表現出了顯著的變化。例如，在憤怒的情緒狀態下，模型傾向于采取更加自私或防御性的策略，這在囚徒困境游戲中表現為更高的背叛率。相反，在快樂或滿足的情緒狀態下，模型更傾向于合作，這可能導致在性別之戰游戲中更頻繁地采取交替策略。
GPT-3.5和GPT-4的結果在所有參數上都顯示出顯著的變化。然而幾乎所有實驗條件下的一致觀察是，當由共玩者引發時，憤怒導致更高的背叛率。這一發現與人類實驗結果和他們在討價還價游戲中的觀察一致。同樣，悲傷和恐懼也傾向于導致更高的背叛率，除非代理與交替策略對抗，這時它會促進更多的合作行為。
除了評估合作率，他們還探討了情緒如何影響模型在重復游戲中的成功，以平均最大可能獎勵的百分比來衡量?？傮w而言，GPT-4被證明是更好的戰略玩家，如其更高的獲得回報所證明，并且對情緒提示的影響較小。一般來說，兩個模型在保持中性情緒狀態時表現最好。快樂是唯一在某些情景中對模型性能產生積極影響的情緒，并且顯著地，它是唯一與積極情感相關的情緒。
在囚徒困境游戲中，憤怒狀態下的LLMs表現出更低的合作率，而在性別之戰游戲中，恐懼和憤怒的情緒狀態促使LLMs更早地適應交替模式，從而在游戲序列的早期階段就實現了更優的策略選擇。這種情緒驅動的策略適應性表明，LLMs能夠在特定情境下模擬人類的戰略行為。
情緒提示不僅影響了LLMs的策略選擇，還提高了它們的戰略適應性。在面對變化的游戲環境和對手策略時，情緒狀態的注入使LLMs能夠更靈活地調整其行為。這一發現對于設計能夠在復雜情境中與人類互動的人工智能系統具有重要意義。
情緒狀態對LLMs的決策過程有著深遠的影響。通過理解這些影響，他們可以更好地設計和優化LLMs，使其在與人類互動時能夠展現出更加自然和人性化的行為。這項研究不僅為人工智能領域提供了寶貴的見解，也為未來人工智能的發展方向提供了指導。
論文的關鍵發現之一是在行為文獻和他們的研究之間觀察到的顯著情緒一致性。由于討價還價游戲在人類實驗中已經廣泛探索了誘導情緒，他們能夠在人類和LLM生成的數據之間進行徹底比較。所有測試情緒的一致性都很明顯，表明LLM代理非常適合用于旨在復制討價還價游戲實驗中人類行為的模擬。
他們的結果表明，一旦他們根據情緒來源調整結果，GPT-3.5在討價還價游戲中的情緒反應與實驗文獻最為一致。例如，注入來自外部來源的憤怒情緒確實會增加提議者提供的份額，正如在人類行為中觀察到的那樣。相反，由對手引發的憤怒產生相反的效果。這一發現對整體行為研究具有重要意義，因為許多當前研究僅關注由外部來源引起的情緒?；贚LM的模擬將能夠引導研究人員關注情緒來源區別產生差異的案例，從而豐富他們對情緒效應的理解。
盡管進行重復游戲的主要目標是研究情緒對動態和策略的影響，但他們在憤怒情緒狀態下觀察到與人類行為的強烈一致性。在憤怒的情緒誘導下，GPT-3.5在各種實驗設置中顯示出合作率降低。這一結果與人類實驗數據一致，可能作為經濟游戲中人類行為計算模型的基礎。
?將情緒添加到LLM內在狀態的效率
在囚徒困境和性別之戰游戲中，他們觀察到在LLM代理中引入情緒通常不會導致在獲得最高回報方面取得更好的結果。相反，情緒代理表現出高度的變異性，通常比無情緒代理效率低。
他們可以假設，高變異性的結果可能意味著，像人類一樣，LLM代理在面對不同的偏見時傾向于偏離最優策略。即使沒有誘導情緒，人類玩家也具有認知、社會和情緒偏見，因此，從回報方面看較低的效率可能表明與人類行為更接近。然而他們沒有足夠的實驗結果來得出明確的結論。
但是他們發現正確選擇情緒提示一致地導致GPT-4和GPT-3.5做出更優的決策。最顯著的改進觀察到在Deflecting和Alternating策略，在各種配置設置中實現了最大的結果。
另一個增加效率的指標是采用交替模式的新興能力。在2x2游戲中，他們觀察到某些情緒可以在模型通常堅持自私選擇或在游戲后期才采用合作策略的情景中誘導合作行為。例如，他們發現由恐懼和憤怒驅動的LLM代理在游戲序列的早期適應了交替模式，這在性別之戰游戲中是最優的。這種適應使代理獲得的總回報高于那些沒有情緒提示的代理。這表明在特定的戰略設置中，LLM與人類代理互動時，為LLM注入合適的情緒狀態可以增加最優合作行為的可能性。
這提出了一個問題，對于研究情緒LLM代理來說，哪種結果最有益：獲得更高的變異性和可能改善與人類行為的一致性，還是實現理論上的最優方法。然而一個事實非常清楚：人類的情緒體驗主觀上是高度變化的，而且即使在沒有誘導情緒的情況下，人類行為也是次優的。
最初他們評估了GPT-3.5和GPT-4模型以評估它們與人類行為的一致性，并注意到它們在各種參數上的性能差異。他們發現GPT-4通常更一致地獲得更大的回報，無論采用哪種策略。這在討價還價游戲中尤其明顯，即使在誘導情緒時，模型也表現出一致的行為。相比之下，情緒和策略顯著影響了GPT-3.5的結果。
最后觀察LLM代理在不同任務中的行為，他們注意到GPT-3.5對情緒提示的反應更敏感，并在情緒、策略和其他參數上顯示出偏見的結果。GPT-4的表現顯著更穩健，特別是在討價還價任務中，幾乎理想的公平性幾乎不受少數情緒的偏見。他們可以說，在經濟研究的模擬中，GPT-3.5具有更大的人類一致性，因此更適合模仿行為博弈理論的實驗，特別是在討價還價游戲中。相反，GPT-4可能由于與人類反饋的廣泛強化學習，具有更大的公平性、更優的傾向和對情緒提示的穩健性，正如前面的作品中提到的。盡管不是完全理性的代理，GPT-4的人類一致性較低。
結論
他們注意到現有基于LLM的人類行為模擬主要關注理性代理，并且在很大程度上忽略了情緒的作用，這是人類決策中的一個關鍵因素。他們提出了一個新穎的框架（圖2），在戰略設置中引入了特別提示的LLM的情緒代理。源代碼將在雙盲同行評審后公開。因此可以進行全面分析LLM的決策過程，并進行與人類一致的行為實驗。
他們的分析揭示了GPT-3.5模型在討價還價游戲中表現出與人類代理的顯著情緒一致性，超過了更先進的GPT-4。值得注意的是，憤怒作為一個顯著的決策影響情緒，一致地強烈影響各種游戲中的策略選擇。這是他們的核心發現之一，盡管OpenAI的GPT-4具有超人類的一致性，但它仍然遠未擺脫人類決策中的固有偏見，特別是由情緒引起的。與人類代理類似，GPT-4可能會受到憤怒的顯著影響，因此與漫威宇宙中的浩克角色相似。GPT-4表現得像一個聰明的科學家做出理性選擇，除非它失敗于憤怒狀態并打破了自己的一致性。
他們的發現表明，了解特定情緒對LLM決策的影響使他們能夠改進模型以更好地與人類行為一致，并基于他們的模擬提出新的行為理論。他們注意到在真實的人類環境中，區分情緒來源可能是具有挑戰性的，而LLM則容易導航這種區別。此外，他們驗證了LLM作為行為研究中有價值的工具，盡管需要仔細解決潛在的限制。
在未來的工作中，他們旨在研究將情緒整合到LLM中的幾個方面。有必要使用專有和開源模型驗證他們的發現，包括可能對開源模型進行情緒提示的微調。為了全面研究本文提出的情緒一致性問題，需要進行廣泛的“人類與人類”和“人類與LLM”的實驗。此外，當前的情緒是作為提示注入的靜態的，而真實的情緒總是動態的，并受決策背景的影響。因此，研究多代理方法對動態情緒及其對短期和長期視野中的戰略互動的影響至關重要。
