从协作游戏中洞察AI决策 深化探求GPT在情感驱动决策中的体现 GPT的情感逻辑

情感在人类决策中表演着外围角色，它影响他们的选用、行为乃至生存的方方面面。当这一复杂的人类特质与LLMs相遇时，他们如何确保这些模型能够准确地反映出情感的影响？这不只是技术上的应战，更是对模型设计哲学的深入考量。

6月6日宣布于学术平台arXiv抢手论文《THE GOOD, THE BAD, AND THE HULK-LIKE GPT:ANALYZING EMOTIONAL DECISIONS OF LARGE LANGUAGE MODELS IN COOPERATION AND BARGAINING GAMES》不只讨论了LLMs在模拟情感决策时的体现，更关键的是它试图了解这些模型在处置情感消息时的外在机制。经过在协作和讨价讨价游戏中的运行，钻研者们试图提醒LLMs在面对愤怒、快乐、恐怖和悲伤等不同心情形态时的行为形式。

论文的目的不只在于评价LLMs的技术性能，更在于提供一个全新的视角来观察和了解人工自动在处置复杂人类特质时的才干。经过这项钻研他们可以更好地预测和设计未来的人工自动系统，使其在与人类互动时愈加人造、有效，甚至是富裕同情心。这篇论文的发现关于人工自动的未来开展，无疑具备深远的意义。

关键奉献:

翻新框架的开发: 提出了一个先锋性的多性能框架，将心情无缝整合到LLMs内行为博弈实际中的决策环节中。该框架具备出色的顺应性，能够顺应各种游戏设置和参数，同时驳回提醒链技术促成游戏环节中的情境学习。

经过心情提醒提高性能: 钻研标明心情对LLMs的性能有严重影响，造成更优化的战略的开展。在不同的设置下，心情可以清楚提高LLMs的性能，甚至在之前以为没有明白提醒就不可成功的情形中执行交替战略。

与人类行为的分歧性: 试验提醒了GPT-3.5的行为反响与人类介入者有很强的分歧性，特意是在讨价讨价游戏中。相比之下，即使在心情诱导下，GPT-4也体现出分歧的行为，与人类反响的分歧性较低。

警觉愤怒的GPTs: 试验异常地发现，心情提醒，特意是愤怒，可以冲破GPT-4在各种游戏中的分歧性，相似于人类的心情反响。这一发现突显了即使是最卓越的AI模型也容易遭到心情影响，提醒了复杂的交互层面。

多性能框架

钻研基于行为博弈实际的理念和结构，特意是囚徒困境和性别之战等经典博弈。钻研标明，情感如愤怒和快乐会影响决策环节，但现有钻研尚未明白哪种特定情感驱动了这一效应。

钻研者从两个角度关注LLM与博弈实际的交叉：一是钻研LLM内行为博弈实际中的体现；二是探求LLM行为与人类行为在博弈实际设置中的分歧性。钻研发现，GPT-4在不须要协作的游戏中体现最佳，而在须要交替形式的性别之战游戏中则体现应战。

先前的钻研讨论了LLM结果对情感形态的敏理性，发现情感提醒可以改善或阻碍LLM在逻辑推理和语义了解义务中的性能。但是这些上班并未考查情感对模型决策的影响，特意是在社会环境中。

因此本文是初次测验情感提醒对博弈实际设置中战略代理的影响。钻研旨在经过剖析情感注入对LLM内行为博弈实际设置中决策的社会和经济影响，来裁减先前的钻研。

图1：（a）囚犯困境的收益矩阵。（b） 性别之战的收益矩阵

详细来说旨在考查以下关键钻研疑问：

RQ1：情感提醒如何影响LLM基代理在战略和协作设置中做出的决策的最优性？

RQ2：当在LLM中诱导人类情感形态时，LLM行为与人类反响之间的分歧性能否存在？情感能否使AI愈加相似人类？

RQ3：情感动机如何减轻参与的协作偏差，并为重复游戏中看到的复杂行为提供顺应性？情感LLM基代理能否能发生比情感人类更优越的行为，情感提醒能否能推进这一进程？

方法论

钻研讨论了情感注入对LLM决策环节的影响，以及情感提醒下LLM行为与处于相反情感形态的人类代理的反响分歧性。为了钻研LLM的决策和它们与情感形态下人类行为的分歧性，选用了两种类型的游戏：(1) 讨价讨价游戏；(2) 具备协作和利益抵触元素的双人双举措游戏。为了考查LLM行为与人类决策环节的分歧性，特意是在情感形态下，选用了经典的一次性性终极和专制者游戏，由于它们曾经被宽泛钻研以考查情感对人类行为的影响。

游戏1：专制者游戏是一个便捷的经济试验，其中一名玩家（“专制者”）被给予一笔钱来与另一名玩家分享，而接纳者无需协商或输入。它测验了决策中的利他主义和偏心性。

游戏2：最后通牒游戏. 这是专制者游戏的更普通方式，其中一个玩家（提议者）提出调配金钱的打算，另一个玩家（照应者）可以接受或拒绝提议。假设被拒绝，两个玩家都将满载而归。与前一个游戏不同，最后通牒游戏还使得钻研者能够钻研谈判以及集体在面对他人提出的不对等调配时所做出的选用。

游戏3：囚徒困境. 在这个游戏中，两个玩家面临协作与背离的选用。他们的决策会影响彼此的结果。这个游戏概述了团体自利与群体协作在决策中的弛缓相关，当各方优先思考团体利益而非共同利益时，通常会造成次优结果。

游戏4：性别之战. 在这个游戏中，两个玩家协调他们的执行，选用两个首选结果之一，但偏好不同。它突出了当各方有抵触的利益但共同宿愿达成互惠协定时的协调应战。

图2：他们的框架. 经过提醒链技术将LLMs归入游戏玩法，他们的框架包含游戏形容、初始心情和特定于游戏的管道。他们最小化高低文消息和共性特色，以便专一于心情对LLMs的影响。在游戏开局前，预约义的心情被注入到LLMs中。为重复的两人两举措游戏和讨价讨价游戏成功了不同的管道。重复游戏（囚徒困境、性别之战）：玩家做出选用，用对手的举措和心情降级记忆，而后启动下一轮。讨价讨价游戏（专制者、最后通牒）：一轮游戏，第一个玩家不须要降级记忆，第二个玩家在做选择时须要思考提议的调配。

为了启动这项钻研，他们开发并实施了一个陈腐的多性能框架，能够顺应各种游戏设置和参数。他们框架的关键翻新在于其共同的将心情输入整合到行为博弈实际中LLM的决策环节的审核中。该框架提供了高度的灵敏性，准许轻松顺应不同的重复和一次性性游戏，并具备可定制的设置，例如共玩者形容、预约义战略等。

试验设置

在这一小节中，他们提供了试验设置的详细消息，包含他们用于钻研的框架超参数。

他们的钻研中心是两个最先进的模型，GPT-3.5和GPT-4，它们曾经在大少数博弈实际试验中经常使用。这一选用获取了文献中的支持，标明GPT-4在优化战略行为方面体现最佳，而GPT-3.5依然被宽泛经常使用。为了可重复性，在他们一切的试验中，他们固定了模型的版本（关于GPT-3.5是“gpt-3.5-turbo-0125”，关于GPT-4是“gpt-4-0125-preview”）并将温度参数设置为0。

在钻研中，他们专一于五种基本心情：愤怒、悲伤、快乐、厌恶和恐怖，这些心情是基于Paul Ekman的分类选用的。一个额外但关键的要素是，它们内行为博弈实际中被钻研，为他们的发现提供了松软的比拟基础。

图3：所提出的框架的超参数分为两种类型：通用，实用于图左局部所示的一切游戏，以及特定游戏，详见图右局部。每个超参数都与其或者的值一同列出。

文献中曾经标明，心情效应因心情的要素而异。例如作者标明，针对对手的厌恶会降落在最后通牒游戏中提供的份额，而由外部要素惹起的厌恶则没有任何成果。外部厌恶甚至可以对小气发生踊跃影响。因此为了审核他们的结果能否遭到心情起源的驱动，他们引入了三种不同的心情提醒战略：

便捷: 在游戏开局时，模型被注入一个心情形态，没有额外的高低文。

共玩者基础: 在提醒中注入模型的心情，明白示意该心情是由共玩者惹起的。

外部基础: 注入的心情有高低文，但是由与共玩者有关的事情惹起的。

LLMs与人类行为的分歧性

在本钻研中，他们讨论了大型言语模型（LLM）在情感提醒下的行为体现，以及这些行为与人类在相似情境下的行为能否分歧。他们特意关注了LLM在游戏实际框架中的决策环节，以及情感形态如何影响这些决策。

他们的钻研目的之一是剖析LLM在游戏环节中的心情变动。为此，他们在每轮游戏完结时向LLM提出反思性疑问，经过这种“外部对话”来跟踪心情灵活，并选择能否将这些消息归入模型的记忆中。

他们驳回了思想链提醒（CoT）方法，这是一种经过要求LLM在给出最终答案之前论述其推理步骤的方式，旨在提高模型的推理才干。他们的试验中测试了经常使用和不经常使用CoT的状况。

思考到LLM或者对高低文框架敏感，他们选用了三种不同的共玩者角色：共事（中性/踊跃）、另一团体（中性）和对手（负面），以测试这些相关对LLM行为的影响。

在讨价讨价游戏中，他们引入了估算效应，审核扭转总拨款额能否会影响LLM在基线性能和心情形态下的行为。他们启动了试验，测试了在较高金额（1000美元和106美元）下的赌注效应，以评价估算对LLM行为的影响。

他们为囚徒困境和性别之战等游戏定义了几种预设战略，包含天真协作、毛病、代替、报复性和模拟。这些战略协助他们评价LLM在不同情境下的行为形式。

他们从两个角度剖析LLM的行为：与人类行为的分歧性和决策的最优性。他们比拟了LLM和人类在不同心情形态下对游戏特定目的的相对变动，以及LLM在不同心情条件下取得的目的的相对值。

在囚徒困境和性别之战中，他们评价了协作率和取得的最大或者鼓励的百分比。在讨价讨价游戏中，他们专一于评价提议份额和接受率。

他们将LLM试验中取得的分歧性结果与现有文献中的发现启动了比拟。例如，在专制者游戏中，虽然理性决策偏差于齐全无利于专制者的零调配，但试验标明专制者通常会给对手一局部非零份额的拨款。他们还留意到，负面心情或者会参与提供的份额，而快乐则或者降落份额。

最后通牒游戏中的“理性”战略是提议者提供凑近零的份额，照应者每次都接受。但是，试验显示照应者通常会拒绝他们以为不偏心的报价，尤其是当提供的份额低于总拨款的20%时。

经过这些剖析，他们旨在深化了解LLM在情感形态下的行为体现，以及这些行为与人类决策的分歧性，从而为未来的钻研和运行提供见地。

心情形态与战略选用

在讨论大型言语模型（LLMs）如GPT-3.5和GPT-4在情感决策中的体现时，他们首先须要了解心情是如何被注入到这些模型中的。钻研者经过心情提醒的方式，将愤怒、快乐、恐怖和悲伤等心情形态引入到LLMs中，以模拟人类在不同心情下的决策环节。

在特定心情形态下，LLMs的战略选用体现出了清楚的变动。例如，在愤怒的心情形态下，模型偏差于采取愈加无私或进攻性的战略，这在囚徒困境游戏中体现为更高的背离率。相反，在快乐或满足的心情形态下，模型更偏差于协作，这或者造成在性别之战游戏中更频繁地采取交替战略。

GPT-3.5和GPT-4的结果在一切参数上都显示出清楚的变动。但是简直一切试验条件下的分歧观察是，当由共玩者引发时，愤怒造成更高的背离率。这一发现与人类试验结果和他们在讨价讨价游戏中的观察分歧。雷同，悲伤和恐怖也偏差于造成更高的背离率，除非代理与交替战略反抗，这时它会促成更多的协作行为。

除了评价协作率，他们还讨论了心情如何影响模型在重复游戏中的成功，以平均最大或者鼓励的百分比来权衡。总体而言，GPT-4被证实是更好的战略玩家，如其更高的取得报答所证实，并且对心情提醒的影响较小。普通来说，两个模型在坚持中性心情形态时体现最好。快乐是惟一在某些情形中对模型性能发生踊跃影响的心情，并且清楚地，它是惟一与踊跃情感相关的心情。

在囚徒困境游戏中，愤怒形态下的LLMs体现出更低的协作率，而在性别之战游戏中，恐怖和愤怒的心情形态促使LLMs更早地顺应交替形式，从而在游戏序列的早期阶段就成功了更优的战略选用。这种心情驱动的战略顺应性标明，LLMs能够在特定情境下模拟人类的战略行为。

心情提醒不只影响了LLMs的战略选用，还提高了它们的战略顺应性。在面对变动的游戏环境和对手战略时，心情形态的注入使LLMs能够更灵敏地调整其行为。这一发现关于设计能够在复杂情境中与人类互动的人工自动系统具备关键意义。

心情形态对LLMs的决策环节有着深远的影响。经过了解这些影响，他们可以更好地设计和优化LLMs，使其在与人类互动时能够展现出愈加人造和兽性化的行为。这项钻研不只为人工自动畛域提供了贵重的见地，也为未来人工自动的开展方向提供了指点。

论文的关键发现之一是内行为文献和他们的钻研之间观察到的清楚心情分歧性。由于讨价讨价游戏在人类试验中曾经宽泛探求了诱导心情，他们能够在人类和LLM生成的数据之间启动彻底比拟。一切测试心情的分歧性都很清楚，标明LLM代理十分适宜用于旨在复制讨价讨价游戏试验中人类行为的模拟。

他们的结果标明，一旦他们依据心情起源调整结果，GPT-3.5在讨价讨价游戏中的心情反响与试验文献最为分歧。例如，注入来自外部起源的愤怒心情确实会参与提议者提供的份额，正如在人类行为中观察到的那样。相反，由对手引发的愤怒发生相反的成果。这一发现对全体行为钻研具备关键意义，由于许多钻研仅关注由外部起源惹起的心情。基于LLM的模拟将能够疏导钻研人员关注心情起源区别发生差异的案例，从而丰盛他们对心情效应的了解。

虽然启动重复游戏的关键目的是钻研心情对灵活和战略的影响，但他们在愤怒心情形态下观察到与人类行为的剧烈分歧性。在愤怒的心情诱导下，GPT-3.5在各种试验设置中显示出协作率降落。这一结果与人类试验数据分歧，或者作为经济游戏中人类行为计算模型的基础。

​将心情参与到LLM外在形态的效率

在囚徒困境和性别之战游戏中，他们观察到在LLM代理中引入心情通常不会造成在取得最高报答方面取得更好的结果。相反，心情代理体现出高度的变同性，通常比无心情代理效率低。

他们可以假定，高变同性的结果或者象征着，像人类一样，LLM代理在面对不同的成见时偏差于偏离最优战略。即使没有诱导心情，人类玩家也具备认知、社会和心情成见，因此，从报答方面看较低的效率或者标明与人类行为更凑近。但是他们没有足够的试验结果来得出明白的论断。

但是他们发现正确选用心情提醒分歧地造成GPT-4和GPT-3.5做出更优的决策。最清楚的改良观察到在Deflecting和Alternating战略，在各种性能设置中成功了最大的结果。

另一个参与效率的目的是驳回交替形式的新兴才干。在2x2游戏中，他们观察到某些心情可以在模型通常坚持无私选用或在游戏前期才驳回协作战略的情形中诱导协作行为。例如，他们发现由恐怖和愤怒驱动的LLM代理在游戏序列的早期顺应了交替形式，这在性别之战游戏中是最优的。这种顺应使代理取得的总报答高于那些没无心情提醒的代理。这标明在特定的战略设置中，LLM与人类代理互动时，为LLM注入适宜的心情形态可以参与最优协作行为的或者性。

这提出了一个疑问，关于钻研心情LLM代理来说，哪种结果最有益：取得更高的变同性和或者改善与人类行为的分歧性，还是成功实际上的最优方法。但是一个理想十分清楚：人类的心情体验客观上是高度变动的，而且即使在没有诱导心情的状况下，人类行为也是次优的。

最后他们评价了GPT-3.5和GPT-4模型以评价它们与人类行为的分歧性，并留意到它们在各种参数上的性能差异。他们发现GPT-4通常更分歧地取得更大的报答，无论驳回哪种战略。这在讨价讨价游戏中尤其清楚，即使在诱导心情时，模型也体现出分歧的行为。相比之下，心情和战略清楚影响了GPT-3.5的结果。

最后观察LLM代理在不同义务中的行为，他们留意到GPT-3.5对心情提醒的反响更敏感，并在心情、战略和其余参数上显示出成见的结果。GPT-4的体现清楚更持重，特意是在讨价讨价义务中，简直理想的偏心性简直不受少数心情的成见。他们可以说，在经济钻研的模拟中，GPT-3.5具备更大的人类分歧性，因此更适宜模拟行为博弈实际的试验，特意是在讨价讨价游戏中。相反，GPT-4或者由于与人类反应的宽泛强化学习，具备更大的偏心性、更优的偏差和对心情提醒的持重性，正如前面的作品中提到的。虽然不是齐全理性的代理，GPT-4的人类分歧性较低。

论断

他们留意到现有基于LLM的人类行为模拟关键关注理性代理，并且在很大水平上疏忽了心情的作用，这是人类决策中的一个关键要素。他们提出了一个陈腐的框架（图2），在战略设置中引入了特意提醒的LLM的心情代理。源代码将在双盲同行评审后地下。因此可以启动片面剖析LLM的决策环节，并启动与人类分歧的行为试验。

他们的剖析提醒了GPT-3.5模型在讨价讨价游戏中体现出与人类代理的清楚心情分歧性，超越了更先进的GPT-4。值得留意的是，愤怒作为一个清楚的决策影响心情，分歧地剧烈影响各种游戏中的战略选用。这是他们的外围发现之一，虽然OpenAI的GPT-4具备超人类的分歧性，但它依然远未解脱人类决策中的固有成见，特意是由心情惹起的。与人类代理相似，GPT-4或者会遭到愤怒的清楚影响，因此与漫威宇宙中的浩克角色相似。GPT-4体现得像一个痴呆的迷信家做出理性选用，除非它失败于愤怒形态并冲破了自己的分歧性。

他们的发现标明，了解特定心情对LLM决策的影响使他们能够改良模型以更好地与人类行为分歧，并基于他们的模拟提出新的行为实际。他们留意到在实在的人类环境中，区专心情起源或者是具备应战性的，而LLM则容易导航这种区别。此外，他们验证了LLM作为行为钻研中有价值的工具，虽然须要细心处置潜在的限度。

在未来的上班中，他们旨在钻研将心情整合到LLM中的几个方面。有必要经常使用专有和开源模型验证他们的发现，包含或者对开源模型启动心情提醒的微调。为了片面钻研本文提出的心情分歧性疑问，须要启动宽泛的“人类与人类”和“人类与LLM”的试验。此外，的心情是作为提醒注入的静态的，而实在的心情总是灵活的，并受决策背景的影响。因此，钻研多代理方法对灵活心情及其对短期和常年视线中的战略互动的影响至关关键。

参考资料：​​ ​​ ​

本文转载自​​，作者：​​