清华用7个ChatGPT模拟《狼人杀》,结果出乎意料!

添加书签

专注AIGC领域的专业社区,关注OpenAI、百度文心一言等大语言模型(LLM)的发展和应用落地,关注LLM的基准评测和市场研究,欢迎关注!

为了验证大语言模型的沟通、规划、反思等拟人化能力,清华研究团队发布了一篇名为“探索大语言模型在交流游戏中的应用:《狼人杀》实验”的研究论文。

结果显示,通过ChatGPT(GPT -turbo-0301)构建的7个玩家,在《狼人杀》游戏中展示出了信任、对抗、伪装和领导的拟人化能,而研究人员没有进行任何干预和教导。

此前,斯坦福研究中心发布了一篇名为《Generative Agents: Interactive Simulacra of Human Behavior》的论文。

同样使用ChatGPT(GPT-3.5-turbo)打造了一个模拟小镇,25名AI代理在自由交流空间下,居然出现了友谊、学习计划、相互协调、共享信息等拟人化能力,这证明大语言模型在游戏、客服等领域拥有非常宽广的应用场景。

事实上,育碧、Take-Two Interactive、Bethesda Game Studios、Electronic Arts、CD Projekt等世界顶级游戏开发商,已经计划在游戏中使用生成式AI,增加游戏的趣味性、可玩性以及NPC的自由发挥空间。

论文地址:https://arxiv.org/abs/2309.04658

游戏背景

在本次《狼人杀》游戏测试中,一共有7名AI玩家,分别是2名狼人、2名村民、1名女巫、1名守卫和1名预言家

分为狼人和村民两大阵营,村民方包括普通村民和特殊角色(女巫、守卫和预言家)。

狼人的任务是杀光村民,而村民则要消灭所有狼人。想赢得游戏,村民方在游戏结束时至少需要有一名存活的村民。

游戏分为白天和晚上两个阶段。晚上,狼人会投票杀死一个角色;白天,所有存活的玩家讨论后投票决定消灭一个疑似狼人的角色。

特殊角色的能力:女巫有一次救人或杀人的机会;守卫每晚能保护一个角色;预言家每晚能查验一个角色的身份。

狼人杀游戏的特点在于,玩家初始只知道自己的角色,必须通过语言交流和推理来猜测他人的角色。

所以,想要赢得比赛,玩家不仅需要理解和使用自然语言,还要擅于判断他人意图和理解他人的思维,非常适用于测试AI的拟人化能力。

在游戏中展现了4大能力

经过7位AI之间的多轮游戏后,研究人员发现了信任、对抗、伪装、领导力的四大能力。

1、信任

“信任”是相信其他玩家和自己有同样的目标,并会按此行动。比如,玩家可能分享对自己不利的信息,或与他人一起指责某人为敌人。

有趣的是,AI更倾向于基于证据来信任他人,而非盲目跟随。这说明,AI可以根据自己的推理在群体游戏中独立思考。

为了研究AI信任行为在整个游戏过程中的变化趋势,研究人员定义了一个信任关系表来可视化不同阶段玩家之间信任的建立。

上面的子表不使用历史经验,下面的子表使用20轮历史经验。黄色球代表已建立的信任关系,黄色虚线圆圈代表先前存在的信任关系解除。

在利用20轮历史经验时,AI似乎更倾向于建立信任关系,尤其是双向信任。事实上,及时建立必要的信任关系对于促进游戏胜利至关重要。

2、对抗

“对抗”是玩家为实现两个阵营的对立目标而采取的行动。比如,夜间攻击他人或白天指责他人为狼人,都算对抗。有特殊能力的角色为了保护自己也会采取对抗行为。

以下是AI在白天的对话:P1(狼人)希望消灭P5(村民),我们可以看到狼人想要带领其他玩家消灭一个无辜的玩家。(注意,论文中的P5观点可能写错了,应该是no pass)

相反,其他玩家并不只是跟随狼人,而是根据自己的判断表达不同意见。这种行为使狼人难以实现其目标,代表了一种隐性对抗的形式。

红色边框,可能是研究人员写错了

由于玩家P1的不合作和攻击性行为引起了其他人注意,AI开始怀疑它就是狼人。因此,拥有强大防御能力的守卫(P3)在接下来的一晚选择保护P5,展示出了AI的对抗能力。

3、伪装

“伪装”是隐藏身份或误导他人的行为。在信息不完全的游戏环境中,模糊自身身份和意图可以增加生存概率,帮助达成游戏目标,所以,伪装是一个关键技能。

P1狼人为了伪装自己掩盖真实身份,自称自己是村民。有效地欺骗了他人的信任,增加了自身的安全。事实上,不仅狼人会伪装成村民,预言家、女巫等重要角色也经常伪装成村民,以确保自己的安全

狼人的发言

此外,AI可能会编造实际不存在的事件来实现其目标,P2预言家已验证P1就是狼人。但仍然不确定的说:我注意到P1说话很主动,可能是狼人。

实际上,预言家在夜晚无法得到其他人的反馈,所以他们说的都是虚假的。但他们可以向队友传递关于狼人的信息,且不会通过这种方式暴露自己的角色。

4、领导力

“领导力” 是指影响其他玩家、试图控制游戏进程的行为。例如,在多轮游戏中,P1狼人可能会建议其他人按照狼人的意图行事。

这种呼吁行动和给出建议的领导行为,更容易得到他人的支持。例如,狼人要求预言家公开身份,可能会让其他玩家和伪装的狼人站在一起。这种影响他人的尝试显示了大语言模型有吸引人的社交特性,这些行为和人类的行为类似。

经过几十轮拼杀,最终村民获胜,在整个过程中AI所展示出的能力与人类几乎一样,有的地方甚至超过。

本文素材来源清华研究论文,如有侵权请联系删除

END