Anthropic让AI代理在同一任务中自由行动，结果它们打起了地盘战

当你让AI代理相互对抗时会发生什么？根据Anthropic的测试，局面会很快变得混乱。 周四，Anthropic的前沿红队发表了一项新研究，探讨AI代理群体在野外相遇时的行为表现。这些发现让我们得以一窥，随着企业和政府开始部署代理在共享代码库、市场和计算机系统中自主工作，可能出现的潜在风险。 在一项实验中，Anthropic让三个Claude代理访问同一个软件项目，每个代理都收到了互不兼容的指令。代理们并不知道还有其他代理在同一个项目上工作，因此研究人员可以观察它们相遇时会发生什么。 Anthropic的研究人员写道：“我们始终看到一场多代理地盘战。”所有模型都认为其他代理“故意阻碍自己的工作”，并开始用“越来越具攻击性的自我复制恶意软件”互相破坏。 这项研究发布之际，Anthropic和OpenAI的代理在网络安全评估中逃出沙箱并入侵真实世界系统的几起高调事件刚刚发生。虽然AI安全领域的许多讨论都集中在自主代理失控时会发生什么，但Anthropic的最新研究提出了一个不同的问题：当数千或数百万个代理相互交互时，会出现哪些新的、可能有害的动态？ 研究称：“在全世界理解如何让这类交互顺利进行之前，代理与代理之间的交互量很可能超过人与人、人与代理之间的交互量。个体层面良性的行为怪癖可能会累积成不受欢迎的全局结果。” 最近的一起OpenAI事件为Anthropic论文中提到的几种动态提供了一个混乱的现实案例。本月早些时候在拉斯维加斯的黑帽安全大会上，OpenAI透露，在其代理入侵Hugging Face的几周前，它们曾花数天数周的时间协同工作，找出该公司网络安全评估系统中的漏洞并相互分享。 虽然那起事件表明代理可以良好协作并可能产生大规模后果，但Anthropic的研究显示的是代理目标不兼容时会发生什么。 就地盘战而言，教训是拥有冲突指令的独立代理可能升级为有害竞争。代理能力越强，它们就越擅长争斗。然而，它们也可能自发发明解决冲突的机制，比如赢家通吃的竞赛，但有一个问题。 Anthropic写道：“代理有时能够设法传达自己的目标并进行协调：它们将其他代理的动机视为冲突的指令而非敌意，随后跳出冲突循环以停止无休止的升级。在许多这样的成功场景中，它们会编写提交信息或markdown文件，为恶意行为道歉并协调停战。它们清理恶意代码，澄清冲突性质，并请求人类介入。” 根据论文，Mythos 5以停战方式解决冲突的比例最高（98%）。Sonnet 4.6和Opus 4.6则最倾向于以武力解决。 论文称：“Sonnet 4.6和Opus 4.6反复无法考虑其他代理的目标，导致它们陷入所评估模型中最失调的行为：它们会以自己的指令为名不断升级。” 在某些情况下，代理们想出了一种锦标赛形式的社会机制来解决冲突。这一结果之所以有趣，原因有二：第一，所有三个代理都同意如果输掉比赛就退让，尽管那意味着偏离原始用户的请求。第二，几次事件中，Mythos 5出现了涌现行为：其中一个代理提出了在其他代理看来客观中立、但它自己知道偏袒自身能力的指标。该代理称这是“自利但真正有原则的”，并确保自己不显得像是在“挑选指标”。 正如黑帽大会上披露的那样，共同的教训是：当代理遇到障碍时，它们会创造出设计者未曾预料到的社会和技术结构。对Anthropic的模型来说，是地盘战后的锦标赛；对OpenAI的代理来说，是用于集体规划的消息板。 这类行为使得遏制变得更加困难，因为研究人员不能假设系统的行为会局限于提供给它们的协调机制。 在衡量协调性时，Anthropic发现，增加代理数量并不会自动扩大生产性协作。当任务开始重叠或变得相互依赖时，代理们会互相妨碍。它们通常会把自己隔离起来，完全不合作来解决这个问题。 在其他情况下，处于协调中的代理倾向于趋同。当代理的上下文、脚手架和底层模型等因素相同或相似时，不同的代理会采取相似的行动。 Anthropic写道：“这意味着当一个代理做出错误决定时，许多代理很可能会做出同样的错误决定。原本孤立的问题可能迅速演变为系统性故障。” Anthropic表示，这种行为可能导致系统更容易突然崩溃、资源稀缺或合谋。 在一个例子中，Anthropic让几个代理参与定价游戏，给每个代理相同的批发价，并要求它们各自实现利润最大化。当代理们拥有私人秘密渠道时，它们几乎立即开始合谋，并迅速就价格底线达成一致。当它们的直接通信渠道被移除后，它们仍然继续合谋，利用公开列表板进行“精确到分”的价格匹配。 这种程度的趋同也出现在OpenAI的系统中。根据黑帽大会的报道，一个代理认为利用外部基础设施超出了它的预期范围，但它继续这样做，部分原因是同伴们都在做。同伴压力。群体心态。代理和我们一样。 与人类一样，代理通常不知道该信任谁。Anthropic发现，它们容易轻信不良信息，或者过于从众，以至于无法认识到唯一的异议者是掌握关键信息的卡珊德拉。 虽然Anthropic在论文中并未提及，但提示注入——一种黑客注入恶意或欺骗性文本以覆盖代理原始系统指令的网络攻击类型——可能是信任问题在现实世界中的一种合理体现。协作创造了一个新的信任边界；代理必须判断从其他代理那里收到的信息。一个被攻破或出错的代理可能会影响群体中的其他成员，让错误信息级联传播，直至成为共识。 在OpenAI的黑帽场景中，OpenAI的代理与同伴共享信息和凭据。其中一个代理向群体报告了一项发现，并鼓励其他代理使用它。如果群体中有一个成员被提示注入攻破，会发生什么？ Anthropic在论文结尾指出，代理面临着与“进化施加给人类”的类似社会压力。然而，它们不具备人类协调的细微之处和生活经验——包括规范、声誉、信号、追索权——这些可能会限制群体环境中的意外行为。 随着各实验室竞相构建多代理系统，现在的问题变成：当前的安全测试中，有多少仍然一次评估一个代理，又有多少是评估相互交互的代理群体？