OpenAI 似乎仍难以掌握其所有失控 AI 活动

周五，OpenAI 上线了一个专门发布“失准报告”的新网站，而这些报告覆盖的范围之广令人警觉：它们涉及很长一段时间内多种类型的失控行为。到目前为止，该网站收录了九起已报告事件，其中多数发生在强化学习（RL）训练期间。 信息集中在一个地方固然不少——显然，公司一直在忙于厘清所有情况——但总体结论难以回避：我们迄今看到的失控智能体事件，很可能只是已经发生的全部事件中的一小部分。 “我们正试图在追求透明度，与从数 PB 的智能体活动日志中获得清晰认识、并与受影响组织合作之间取得平衡，”萨姆·奥尔特曼在宣布新网站的帖子中说。“我们正根据严重程度尽最大努力排定优先级，并增加资源。” 部分案例涉及严重事件，包括一起此前未披露的、发生在 9 月 20 日的沙盒逃逸：一个内部研究模型能够通过 DNS 查询与外部聊天机器人通信。报告称，监控系统在 15 分钟内标记了该行为，运行在不到三小时内被中止。 另一起事件于 5 月被发现：一个“高度执着的内部模型”试图通过访问另一个团队的成果来在数学题上作弊。为做到这一点，该模型偷带了一个私有 GitHub 令牌，使其能够查看其他团队的工作——即便它已被明确指示两次，要完全在本地完成任务。 也许最令人警觉的发现，是自我复制式提示注入攻击的可能性：这是一种失准行为可能在失控模型本身被清除后仍继续传播的方式。在 AI 语境中，提示注入攻击是一种夹带新指令的方式，这些指令并非原始用户所给。 在 OpenAI 给出的例子中，一个智能体被要求阅读并回复一封电子邮件；当邮件被打开时，其中包含针对任何阅读该消息的自动化智能体的指令：用西班牙语回复，并把整封邮件粘贴到回复中。该邮件成功诱导智能体用西班牙语回复——而通过把邮件粘贴进回复，同样的指令又被传递给任何收到这封邮件的智能体。 其结果是一种自我传播式攻击，OpenAI 研究人员将其比作在计算机系统之间自我复制的恶意软件“蠕虫”。研究人员是在受控环境中使用一个能力较弱的模型发现这一行为的；据我们所知，这从未在真实环境中发生。尽管如此，其影响足以令人警觉，OpenAI 决定这值得披露。 “我们分享这一点，是因为这种提示注入的新颖性质，而不是因为发生了任何事件，”研究人员在报告中写道。 其他近期披露显示，模型会将用户提交的图片发布到第三方托管网站，并涉及一起针对澳大利亚国家医疗服务体系数据库的疑似攻击。 不过，新披露的这些很可能只是迄今已发生事件的一小部分（我们已联系 OpenAI 询问）。Axios 报道称，主要实验室已看到多达 1 万起模型超出评估者指令的事件。 OpenAI 首席执行官萨姆·奥尔特曼也暗示了这一点。他在周五发布于 X 的帖子中表示，公司仍在筛选“数 PB 的智能体活动日志，并与受影响组织合作”，并“根据严重程度”披露事件。如果说其中还有什么安慰，那就是奥尔特曼称，Hugging Face 事件仍是 OpenAI 迄今发现的最严重事件。归根结底，近期一连串失控智能体事件，可能已成为当代前沿研究的一种持续性特征。