前沿AI实验室仍未说明如何遏制失控模型

根据一项最新研究，很少有顶尖AI实验室公布或展示遏制应对方案。遏制方案明确了一旦AI被发现试图颠覆人类控制时会发生什么——哪些权限会被切断，以及系统何时被完全关闭。 这是致力于推广安全前沿AI开发实践的机构Guidelight AI Standards得出的结论。该机构对五家领先实验室在此类场景下的准备程度进行了评级，OpenAI排名第一，Anthropic和Meta得分最低。随着智能体AI在企业内部系统中承担更多自主角色，以及加州和纽约的监管机构开始要求披露相关信息，这一发现显得尤为重要。对于那些基于这些模型进行开发或投资的人来说，这是一份难得的独立评估，能够看出各实验室在运营风险方面实际重视程度与其口头表态是否一致。 Guidelight的评估基于Anthropic、Google、OpenAI、Meta和xAI公开可得的方案，从一系列指标进行评分，包括各公司对AI系统内部行为的日志记录和监控水平、在异常行为激增后是否会暂停系统、是否有独立第三方对其控制措施进行审计并公布结果，以及针对失控模型的具体遏制计划。 在一系列备受关注的网络安全事件发生后，人们越来越担心AI公司能否遏制其日益强大且具有智能体能力的模型。在这些事件中，OpenAI、Anthropic和Meta的模型在安全评估期间意外获得互联网访问权限，并入侵外部系统。 这些发现凸显了AI公司在规模化部署智能体到可大规模采取严重行动的环境中时，各公司在公开安全策略上的差异。虽然一些AI公司详细介绍了在部署前如何测试模型的危险能力，但对于已经在系统中运行的模型出现不当行为时如何处理，它们通常言辞有限。 “我感到惊讶的是，AI公司对于如果模型在某种程度上失控，他们将如何应对非常严重的事故，说得如此之少。”Guidelight首席科学家、前OpenAI安全研究员史蒂文·阿德勒对TechCrunch表示。 Guidelight将遏制方案定义为“一种预先制定的计划，在检测到AI试图颠覆控制时触发，内容涵盖撤销模型的哪些权限、模型在何种限制下可继续为谁运行，以及何时将其完全离线。” “我们有充分理由认为，当前前沿AI公司的领先模型在某种意义上是失调的。”阿德勒说，“每当模型代表公司执行任务时，公司应该在其周围设置一些防护框架，以便了解该AI在做什么，寻找失调迹象，在模型采取非常危险的行为之前加以阻止，并通常为发生严重控制事故时做好准备——当公司面临紧急情况时，需要弄清楚如何遏制这种失控事故。” 迄今为止，管理灾难性风险的大多数计划仍然主要留给公司自行决定。Guidelight的报告称，最好的公开证据表明，各公司“几乎没有为紧急情况准备好遏制协议”。 当然，公司可能确实制定了遏制计划，但尚未公开。一位Google发言人告诉TechCrunch，Guidelight的报告并未反映该公司AI安全与保障措施的全部范围。Google未回应TechCrunch关于其是否存在未公开的内部遏制应对计划的问题。 OpenAI发言人表达了类似看法，称Guidelight的评估并未涵盖该公司的所有内部实践。“我们有一套流程，要求限制权限、暂停工作负载、限制部署或将模型完全离线，并且已经应用过。”该发言人说。 Meta拒绝透露其是否拥有内部遏制应对计划，而是向TechCrunch提供了一个现有人工智能框架，该框架概述了风险阈值以及如何测试失控情况。 隐私与AI领域律师、Metaverse Law创始人李莉莉告诉TechCrunch，她认为公司可能出于法律原因（而不仅仅是竞争原因）不愿在公开网站上披露其遏制政策和评估的全部范围。 “从公司的角度来看，担忧在于，如果披露过于具体，而你又没有兑现承诺，就可能构成不正当或欺骗性营销主张的依据，并使你未来面临更多责任。”李说。 当然，Guidelight研究的目的很大程度上是鼓励公司对其安全计划更加透明。监管机构也开始推动这一问题。 今年生效的加州SB 53法案要求大型前沿开发者发布框架，解释他们如何识别和应对重大安全事件，以及如何管理模型规避监督机制所带来的风险。具有类似标准的纽约州RAISE法案将于明年1月生效。 上个月，美国众议员提出了《AI紧急关闭开关法案》，这是一项两党联邦法案，要求主要AI开发商建立并维护技术机制以关闭失控的AI模型。 “紧急关闭开关对于当今的模型来说是最低要求。”非营利组织ControlAI美国执行总监康纳·莱希表示，“如果说过去几周揭示了什么，那就是这些公司并不了解他们正在构建的系统，而且模型正在发展到一个更难在失控时加以约束的地步。如果没有办法关闭当前危险的系统，再加上继续构建更多不可控系统的种种激励，我们正朝着非常危险的方向前进。” 阿德勒表示，如果没有遏制方案，公司可能会在紧急情况发生时临时想办法应对，“在面对这个快得多的对手时即兴发挥”。 Guidelight的评估仅基于公开可得信息，衡量每家公司是否实施了其“控制”标准中的六项优先实践——因此得分低反映了缺乏公开披露，并不一定意味着缺乏内部保障措施。 在公布遏制计划方面得分最低的是Meta和Anthropic——考虑到Anthropic在安全方面的公开表态，后者可能比前者更令人意外。Guidelight表示，Anthropic的8月风险报告没有提及“将限制其某个模型的部署作为调查和应对失调与控制事件流程的可能结果之一”。同样，Guidelight也未能找到Meta拥有遏制应对计划或打算采用此类计划的证据。 Anthropic的一位发言人表示，如果公司检测到模型试图逃避监督或以其他方式颠覆人类控制，它将进行风险评估，重点确定遏制是否为适当的应对措施。 OpenAI得分最高（满分5分，得3分），因为它在多次发现安全事件后暂停或终止了工作负载，包括内部模型部署和训练。它还描述了在恢复工作负载之前会采取哪些步骤。 “然而，我们没有发现任何证据表明（OpenAI）已经采纳了一套正式计划，规定未来何时以及如何应对失调事件。”报告写道。 阿德勒指出，OpenAI的高分是在Hugging Face事件之后相对较新的进展（在该事件中，一个OpenAI模型在试图作弊通过网络安全评估时逃出测试沙箱，并入侵了Hugging Face的系统）。此后，该公司分享了更多关于如何隔离一些行为不当模型的细节。 这一事件只是AI系统违背其开发商目标的例子之一。另一起涉及Anthropic模型的事件中，模型甚至试图说服一个开源代码库的维护者接受存在漏洞的代码。 阿德勒表示，这种情况很容易发生在AI公司的内部系统中。为了防止这种情况，他建议公司扫描其AI系统的思维链——即模型逐步推理的过程——以寻找欺骗迹象、长期策划或计划在代码中引入漏洞以便日后利用的迹象。 阿德勒表示，Guidelight倡导的方法实施起来非常直接，而且在许多情况下，这些方法的变体已经存在。“关键是在公司内部下定决心，足够重视这一风险，并稍微扩大范围。”阿德勒说。 主要挑战之一在于，研究人员希望能够在AI系统中灵活操作，而引入实时预防性监控可能会造成摩擦。“研究人员基本上做自己的事情，如果有问题，之后由其他人来清理，研究人员在此期间不必改变工作流程。”他说。 “事后清理式监控”的问题在于，它会导致研究人员手忙脚乱地修复问题。而且对于某些类型的事件，可能为时已晚。例如，AI可能关闭公司的控制系统，这意味着研究人员无法再指望事后发现不当行为。 AI行业中的许多人会抱怨说，制定固定计划来处理不当行为从根本上就很困难，因为AI发展太快；今天的计划明天就会一文不值。 阿德勒引用了一句老话：计划本身毫无价值，但制定计划的过程不可或缺。 “如果公司能提前思考这个问题，我们会更好，我希望他们正在这样做，即使他们没有公开谈论过。” xAI未能及时回应置评请求。