AI护栏如何阻碍攻击性网络安全研究人员的工作

数月以来，AI巨头们设计了专门的审查程序和严格的护栏，以限制恶意黑客对其模型的使用。然而，这些限制如今正阻碍合法网络防御者以及攻击性网络安全研究人员的工作。 今年6月，美国政府针对Anthropic备受瞩目的AI模型Mythos和Fable实施了出口管制限制。此举至少部分源于一份报告，该报告称有可能绕过模型原本为防止用户利用其构建和执行恶意网络攻击而设置的护栏。 无论该事件是否真的源于对越狱风险的担忧，事实是Anthropic曾多次将Mythos营销为某种末日网络武器，只能交给经过严格审查的用户，且即使如此，也需设置严格的护栏。（对Fable 5和Mythos 5的出口管制现已解除。Fable 5于7月1日恢复公众访问；Mythos 5仅重新面向经过审查的美国组织，作为政府审查流程的一部分。） 这种设限并非Mythos独有。Anthropic的其他模型以及OpenAI均提供网络安全研究人员项目，研究者可申请审查，获批后即可访问网络安全限制较少的模型：即OpenAI的“可信网络安全访问”和Anthropic的“网络验证项目”。 这些护栏广受批评，尤其来自那些工作内容是在系统中发现未知漏洞并抢在犯罪分子之前设计利用方法的研究人员。 在最近一次网络安全播客节目中，知名安全研究员Mark Dowd表示：“让这些随机的巨头公司任意决定什么是安全领域的‘安全’、什么不是，这让我很不舒服。” Dowd从事“零日漏洞”的发现与销售工作已有数十年——即向西方政府出售此前未知的软件缺陷及其利用方法，而非报告给软件制造商进行修补。政府之所以为漏洞支付溢价，正是因为漏洞保持开放状态对情报行动有用。 Dowd承认他的工作可能让他带有偏见，但他并非孤例。多位从事攻击性网络安全工作——即主动探测系统弱点——的人向TechCrunch描述了他们如何使用AI工具以及如何应对其护栏。 安全咨询巨头NCC Group的首席科学家Chris Anley表示，让AI模型尝试利用某个漏洞是确认其是否为真正值得修复的漏洞的关键步骤。但他指出，如果护栏导致模型直接拒绝回答问题，那就会损害防御者的利益。 “这就是整个攻击与防御以及护栏的交汇点，因为‘修复此代码’这一提示既是防御的基本机制，也是寻找代码库中关键漏洞的路线图，”Anley说，“因此，同一工具既是攻击工具也是防御工具，这两者根本无法剥离。” “就像一把锤子，”他继续说道，“没有锤子就盖不了房子。它绝对是工具，但也不可避免地是武器。” 当他和同事遇到此类障碍时，有时会转而使用毫无护栏的开源AI模型。 知名公司CrowdFense的首席技术官Paolo Stagno——该公司专为政府机构开发、获取和出售未知漏洞——同意Dowd的观点，称AI公司“本质上把客户当成需要保姆的孩子”，以其审查程序和护栏加以约束。 Stagno表示他和同事们确实使用前沿模型——但仅用于逆向工程。他说他们避免使用AI来发现漏洞或构建利用代码，因为将此类工作输入基于云的模型存在泄露敏感漏洞数据或被吸收进未来训练运行的风险。对于该步骤，他们说使用本地运行的开源模型，因为这些模型不依赖在模型外部共享数据。 寻找零日漏洞并开发利用代码的安全研究员Giuseppe Cali表示，护栏并未阻碍他的工作。这是因为他不将AI用于攻击性工作，而是用于初始逆向工程，以理解所分析的代码并构建辅助工具。他说，AI工具可以加快进程，让他专注于发现漏洞。 “我依然希望自己拥有实际的漏洞发现和武器化过程，即使明天所有护栏都取消，我也不会改变，”Cali说，“我珍视自己的漏洞，而且太喜欢这个游戏了，不想让模型替我玩。” 一家智能手机组件制造商的研究员（因未获授权与媒体交谈而要求匿名）表示，其雇主未加入Anthropic的CVP项目，因此Anthropic的工具几乎无法用于发现漏洞，因为护栏过于严格。 “只要它嗅到我们在做任何与安全相关的事情，就会直接停止，变得无法使用，”该人士说。 网络安全公司RemoteThreat首席执行官兼攻击性安全与AI活动Offensive AI Con创始人Chris Thompson表示，根据他使用前沿AI模型的经验，护栏可能不一致，且每天运行方式不同。即使在Anthropic和OpenAI审查程序的较宽松边界内也是如此。 “我认为实际影响是你会花大量时间与模型交涉，而不是专注于核心安全项目，”Thompson说，“不是分析漏洞并推理其可利用性，而是试图找出为何得到不一致的结果，或者模型为何过度清理输出。” 结果，研究人员只能依赖于或被推向中国的开源模型，如GLM——这些模型可免费下载，本地运行，无需审查或使用限制——Thompson说。 “这些负责任的研究人员正被从美国管辖的系统推向外国系统，”他说，“我认为设置这些护栏弊大于利。” Thompson呼吁AI前沿实验室不要再收紧限制，而是开放其项目，提供负责任的访问，并追究滥用工具者的责任。否则，他认为防御者将在AI竞赛中落败。 “一场大风暴即将来临。即将出现一波速度与规模空前的攻击浪潮，”Thompson说，“但那些试图改变局面的安全咨询公司和合法研究人员此刻却正受到压制。”