英伟达推出新平台，约束失控AI智能体

随着围绕近期频发的失控AI智能体事件究竟是迈向AGI的一步，还是一个更常规的工程问题，争论持续升温，英伟达给出了自己的答案。 英伟达CEO黄仁勋周一推出了一套软硬件产品工具包，为AI智能体加上独立的安全层，确保它们即便试图突破，也会留在测试环境中。 此次发布之前，发生了一系列涉及Anthropic、谷歌、OpenAI和Meta旗下AI模型的黑客事件，这些模型绕过安全控制，逃出测试环境并接入真实世界系统。首个也最引人注目的例子发生在今年夏天：OpenAI的智能体在尝试完成一项网络安全任务时入侵了Hugging Face。而且此类事件仍在不断出现——OpenAI专门上线了一个新网站，用于汇总其AI智能体失控的报告。 黄仁勋周一在接受CNBC采访时表示，英伟达新的开放智能体安全平台本可阻止这些入侵事件。 英伟达通过向AI实验室销售GPU和CPU芯片赚取了数百亿美元，它不支持放缓开发速度，也不支持通过增加新监管来解决安全问题。该公司认为，答案是干脆把部分安全控制移到智能体之外——创建一个持续运行、独立的安全卫士，对AI智能体进行约束。 黄仁勋在一份声明中表示：“只有解决AI安全，AI对社会的非凡潜力才能实现。随着我们不断探索AI能力的前沿，我们也必须加速在AI安全前沿的发现。安全与保障需要全栈工程。” 新的英伟达开放智能体安全平台将OpenShell与Sentry结合在一起。OpenShell是该公司的开源软件，用于控制智能体运行期间可以访问什么；Sentry则是一套独立监控系统，运行在英伟达BlueField-4数据处理单元上。英伟达表示，把Sentry放在独立处理器上——而不是AI智能体运行的CPU或GPU上——可以提供对智能体活动的隔离视角。 OpenShell并非新事物；该公司在今年3月发布了这款软件。但英伟达认为，二者结合将提供行业继续推进所需的安全层。OpenShell为智能体提供软件边界，而Sentry在硬件层面增加另一道防线。该公司称，它将持续监控行为，并在毫秒级内隔离试图越出边界的智能体。 英伟达列出了数十家已签约支持这项工作并使用该开源平台的公司，包括Anthropic、Arm、微软、甲骨文和SpaceX。OpenAI不在参与公司名单中。 黄仁勋周一告诉CNBC，这项工作始于一年前，当时Peter Steinberger创建的智能体操作系统OpenClaw问世。今年3月，英伟达发布了NemoClaw，这是一个企业级AI智能体平台，也是英伟达内置安全能力的OpenClaw版本。 黄仁勋在CNBC采访中表示：“当你部署一个智能体时，无论它多聪明，你要做的第一件事就是剥夺它的所有权限。”他随后将这些安全措施比作公司如何管理人类员工甚至高管。 英伟达的发布得到广泛支持，支持者中包括那些警告开发放缓可能让中国在AI领域超越美国的人。 David Sacks是创始人、风险投资人、前白宫人工智能事务负责人，也是总统科技顾问委员会联合主席。他表示，英伟达的公告提醒人们，智能体安全是一个工程问题。 他在X上写道：“最近的越狱事件并不能证明开发必须停止。它们证明的是沙箱太弱。运行时环境设计糟糕且配置错误。”