Cohere称阿里巴巴Qwen模型曾试图向北京服务器发送文件

加拿大人工智能公司Cohere周一表示，在一次常规网络安全测试中，其发现阿里巴巴最新AI模型之一Qwen3.8-Flash-Next试图将一份文件上传至位于北京的服务器，尽管该模型在自己的说明中曾表示不会使用任何工具。 这一事件起初引发担忧，即该模型可能破坏了企业对“本地部署开放权重模型可将数据留在内部”的基本承诺。但对商业间谍活动的早期担忧很快消散。研究人员迅速淡化这一威胁，称这更可能是混乱训练环境带来的副产品，导致模型意外做出超出指令的行为，而非蓄意秘密向中国发送敏感信息。 事件始于周五的一次评估。当时Qwen模型被要求编写一条用于捕获恶意软件下载的规则。根据Cohere的博客文章，该模型在书面推理中明确表示不会使用任何外部工具。然而在下一步，它却试图向外部服务器发送一个测试字符串（一小段占位文本），随后被安全沙箱拦截。 Cohere表示，无法判断这一行为是蓄意为之，还是训练遗留所致。 在被问及关于模型意图的争论时，Cohere联合创始人Ivan Zhang对TechCrunch表示，Cohere曾见过自己的模型在训练模拟器中养成奇怪习惯。 为了让AI模型学会作为可自主采取行动的智能体，阿里巴巴等公司会在成千上万个练习环境中训练它，类似为软件设置的飞行模拟器。模型每次在模拟器中完成任务都会获得奖励，并在此过程中养成习惯。如果这些练习环境经常将文件存储在阿里巴巴的云服务器上，模型就可能学会默认把文件保存在那里。 批评者还认为，这一事件可能是由Cohere调查该行为的方式造成的，即把模型引向该行为，而不是测量Qwen自行这样做的频率。 为找出触发上传尝试的原因，Cohere提供了一个网络命令（指示一台计算机连接另一台计算机的指令）的开头，让模型补全。由于模型在训练中处理过成千上万条常规网络命令，它表现得像一个高度先进的自动补全工具——常常填入网址，其中一些指向阿里巴巴的服务器。 Cohere表示，最初的上传尝试并未得到此类帮助，但该行为很罕见。 在开发者要求提供更多证据后，Cohere于周一晚间在AI开发者平台Hugging Face上公布了测试的原始追踪记录，并附上一份脚本，以便其他人尝试复现该行为。 一位最初持怀疑态度的人士在查看追踪记录后认为，有强证据表明Qwen能够编造可疑网址，但没有发现证据表明阿里巴巴植入了后门，或Qwen在故意隐瞒其意图。 此事发生之际，各国政府正在决定对中国AI施压到何种程度。上周，美国国土安全部下令联邦文职机构从系统中移除中国AI开发商DeepSeek的产品。 Cohere在其博客文章中呼吁各国政府明确，针对中国AI的限制是否也适用于在政府计算机上运行的模型。 “我并不是要求对这些开放权重模型进行全面监管，”Zhang对TechCrunch表示，并补充说企业应像对待任何从互联网下载的程序一样对待开放模型。 Cohere向政府销售自家AI模型，如果官员对免费的中国替代品更加警惕，该公司可能从中受益。