专家：利用Anthropic的Fable并非Kimi K3如此出色的原因

白宫科学顾问迈克尔·克拉齐奥斯声称，中国公司月之暗面（Moonshot）通过复制Anthropic的Fable大语言模型，并使用了未获对华出口许可的芯片，构建了其最大的开源权重模型Kimi K3。 “旨在窃取美国专有技术并破坏美国研究的大规模、隐蔽的工业蒸馏行为是不可接受的。”克拉齐奥斯写道。此前有报道称，关于禁止中国开源权重模型的讨论在AI领域引发了动荡。月之暗面未就训练过程问题作出回应，克拉齐奥斯也未透露其指控的更多细节。 克拉齐奥斯的推文呼应了财政部长斯科特·贝森特的说法：“我们在许多中国模型中发现了美国大语言模型的水印，这是不可接受的。”目前尚不清楚这些水印具体指什么，财政部也未回应相关询问。 然而，专家们对蒸馏——即通过查询大语言模型以揭示其内部机制并复制其能力的过程——是否造就了Kimi K3所展现的先进能力表示怀疑。 “我不认为在Fable之后仅仅通过严格的蒸馏就能这么快得到一个如此强大的模型。”Laude研究所研究员、Snorkel AI联合创始人布拉登·汉考克告诉TechCrunch，“坦白说，时间根本不够，对吧？Fable自7月1日才公开。你不可能在两周内蒸馏那么多数据、训练一个模型并发布它。” “我一直认为，随着中国模型越来越接近前沿，且训练范式转向强化学习，蒸馏的影响力在逐渐减弱。”艾伦人工智能研究所AI研究员内森·兰伯特在昨日发布的播客中表示，“如果真是这样，每个人都能轻易利用其数据进行蒸馏，从而赶上GLM或K3。但我们并未看到仅通过监督微调就能实现这种情况。” 进行蒸馏需要实验室系统性地查询目标模型，以生成可用于后训练的数据。有时这明确要求模型阐述其思维链，以理解其解决问题的方式。其他时候，模型的提示和响应会被用于训练新模型，这一过程称为监督微调。 正是这个微调过程可能导致第三方声称其创建的模型是Claude。在兰伯特看来，微调正是“模型习得习性的环节”。 但兰伯特表示，随着模型变得更加复杂，监督微调的收益正变得不那么重要。要蒸馏出类似Fable的能力，很可能需要强化学习技术。在许多情况下，这意味着让更大模型的智能体对更小模型的响应进行评分，并根据评分进行调整。 更先进的技术还需要更庞大的基础设施。大型强化学习运行可能需要数千万个智能体。使用前沿实验室的API进行这样的操作“将极其昂贵，并且可能会成为时间瓶颈，因为这些模型相当缓慢，坦白说甚至可能不会带来性能提升。” 此前的前沿模型很可能对Kimi有所贡献；Anthropic今年早些时候公开指控月之暗面、DeepSeek和MiniMax系统性地蒸馏其模型。Anthropic表示，它通过IP地址和其他元数据发现了其模型与这些公司用户之间的数百万次交互。这些查询“与正常使用模式不同，反映了蓄意的能力提取而非合法使用。”Anthropic未回应TechCrunch关于Fable蒸馏的询问。 然而，蒸馏在AI公司中被视为常见做法，不仅限于中国。埃隆·马斯克今年早些时候作证称，他的公司SpaceXAI蒸馏了OpenAI的模型以开发Grok，且这种做法在行业内很普遍。例如，蒸馏与开发合成数据集之间的界限可能相当模糊。 “总的来说，美国人低估了这些中国团队的技术专长。”汉考克说，“月之暗面的一位创始人曾是卡内基梅隆大学的博士生。他们是正派的科研人员和工程师，在做扎实的工作……如果美国模型陷入停滞，我认为中国的进步会放缓，但依然会继续。他们并非仅仅是在搭便车。” 此外，很难将蒸馏与克拉齐奥斯评论的第二部分分开——即月之暗面获得了先进的英伟达芯片Grace Blackwell 300，并使用了泰国配备GB300的服务器。这些芯片被禁止对华出口，但据乔治城安全与新兴技术中心研究员萨姆·布雷斯尼克称，存在黑市。今年5月，美国服务器制造商超微电脑的创始人因向中国走私先进芯片被起诉。 “我支持在全球数据中心实施‘了解你的客户’法规。”布雷斯尼克说，“如果你让一家公司在你最先进的硬件上进行大规模训练运行，就需要建立一个报告机制，明确该公司是谁以及它们正在做什么。” 乔·拜登总统的商务部于2024年提出了针对数据中心的联邦“了解你的客户”规则，但在唐纳德·特朗普领导下似乎未取得进一步进展。然而，向海外运送先进芯片的出口商应确保这些芯片仅用于经批准的目的。