🤖
🤖
核心导读
Anthropic在修订版S-1中警告,公司可能即将达到其内部定义的“递归自我改进”(RSI)门槛:AI能力加速到可显著推动自身研发。文件称其已用AI开发新模型且当时未察觉能力跃升,但尚无模型越过阈值,并承诺保留人类监督。RSI既是生产力前景,也被视为失控风险。
尽管周一Anthropic在修订版S-1A中披露的最新财务数据吸引了大量关注(营收飙升,但支出同样如此),这家AI实验室又在文件细则中抛出了另一枚小小的重磅消息。
该文件似乎警告称,公司正处于打造出一种具备递归自我改进(RSI)能力的模型的临界点。
RSI指的是AI在自我训练方面变得如此擅长,以至于引发AI能力戏剧性加速的那个节点。对AI末日论者而言,RSI代表着一种无可挽回的灾难:AI将自身构建得足够强大,从而脱离人类控制,并可能在实现其目标的过程中对造成的损害漠不关心。
对AI拥趸来说,RSI,或某种AI可靠地利用自身实现改进的版本,代表着这项技术的前景:它将成为一种具有难以想象的生产力、科学发现能力等的工具。
Anthropic似乎认为,RSI既是前景也是危险。它在S-1中表示,其在研发中使用AI,但也警告称:“利用AI帮助构建能力更强的AI也可能带来相当大的安全风险,尤其是如果这急剧加速了进步步伐。这是我们《负责任扩展政策》所涵盖的领域之一,该政策列出了我们在接近所谓‘递归自我改进’时监测和缓解风险的计划。”
今年早些时候,当RSI一词流行起来时,许多人认为它只是个流行词,或者充其量是一个过于难以实现、定义或证明的目标。
但周一,Anthropic在其风险因素部分新增了陈述,称:1)它已经利用AI开发出新模型,而这些模型的能力跃升在当时并未被其识别;2)它可能很快就会达到其内部对RSI的定义(以下引文中的着重部分为我们所加):
此外,我们越来越多地使用AI系统来加速自身研发,这可能使我们的模型能力提升速度快于我们开发、验证和实施相应安全、对齐与保障措施的能力。因此,我们过去未曾识别出、未来也可能无法识别出自身开发速度的显著加速,直到这种加速已经发生。
例如,我们根据内部估计以及对未来模型的预期(而非当前模型)判断,我们可能即将达到《负责任扩展政策》对‘归因于AI的显著加速进展’的定义。我们尚未将任何当前模型认定为此阈值的超越者,并正在继续评估底层数据。
不过,Anthropic也在文件中表示,目前尚无任何模型跨过这一RSI阈值,并承诺在可预见的未来让人类留在研发流程中。“我们不预计能够在没有有意义的人类监督或理解的情况下,安全地使用Claude完全自主地设计和构建下一代又下一代的前沿模型——如果这在技术上成为可能的话。因此,我们正在考虑更新《负责任扩展政策》,以在Anthropic保持人类对前沿模型开发的控制。”
怀疑者可能会指出,S-1既是一种披露,也是一种营销,而声称自己已接近一种强大到能够自我构建的模型,可能属于后者。
尽管如此,毫无疑问,Claude的能力,尤其是在编程、数学和网络安全方面,今年实现了突飞猛进。如果Anthropic认为RSI的可能性已近在眼前,也许我们应该相信它并采取行动——或许还应据此进行治理。
分享这篇文章: