Safeworld 能否让人们相信生成式 AI 机器人不会伤害他们？

机器人领域的一大趋势，是把控制权交给生成式 AI 模型，但这带来了一个问题：这种架构不像传统算法那样可预测。你如何确定自己全新的人形机器人会是安全的？ 卡内基梅隆大学安全 AI 实验室主任 Ding Zhao 博士几乎整个职业生涯都在研究这个问题。如今，他与资深创业公司高管 Kyle Wong 和机器学习工程师 Simo Rachidi 共同创立了 Safeworld，旨在解决这一难题。 “我们所说的安全挑战由两部分组成：一是真正先进的生成式 AI 概率评估——你如何为概率系统的风险承保？二是信任部分，而这非常困难。要部署机器人，两者缺一不可。”Zhao 说。 Safeworld 今天正式走出隐身状态，完成超过 1200 万美元的种子轮融资，由 Shine Capital 和 a16z Speedrun 领投，Box Group、卡内基梅隆大学捐赠基金、Innovation Endeavors 和 SV Angel 参投。 a16z Speedrun 合伙人 Jonathan Lai 对 TechCrunch 表示：“现在正是建立行业安全标准的时候，因为机器人正在被设计和部署。等到机器人进入家庭、撞到孩子并引发安全事故时，那就太晚了。” Safeworld 的专长是在充满逼真人类模型的仿真中评估机器人控制系统。这类似于特斯拉或 Wayve 等公司面临的挑战：它们必须确保车辆能对道路上可能遇到的各种意外事件做出恰当反应。但 Zhao 认为，对机器人来说这会更困难，因为它们在不结构化环境中工作，而且它们所在的每个设施都会有不同的安全标准。 “最常见的情形之一是，某个工厂里存在一个盲区，”Wong 说，“你需要以什么速度、什么制动距离，才能确保机器人不会撞到特定的人？比如，如果一个人抱着箱子，机器人会不会检测到这个人？” 为了回答这个问题，Safeworld 会在 Genesis 或 MuJoCo 等模型中构建那个拐角的数字版本，插入正在评估的机器人的仿真，并由其真实软件驱动，然后运行数千个人类模型遇见机器人的场景。据 Zhao 说，这比看起来更难，因为人的行为不可预测。 “绊倒和摔倒也是一个很好的例子，我们在仿真中会做大量这类测试，”Wong 说，“否则，你就得亲自去为机器人绊倒和摔倒，而这是一件很难一直做的事情。” Safeworld 正在构建的平台与机器人制造商内部使用的工具之间肯定有相似之处。然而，创始人们相信，除了他们的特定专业知识之外，机器人制造商也会希望由第三方来验证其工作，哪怕只是为了在竞争者之间共享安全案例信息。 “很多人低估了其中一些边缘案例会有多难解决，”Zhao 说，“我们担心的不是演示中孤立运行的机器人，而是大规模部署后、面对可能从未操作过机器人的人们的机器人。” Gritt Robotics 首席技术官 Vishal Dugar 正在为机器人开发 AI 大脑，这些机器人目前帮助工人在工业规模太阳能电站安装光伏板，并希望承担更复杂的建筑任务。他的公司正与 Safeworld 合作开发安全仿真。 “我们大多数系统的困难在于，很难通过做数学、写方程来形式化地证明，然后说‘没错，系统已验证是安全的’，”Dugar 说，“这必然只能通过经验性方式来完成。” 他的机器人与人类工人并肩工作，确保机械臂不会撞到人显然是首要考虑。要在实践中验证这一点，需要考虑各种潜在场景。 “人的外观多种多样，”Dugar 指出，“他们的身体可以处于不同姿态。可能跪着、站着，也可能绊倒、摔倒，可能蹲着，也可能奔跑。你必须对这些现场中人类可能表现出的所有行为做出响应，同时还要考虑人类外观的各种变化——衣服、体型、形状、身高、肤色，以及其他一切。” 对 Safeworld 和机器人领域的生成式 AI 来说，一切都还处于早期阶段，公司也仍在摸索其产品的最佳模式——是面向外部用户的平台，还是基于服务的方式？——但团队相信，他们正在解决一个正确的问题。 “我们很可能会成为这个领域第一家盈利的公司，”Zhao 说，“因为只要有人想部署，他们就需要付费让我们来处理这种情况。”