Circuit Breaker Labs 希望让 AI 对你的孩子（以及你）更安全

在人们大谈 AI 有朝一日可能杀死我们所有人时，很容易忘记，AI 已经对某些人构成了生命威胁——不是通过生物武器，而是在心理层面。 例如，今年早些时候，Character.AI 就多起非正常死亡诉讼达成和解；这些诉讼由未成年用户家属提起，这些用户在与该平台的聊天机器人互动后自杀身亡。还有多个家庭起诉 OpenAI，指控 ChatGPT 在其亲人自杀和妄想中涉嫌发挥了作用。 让 AI 在跨语言、跨文化环境中更安全，是 Circuit Breaker Labs 的使命。该公司是 TechCrunch 2026 年 Startup Battlefield 200 决赛入围者之一。（Circuit Breaker 将在 TechCrunch Disrupt 上进行路演；该活动今年于 10 月 13 日至 15 日在旧金山 Moscone West 举行。） 创始人 Shirali 和 Arul Nigam 是兄弟姐妹，他们受到 Sewell Setzer 的触动。这名 14 岁少年对 Character.AI 的一个聊天机器人产生了情感依恋，并在自杀身亡前向它吐露了伤害自己的念头。其父母在 2024 年的一起诉讼中称，该聊天机器人鼓励了他。Circuit Breaker Labs 首席技术官 Arul 表示，该机器人可能并不理解“我想和你在一起”这类话真正意味着什么。 Arul 说：“很多人，尤其是年轻人，会向这些系统寻求支持，但通常他们并没有真正得到所需的帮助。而在许多情况下，他们实际上正在受到伤害，不幸的是，已经有人因此结束了自己的生命。我们正试图防止这类安全漏洞：人们未必是在主动试图攻破系统——他们只是以自然方式互动——而系统存在上下文污染，或不理解细微含义，随后采取极其危险的行动。” Circuit Breaker Labs 创建了一些 AI 智能体，并将其比作一支碰撞测试假人队伍。这些智能体模拟不同年龄、背景、语言和文化的人，用来测试模型识别危险且具有心理伤害性的互动的能力。 Circuit Breaker Labs 首席执行官 Shirali 表示：“六岁女孩与 45 岁男性，以英语为母语者与把英语作为第二语言者，或者……游戏玩家俚语与使用另一种俚语的人，说话方式都可能让模型出错。模型非常擅长处理标准语言模式，但现实中没有人真的那样说话；因此，如果模型误解了细微差别或俚语，后果可能非常糟糕。” 这家初创公司与人类领域专家合作，构建高度逼真的用户模拟，以便对模型进行“红队”测试；这类对抗性测试旨在发现弱点。测试内容反映真实的人类说话模式、俚语、暗语和拼写错误。Circuit Breaker Labs 随后每天运行数万至数十万次模拟互动。 其理念是确保模型能够妥善应对随着时间推移、在大量对话中可能出现的风险互动。Circuit Breaker Labs 随后使用专有评分方法，生成可审计、可解释的分数。 Circuit Breaker Labs 目前作为 AI 安全测试实验室运营，服务于高风险 AI 应用，如 AI 辅导、日记或其他心理健康支持应用；不过 Arul Nigam 拒绝透露其主要客户名称。尽管这家初创公司已有可用产品，但仍处于非常早期阶段，包括 Nigam 兄弟姐妹在内仅有五名员工。 不过，最终该测试平台可能适用于任何用户可能陷入“AI 精神病”漩涡、面临与聊天机器人产生准社会关系风险的应用。例子包括 AI“同事”智能体，它们的回应可能因每次互动而不同。 Arul Nigam 说：“人们正普遍对 AI 变得更加怀疑，或更抗拒采用它。”他补充说，怀疑是健康的，但出于安全担忧而禁止一项可能很有价值的工具将是“倒退的”。 Circuit Breaker Labs 认为，应对这些恐惧的答案是让 AI 更安全。“我们希望帮助为人们建立这种信任。” 欢迎在 10 月 13 日至 15 日于旧金山市中心举行的 Startup Battlefield 竞赛上，了解更多关于 Circuit Breaker Labs 以及许多其他经 TechCrunch 审核的创新初创公司的信息。