Block 新语音模型听起来逼真得令人不安

Jack Dorsey 旗下的 Block 公司发布了其研究实验室打造的一款新语音模型。该模型可在本地运行，并能呈现笑声、停顿和哭腔等表达，听起来异常像真人。公司表示，这款名为 Dessa 的模型完全基于人类语音训练，并使用单块 NVIDIA GPU。 Dessa 是一款全双工模型，这意味着它可以像 OpenAI 今年早些时候发布的 GPT-Live 模型一样，一边说话一边聆听。通常，语音模型会与大型语言模型配合，以完成知识检索。Block 表示，Dessa 的知识来自它所拥有的对话数据。 Block 称，当前一些模型听起来不自然且令人烦躁，是因为其流程中包含驱动语音生成的文本。ElevenLabs v4 或 Fish Audio Drama 3 等许多模型使用语音标签来驱动语音生成中的情绪。Dorsey 的公司声称，情绪已内建于其模型之中。目前尚不清楚这种情绪是否由某种标签引导。 “与当前的语音 AI 交互简直可能很糟糕。它把你的声音转成文本，丢弃了大量仅靠文本无法承载的信息。世界上最强大的 AI 听不出你的感受。我们认为这很荒谬，会导致更差的体验，并可能带来危险。”该公司在一篇博客文章中表示。 公司研究人员发布了多个与 Dessa 对话的示例，智能体在这些对话中展现出不同的声音、语调和情绪。例如，在一段对话中，机器人说自己工作累了，而它当时听起来也确实很疲惫。 在下面的示例中，机器人谈到对方让它感到舒适，同时声音充满情绪，几乎要崩溃。 另一个示例显示，一名 Block 团队成员正在与语音助手玩游戏。 公司表示，该模型可在 MacBook M4 Max 或更高配置等消费级电脑上本地运行。不过，Dessa 目前尚未公开访问，Block 已向安全研究者发出测试邀请。这很可能是为了测试语音智能体可能欺骗电话另一端的人等情况。 Block 从事金融业务，并向小企业销售其解决方案。Square 已经使用语音 AI 处理点单。但借助可在设备端运行的自家语音模型，它能够以更低成本支持更多商业和消费体验。