Block发布端到端语音模型Dessa：无需文本直接用语音训练

Jack Dorsey 领导的支付与金融科技公司 Block 推出了一款名为 Dessa 的端到端（Speech-to-Speech）语音 AI 模型。据官方项目页面介绍，该模型完全从零开始训练，训练数据仅包含人类真实对话，没有依赖任何文本数据或预训练模型。Block 称其为“全球首个仅通过人类语音训练、能进行逼真实时对话的 AI”。

目前市场上的主流语音助手通常先将用户语音转写为文本（ASR），经过大语言模型处理后再转为语音输出（TTS）。Dessa 则完全跳过了转写为文本的环节，走出了一条与主流文本锚定系统不同的技术路线。目前，该模型仅向少数 AI 安全研究人员开放早期测试权限。

运作机制与本地运行能力

Block 表示，Dessa 是一款全双工（Full-duplex）模型，能够同时进行倾听与表达。由于直接从真实对话中学习规律，它能够判断何时适时插话，以及何时用短促的语气词（如“yeah!”或“got it!”）进行即时反馈。

在推理性能方面，Block 称 Dessa 的推理速度快于真实对话时间，且可以在搭载 M4 Max 及以上芯片的 MacBook Pro 上完全本地运行。项目负责人 Ragavan Thurairatnam 在 X 平台上透露，该模型同样支持在消费级 GPU 上部署，并将其形容为“语音领域的 GPT-3 时刻”。研发团队成员多来自 Block 此前收购的多伦多深度学习初创公司 Dessa。

表现自然，偶尔显现“恐怖谷”效应

据 The Verge 体验报道，Demo 中的对话在某些情境下显得自然，但偶尔也会带来略微怪异的不适感。在 Thurairatnam 分享的一段音频中，模型最初将说话者误认为了“C罗”（Ronaldo）；在另一段关于导演克里斯托弗·诺兰电影的讨论中，话题逐渐跑偏到了布莱恩·辛格执导的《超人》电影。而在听到“意外去巴黎旅行”的消息时，Dessa 的语气甚至带有“热泪盈眶般的感激”。此外，Block 还展示了 Dessa 与 OpenAI GPT-Live-1 语音模型的对话，评价指出 Dessa 在语调和交互节奏上更为自然。

目前，Block 尚未公布 Dessa 的端到端延迟具体数值、模型参数量以及训练数据集的具体规模。

出发点：直面语音安全与情绪感知

研发团队表示，构建 Dessa 的三大动力在于“好奇心、增进人机理解，以及安全性”。团队在项目说明中写道：“婴儿在没见过任何文字时就学会了说话。我们想探究模型是否也能做到这一点。事实证明可以，只是过程极具挑战性。”

团队认为，当前的语音 AI 往往将丰富的口语表达强行扁平化为冷冰冰的文本，几乎无法感知声音中的情绪波动。“想象一下，当一个人极度痛苦时，语音助手却浑然不知地继续照常对答，这就是安全层面的缺陷。Dessa 正是解决该问题的一步探索。”

未来更广泛的公众体验将通过候补名单（Waitlist）逐步开放。