OpenAI 推出新一代语音模型 GPT-Live,采用全双工架构,能同时听和说,对话更自然流畅。它还支持委派后台模型处理复杂任务,让用户享受智能且连续的语音交互体验。
OpenAI 正式发布 GPT-Live,这是一个新一代语音模型,旨在让与 AI 的对话更像真实交流。GPT-Live 采用全双工架构,可以同时听和说。在对话中,它能用“嗯”“对”等词语表示正在倾听,也能快速接话,或在用户思考时保持安静。结果是带来一种轻松自然的语音体验。
GPT-Live 也是目前最智能的语音模型。对于需要网络搜索、深度推理或更复杂工作的提问,它会将任务委派给后台的最新前沿模型,并在完成后将结果带回对话中。在后台工作时,GPT-Live 可以继续与用户交谈,保持对话流畅。发布初期,GPT-Live 后台使用 GPT-5.5。随着 OpenAI 推出新模型,GPT-Live 使用的模型也会持续更新。
这些进步为 ChatGPT Voice 带来了更智能、更自然的使用体验。OpenAI 认为,这项研究未来还将解锁更复杂、更长时间运行、更智能体化的语音工作。
从今天起,OpenAI 开始向全球 ChatGPT 用户逐步推出两个版本:GPT-Live-1 和 GPT-Live-1 mini。这两个版本未来也将通过 API 提供,开发者和企业可通过此表单注册接收通知。
OpenAI 的愿景是实现真正自然的人机交互:与 AI 协作就像与另一个人交流一样流畅和响应自如,同时推理和复杂任务执行在后台无缝完成。
旧一代语音 AI 系统虽然让这一愿景更近一步,但存在重要权衡。
级联语音系统依赖一系列模型依次处理每个轮次。最初的 ChatGPT 语音 将三个模型串联:语音转文本模型转录用户语音,大语言模型生成回复,文本转语音模型将回复转换为语音。这种方法首次实现了与前沿 AI 模型的对话,但复杂性带来了代价:信息可能在模型间丢失,响应缓慢且生硬。
缓慢而生硬的响应,长时间停顿
基于轮次的语音模型(如 ChatGPT 高级语音模式)在单个模型内处理和生成音频,降低了延迟,使对话更流畅——但仍是基于离散轮次工作。模型必须等用户停止说话才能回应,导致生硬的来回切换。此外,由于轮次检测基于静默,即使是短暂停顿或背景噪音也可能被误认为轮次结束,导致模型在不自然的时间打断。
响应略快更流畅,但交互仍显生硬
GPT-Live 通过两项架构变化解决了这些限制。
首先,GPT-Live 采用全双工架构实现连续交互。它不再处理一系列独立消息,而是持续处理输入的同时生成输出。因此,模型可以每秒多次做出交互决策:是否说话、继续倾听、暂停、打断或调用工具。这使得模型能进行更自然的来回交流,保持更好的时间感,甚至进行实时翻译。
快速、自然、富有表现力的响应,更积极的倾听
其次,GPT-Live 将处理连续交互的自身与深层工作解耦。当问题需要搜索、推理或更智能体化的能力时,GPT-Live 可以将任务委派给另一个模型(如 GPT-5.5)。这使得它即使在后台处理多项任务时也能保持对话继续进行。
这种架构变化还允许 GPT-Live 持续使用最新模型和智能体,将前沿智能与自然交互相结合。
GPT-Live 提供快速自然的响应,GPT-5.5 在后台处理搜索
OpenAI 建立了新的人类评估来衡量对话的愉悦度和流畅度。在头对头比较中,GPT-Live-1 和 GPT-Live-1 mini 在 5-10 分钟的匹配对话中,在整体偏好、轮次切换、打断、对话流畅度和自然感方面均大幅优于高级语音模式。
每周有超过 1.5 亿人通过语音和听写功能与 ChatGPT 对话。他们用来获取免提日常帮助、练习语言、讲睡前故事或在通勤时聊天。
从今天起,用户点击 ChatGPT 的语音按钮后,将获得由 GPT-Live 驱动的改进体验:更自然的对话、更智能的回答、更好的倾听能力以及可视化响应。
与 ChatGPT 对话应该感觉更像真实交流。你可以打断提问、停顿思考或要求它放慢语速。它会自然地用“嗯”或“明白”等词语回应,让你知道它在跟随。OpenAI 还为 GPT-Live 重新制作了 ChatGPT 中的九种不同声音。
ChatGPT Voice 现在可以调用最新的前沿模型,在需要时提供更智能的回答。用户还可以根据需求选择推理级别:即时版用于快速响应,中等或高推理版用于更深入思考。
如果你思考一下,ChatGPT Voice 会等待而不是打断。如果你要求它保持安静倾听,它就会照做。当有背景噪音(如车流或附近对话)时,ChatGPT 能更好地聚焦你的声音而不会分心。
一些答案在可视化后更有用。在对话过程中,ChatGPT 现在可以显示丰富的视觉卡片,涵盖天气、股票、体育等主题。语音功能继续支持搜索、记忆、图像和文件上传。
结果是 ChatGPT Voice 在日常使用中更自然、更强大、更有用。
GPT-Live 在设计上默认安全。它建立在最新模型的安全进步之上,同时针对关键风险领域增加了专门的安全训练,并引入了专为语音设计的新防护措施。
为了更好地反映人们在现实场景中使用语音的方式,OpenAI 首先将安全测试扩展到新的音频原生评估。他们还创建了合成评估,使用生成音频更集中地关注关键安全领域(借鉴自高级语音模式的经验),包括自我伤害、精神病和躁狂症、对 AI 的情感依赖、暴力和性内容。内部专家还对模型进行了针对语音特有风险的红队测试。
在测试中,GPT-Live 在几乎所有评估领域中的表现均与高级语音模式相当或更好。更多测试和防护措施详见 GPT-Live 系统卡。
由于语音对话实时进行,OpenAI 还构建了可在模型说话时起作用的防护措施。当系统检测到潜在不安全输出时,它可以引导模型转向更安全的响应、显示额外的安全消息或资源,或在高风险情况下结束语音对话。对于涉及自我伤害的对话,OpenAI 将 ChatGPT 的支持流程适配到语音中,包括提供专家验证的危机热线支持。
他们还设计了额外保护以支持青少年用户,直接训练模型适龄行为以降低不当回复风险。家长可以通过家长控制选择是否允许青少年使用 ChatGPT Voice,并在涉及潜在自我伤害或自杀意念的高风险情况下接收通知。
OpenAI 还推出了长期测量和发布后监控,重点关注情感依赖,以持续改进理解和优化防护措施。基于以往关于情感使用和幸福感的研究,这将帮助识别新出现的模式,并改善系统在情感敏感交互中的响应方式。
最后,GPT-Live 专为对话而设计,不用于声音模仿。它在 ChatGPT 中使用一组预定义声音,并配有防护措施防止模仿真人声音。
OpenAI 致力于支持安全与福祉,并将在实际使用中不断学习和加强这些保护。
GPT-Live 现在开始向全球 ChatGPT 用户(iOS、Android 和 ChatGPT.com)推出。GPT-Live-1 将成为 Go、Plus 和 Pro 用户的 ChatGPT Voice 默认模型,GPT-Live-1 mini 将成为免费用户的默认模型。更多可用性详情请查看 帮助中心。
OpenAI 已针对 ChatGPT 中最常用的语言优化了 GPT-Live。对于某些语言,模型可能存在非母语口音或流畅度不足。OpenAI 正在积极改进多语言体验。
发布初期,GPT-Live 不支持视频或屏幕共享的语音功能,但 OpenAI 正在努力尽快引入这些能力。用户仍可访问 ChatGPT Voice 的旧版本(包括标准和高级语音模式),这些版本支持上述功能。
原文链接:OpenAI Blog
本文由前途科技编辑整理
免费获取企业 AI 成熟度诊断报告,发现转型机会
关注公众号

扫码关注,获取最新 AI 资讯
3 步完成企业诊断,获取专属转型建议
已有 200+ 企业完成诊断