NVIDIA 发布 Nemotron 3.5 Transcribe，多功能开源语音转写模型

语音转写不仅是记录文字，还需要明确谁在说话、如何翻译，以及处理特定领域的术语。针对这些复杂需求，NVIDIA 推出了 Nemotron 3.5 Transcribe，这是一个支持提示词驱动的开源模型，现已在 Hugging Face 和 ModelScope 上线。

该模型集成了转写、说话人识别（Diarization）、翻译和音频问答于一身，支持 40 种语言转写、31 种语言翻译，并能识别最多 8 位说话人，支持长达一小时的音频处理。开发者可以通过自然语言指令引导输出，并根据业务需求进行微调。

自然语言指令驱动分析

Nemotron 3.5 Transcribe 可以通过简单的指令完成多项任务：

• “转写这段录音并标记说话人。”
• “将这段音频翻译成英文。”
• “这次会议做出了哪些决定？”

对于医学等专业领域，模型支持通过提示词注入背景信息，例如：“转写这段医疗讨论，使用专业术语（如 HbA1c），并保持医学拼写规范。”

行业基准测试表现领先

Nemotron 3.5 Transcribe 在多项开源模型基准中名列前茅：

• Hugging Face Open ASR Leaderboard：在英文转写任务中排名第一，平均词错误率（WER）仅为 5.33%。
• Artificial Analysis 语音转写基准：在精度与激活参数的权衡中，以约 4B 的激活参数实现了 2.8% 的词错误率，处于 Pareto 边界领先地位。
• 说话人识别：在 David AI 的 21 语言基准测试中，该模型实现了最低的识别错误率（DER）。

Granary v2：开放的数据策展管线

为了帮助开发者解决特定领域的术语适应问题，NVIDIA 同时开源了 Granary v2 数据集及其策展管线。该管线配合 NeMo Speech 微调工具，能够让开发者定制模型输出的格式和专业术语表现。

在医学领域的应用案例中，通过对 153 小时合成语音和少量真实医疗录音进行微调，该模型在held-out（未参与训练）测试集上的词错误率相对基准降低了 45.8%。

部署与使用

开发者目前可以使用 vLLM 部署该模型。NVIDIA 还预告了即将推出的量化版本，支持在 RTX 工作站、DGX 或 Jetson AGX Thor 等本地边缘设备上高效运行。