Open ASR 首次收录印地语：Monsoon 给中文语料的三条硬提示

这九个维度对应九种「一个平均值可能是对的，但对某个子群来说是错的」情形。传统语音评测集大多是「找到什么音频就用什么音频」，Monsoon 反过来先定义「这里必须有多少种变化」，再按变化去招募。

采集方法直接从九个维度倒推出来：地理靠跨县招募，不靠给少数几个采集地加时长；设备与环境靠让贡献者用自己的手机在自己的环境里录，不发统一硬件；词汇与语速靠提示词推向自然对话，不给稿子。年龄与性别每个人核验一遍。

「没有一个声音撑起分数」

Monsoon 一共不算很多小时，但发言人极多。团队自己的话是：small measured in hours and large measured in speakers.——按小时算是小，按发言人算是大。这句话背后是三条更硬的原则。

第一，没有一个声音撑起分数。 十个最大贡献者加起来只占总时长的 2.8% 到 6.8%，超过一半的发言人在整个数据集里只出现一次。这意味着一个模型在 Monsoon 上拿到的成绩，是几百个不同嗓音的平均，而不是少数几个人反复说话的产物。对比之下，同等时长的语音评测集普遍是另一种做法：找几十个人各录很久。前一种做法能暴露的是「模型对没听过的嗓音泛化如何」，后一种做法能暴露的是「模型对已经听过很多遍的嗓音是不是还听得清」——是两个完全不同的问题。

第二，没有一个地区或设备撑起分数。 印度英语公开分片跨 428 个县、跨 315 到 582 款手机，且没有任何一款手机占超过 2.1% 的片段。为什么这条重要？因为麦克风频响会给模型留下指纹——用一款手机录成千上万小时的语料，模型会「学会这款麦克风」，而不是学会人声本身。当你换一台设备，性能会掉一截。用标准硬件采集的语料库过拟合到一款麦克风上，这条错误在 Monsoon 里天然被封住了。

第三，Monsoon 的「印度英语」不是某一种口音。 六大方言区都在：公开分片里南部占 35%、东部 18%、中部 18%、北部 16%、西部 11%。这不是宣称多样性，而是把口音分布写进元数据里，让每个人都能看清自己在做的是什么。

这三条合起来说的是同一件事：评测集的「均值」应该是对广大人群的均值，而不是对少数说话人的过拟合。 一旦你按小时数堆规模，就很容易掉进「录 10 个人各 100 小时」的陷阱——数字看着大，但每一个数字都在为同一批人过拟合背书。

印地语的 lattice：normaliser 修不了的问题

英文评测集大多用一个归一化器（normaliser）来抹平拼写差异：把 colour 和 color 判等，把 1st 和 first 判等。这个套路在印地语上跑不通——不是软件不够好，是变体本身不是两套惯例之间的固定映射，而是几十种拼法散在一段文字里，同一个词今天这样写明天那样写。

Monsoon 的解法很直接：给印地语参照做一份 lattice——转写的每一段，都列出所有被接受为正确的拼法。评测时不再要求模型输出一个唯一答案，而是判断模型输出的每一段是否落在那一段的允许集合里。

这套思路对中文 ASR 有直接的对应场景：

• 数字/汉字混排：「二零二六年」还是「2026 年」？「第三」还是「3rd」还是「第 3」？
• 标点风格：中文全角标点与半角标点、逗号与顿号、书名号还是引号。
• 英文缩写混入：GPT、ChatGPT、Gpt、gpt、ＧＰＴ 是不是都算对？
• 同音异形：口语里的「三四十」和「三、四十」；「两百」与「二百」。
• 繁简与外来专有名词：「特朗普/川普」「奥巴马/欧巴马」「OpenAI/开放 AI」。

中文评测目前普遍靠事先做 text normalization 把这些消歧掉。但 normalization 会把两个真正意义不同的输出也判等，本质上是牺牲精度换一致性。lattice 的做法是让参照本身承认变体，而不是把变体统一到某一种写法——中文语料完全可以照抄。

元数据不是奢侈品，是公平性的底盘

Monsoon 每段音频带 18 列，其中 12 列是元数据：年龄、性别、职业、教育、婚姻、收入档、手机品牌、当前城市、在当地生活多少年，等等。大多数公开语音评测集则只有三列：编号、转写、时长。

这个对比一眼就看得出问题所在：一个不写「说话人是谁」的评测集，就永远无法回答「模型在哪种人身上更差」。你在这样的评测集上做得再好，也只是拿到了一个总平均——总平均可以掩盖任何一类系统性歧视。

这也是为什么 Monsoon 把「同意授权使用」这件事事先做完：贡献者知道自己被记录了哪些字段，也同意这些字段公开。这不是走过场，因为一旦评测集里带上敏感字段，「谁做的评测」「怎么招募的」「同意书怎么签的」都会成为下游合规审查的对象。Monsoon 选择直接把这一层做完，让下游用起来没有法律负担。

对照：中文 ASR 评测目前处在哪一档

讲完 Monsoon，来看中文语音识别评测的现状——这是原文没有的部分。

中文开源 ASR 评测集大致有这样一条脉络：清华的 THCHS-30（读稿）→ 希尔贝壳的 AISHELL 系列（AISHELL-1 为普通话朗读，之后陆续有多说话人合成、多设备阵列等专门变体）→ 微软/西工大的 WenetSpeech（万小时级弱标注，来自网络视频与播客）→ 清华 KeSpeech（覆盖普通话与多个方言区）→ Mozilla Common Voice zh-CN（众包）。这一路的进展主要在「小时数」与「场景」两个维度上：从读稿到自然对话，从单一采集设备到远场阵列，从普通话到方言。

从「小时数」看，中文这边一直在追赶，甚至比不少小语种更充裕。但对照 Monsoon 的九个维度，几个基础问题就露出来了：

• 说话人级去重的公开承诺不普遍。除了 Common Voice 系列明确要求发言人层面的分片，多数中文评测集要么没有明说训练/测试的说话人是否完全不重叠，要么只在论文里一笔带过。学界内部对此已经有讨论，但公开评测集层面的公认标准还没有形成。
• 人口学元数据缺席。年龄段、性别、地区、方言背景，多数集只有粗颗粒度或者根本不记录。这直接决定了：中文 ASR 模型对老年人、儿童、非普通话母语人群到底差多少，没有公开数据能回答。
• 设备维度几乎不做变量。大多数评测语料要么是录音棚，要么是特定采集设备。手机型号分布这种事情在国内评测里几乎不当作数据集的一等公民。
• 方言集有，但集与集之间不对齐。KeSpeech 覆盖多个方言区，但它的评价指标、说话人分布、参照标准与主流普通话评测集不通约，没法在同一张榜单上比出「模型在方言上落后多少」。
• 参照写死为单一转写。中文数字、单位、专名的多写法问题，主要靠事前 normalization 处理，而没有像 Monsoon 那样把变体写进参照本身。

这不是要否定中文 ASR 评测过去十年的建设。AISHELL-1 在它那个时代是重要的公开资源；WenetSpeech 用弱标注解决了训练规模问题；KeSpeech 是中文方言评测极为稀缺的公开集。但从「评测决定模型往哪走」这个角度看，如果这些榜单只测普通话朗读、只记录音频与转写、模型能拿到已知说话人的所有音频——那么中文 ASR 模型的优化方向就永远只在「让训练分布内的普通话朗读更准」这一小块地皮上打转。

Monsoon 给中文 ASR 的三条硬提示

把 Monsoon 拆完再对照中文现状，能提炼出三条可以直接放进项目里的做法：

第一，说话人级去重是底线，不是加分项。 训练集与测试集之间，同一个人的音频不能同时出现——无论你以为「都是普通话就无所谓」。缺了这一条，模型可能只是在识别熟人的嗓音，而不是在识别语言。任何声称做中文语音识别评测的公开集，如果做不到 speaker-disjoint，就不该被拿来做模型选型的依据。

第二，参照要能容纳变体，而不是靠 normalization 把变体抹平。 中文语料的数字、英文、标点、专名、繁简都有多种合法写法，事前用规则把它们统一到某一种会牺牲评测精度。可以照抄 Monsoon 的 lattice 做法：给参照的每一段列出所有被接受的写法，评测时判段落是否落在允许集合里。做这件事的边际成本，比训练一版新模型低得多。

第三，元数据不是奢侈品，是评测集的一等公民。 至少要把年龄档、性别、地区（省或经济带）、方言背景、录音设备类型这五项记录下来。这五项决定了你能不能回答「模型在谁身上更差」——而这个问题不能回答，就意味着模型的公平性根本没进入优化目标。

这三条都不是特别难做，但每一条都需要在评测集设计阶段就想清楚。事后想加人口学字段，得联系上每一位发言人重新签同意书；事后想做 speaker-disjoint，得把整个测试集重招；事后想做 lattice，得逐段回过所有参照。这些成本一旦错过就补不回来。

落点

把语音识别的成绩单从「一个 WER」升级到「一组人口分层的 WER」，本质是把一个数字问题换成一个分布问题。工程上，这件事没有本质难度。评测集的问题从来不是「模型不够聪明」，而是「我们没有想好要测量什么」。Monsoon 那份九维设计、四分片安排、说话人级去重、印地语 lattice 参照，加起来就是一份可以直接抄的施工图。

中文 ASR 领域的下一步公开评测集，如果还只交出「多少小时、多少说话人」这两个数字，那就是主动放弃回答「模型对哪些人更差」这个问题的能力。而这个问题，恰恰是接下来这类模型能不能进医院、进政府热线、进老人陪伴设备的关键——技术上早就不是瓶颈，卡住的是评测。

Monsoon 的贡献在这里：它把这份施工图第一次以公开评测集的形态交了出来。它不完美，也承认自己按小时算不算大，但它把「一份合格的公平性评测集应该长什么样」定义清楚了。这份定义值一份榜单席位，也值一次认真的翻译。

本文为翻译与延伸，Monsoon 数据集与九维设计部分来自 Hugging Face 官方博客（作者 Vaibhav Srivastav），中文 ASR 评测现状对照与三条硬提示为本站编辑观察，欢迎指正与讨论。