当人们接触一种语言时，即使不理解其含义，也常能通过独特的字符模式迅速辨别出是哪种语言。例如，冰岛语中特有的“ð”或“þ”字符，或是荷兰语中常见的“ijk”组合，都能作为强烈的视觉线索。本文将深入探讨如何利用简单的统计学方法，学习这些独特的“视觉指纹”——即在20种欧洲语言中，最能强烈指示其所属语种的字符序列。
如何通过统计学识别语言的“视觉指纹”
要学习一种语言的视觉“指纹”，首先需要一种衡量给定字符模式独特性的方法。一个直观的切入点可能是观察每种语言中最常见的字符模式。然而，这种方法很快会暴露出局限性，因为某个字符模式可能在一种语言中非常常见，但在其他语言中也频繁出现。单纯的频率并不能捕捉到独特性。因此，需要提出的问题是：
“与所有其他语言相比，这种模式出现在特定语言中的可能性高出多少？”
统计学在此发挥了关键作用！形式上，定义：
- L 为所研究的全部20种语言集合
- S 为这些语言中所有观察到的字符模式集合
为了确定给定字符模式 s∈S 识别语言 l∈L 的强度，计算了以下似然比：
L R s,l=P(s|l)P(s|¬l)
这个公式比较了字符模式 s 出现在语言 l 中的概率，与出现在任何其他语言中的概率。比率越高，该模式与特定语言的关联度就越独特。
似然比的实际计算方法
为了在实践中计算每个字符模式的似然比，需要将条件概率转换为可实际测量的量。相关计数定义如下：
- c l(s)：字符模式 s 在语言 l 中出现的次数
- c¬l(s)：字符模式 s 在所有其他语言中出现的次数
- N l：字符模式在语言 l 中出现的总次数
- N¬l：字符模式在所有其他语言中出现的总次数
利用这些定义，条件概率变为：
P(s|l)=c l(s)N l,P(s|¬l)=c¬l(s)N¬l
似然比因此简化为：
L R s,l=P(s|l)P(s|¬l)=c l(s)⋅N¬l c¬l(s)⋅N l
这个公式提供了一个数值分数，量化了字符模式 s 在语言 l 中出现的可能性比在所有其他语言中高出多少。
零计数问题的处理
遗憾的是，上述似然比公式存在一个问题：当 c¬l(s) = 0 时会发生什么？换言之，如果某个字符模式 s 仅出现在语言 l 中，而未出现在任何其他语言中，会如何？这将导致分母为零，从而使似然比趋于无穷大。
从理论上讲，这表示找到了该语言的一个完美独特模式。然而在实际应用中，这种结果并不十分有用。一个字符模式可能只在一种语言中出现过一次，且从未在其他地方出现，但它会被赋予无限高的分数，这对于将其作为语言的强“指纹”来说意义不大。
为避免此问题，研究应用了一种名为加性平滑的技术。该方法对原始计数进行微调，以消除零值并减少稀有事件的影响。
具体而言，在每个计数的分子中添加一个小的常数 α，并在分母中添加 α|S|，其中 |S| 是观察到的字符模式总数。这样做的好处是，假定每个字符模式在每种语言中都有极小的出现机会，即使它尚未被实际观察到。
经过平滑处理后，调整后的概率变为：
P′(s|l)=c l(s)+α N l+α|S|,P′(s|¬l)=c¬l(s)+α N¬l+α|S|
最终需要最大化的似然比为：
L R s,l=P′(s|l)P′(s|¬l)=(c l(s)+α)⋅(N¬l+α|S|)(N l+α|S|)⋅(c¬l(s)+α)
这种处理方法保持了计算的稳定性，并确保了稀有模式不会仅仅因为其独占性而自动占据主导地位。
数据集
在定义了用于识别最具区分度字符模式（即语言的“视觉指纹”）的指标之后，下一步是收集实际的语言数据进行分析。
为此，研究使用了Python库wordfreq，该库基于维基百科、书籍、字幕和网络文本等大规模来源，为数十种语言编译了词频列表。
在这项分析中，一个特别有用的函数是 top_n_list()，它能返回给定语言中出现频率最高的 n 个词的排序列表。例如，要获取冰岛语中前40个最常用词，可以调用：
wordfreq.top_n_list("is", 40, ascii_only=False)
参数 ascii_only=False 确保了输出中保留非ASCII字符，例如冰岛语的“ð”和“þ”。这对于本分析至关重要，因为主要目标是寻找语言特有的字符模式，其中也包括单个字符。
为了构建数据集，研究从以下20种欧洲语言中提取了各语言出现频率最高的5000个词汇：
加泰罗尼亚语、捷克语、丹麦语、荷兰语、英语、芬兰语、法语、德语、匈牙利语、冰岛语、意大利语、拉脱维亚语、立陶宛语、挪威语、波兰语、葡萄牙语、罗马尼亚语、西班牙语、瑞典语和土耳其语。
这构成了一个包含10万个词汇的大型多语言词汇库，其丰富程度足以提取跨语言的有意义统计模式。
为了提取分析中使用的字符模式，从数据集中的每个词汇生成了所有长度为1到5的可能子字符串。例如，词语 language 将包含 l、la、lan、lang、langu、a、an、ang 等模式。最终，在20种研究语言中，形成了一个包含超过18万个独特字符模式的全面集合 S。
结果
对于每种语言，下表展示了按似然比排名的前五名最具区分度的字符模式。平滑常数 α 设定为 0.5。
由于原始似然比可能非常大，因此报告的是似然比的以10为底的对数 (log 10(LR))。例如，对数似然比为3，意味着该字符模式在该语言中出现的可能性是其他任何语言的 10 3 = 1,000 倍。值得注意的是，由于平滑处理，这些似然比是近似值而非精确值，并且某些分数的极端性可能会被削弱。
每个单元格显示一个排名靠前的字符模式及其对数似然比。
| Language | #1 | #2 | #3 | #4 | #5 |
| — | — | — | — | — | — |
| Catalan | ènc 3.03 | ènci 3.01 | cions 2.95 | ència 2.92 | atge 2.77 |
| Czech | ě 4.14 | ř 3.94 | ně 3.65 | ů 3.59 | ře 3.55 |
| Danish | øj 2.82 | æng 2.77 | søg 2.73 | skab 2.67 | øge 2.67 |
| Dutch | ijk 3.51 | lijk 3.45 | elijk 3.29 | ijke 3.04 | voor 3.04 |
| English | ally 2.79 | tly 2.64 | ough 2.54 | ying 2.54 | cted 2.52 |
| Finnish | ää 3.74 | ään 3.33 | tää 3.27 | llä 3.13 | ssä 3.13 |
| French | êt 2.83 | eux 2.78 | rése 2.73 | dép 2.68 | prése 2.64 |
| German | eich 3.03 | tlic 2.98 | tlich 2.98 | schl 2.98 | ichen 2.90 |
| Hungarian | ő 3.80 | ű 3.17 | gye 3.16 | szá 3.14 | ész 3.09 |
| Icelandic | ð 4.32 | ið 3.74 | að 3.64 | þ 3.63 | ði 3.60 |
| Italian | zione 3.41 | azion 3.29 | zion 3.07 | aggi 2.90 | zioni 2.87 |
| Latvian | ā 4.50 | ī 4.20 | ē 4.10 | tā 3.66 | nā 3.64 |
| Lithuanian | ė 4.11 | ų 4.03 | ių 3.58 | į 3.57 | ės 3.56 |
| Norwegian | sjon 3.17 | asj 2.93 | øy 2.88 | asjon 2.88 | asjo 2.88 |
| Polish | ł 4.13 | ś 3.79 | ć 3.77 | ż 3.69 | ał 3.59 |
| Portuguese | ão 3.73 | çã 3.53 | ção 3.53 | ação 3.32 | açã 3.32 |
| Romanian | ă 4.31 | ț 4.01 | ți 3.86 | ș 3.64 | tă 3.60 |
| Spanish | ción 3.51 | ación 3.29 | ión 3.14 | sión 2.86 | iento 2.85 |
| Swedish | förs 2.89 | ställ 2.72 | stäl 2.72 | ång 2.68 | öra 2.68 |
| Turkish | ı 4.52 | ş 4.10 | ğ 3.83 | ın 3.80 | lı 3.60 |
讨论
以下是对结果的一些有趣解读。这并非一项全面的分析，仅是研究中发现的一些值得关注的观察结果：
- 许多具有最高似然比的字符模式是其语言独有的单个字符，例如前面提到的冰岛语的“ð”和“þ”、罗马尼亚语的“ă”、“ț”和“ș”，或土耳其语的“ı”、“ş”和“ğ”。由于这些字符在数据集中的所有其他语言中基本不存在，如果没有加性平滑处理，它们将产生无限大的似然比。
- 在某些语言中，尤其是荷兰语，许多排名靠前的结果彼此之间互为子字符串。例如，排名第一的模式“ijk”也出现在接下来的高排名模式中，如“lijk”、“elijk”和“ijke”。这表明特定字母组合在较长的词汇中频繁重复使用，使其对该语言更具区分度。
- 在所有分析的语言中，英语的字符模式区分度最低，最大对数似然比仅为2.79。这可能是由于许多其他语言的前5000个词汇列表中存在英语借词，从而稀释了英语特定模式的独特性。
- 存在一些案例，其中排名靠前的字符模式反映了跨语言共享的语法结构。例如，西班牙语的“-ción”、意大利语的“-zione”和挪威语的“-sjon”都作为名词化后缀，类似于英语的“-tion”——将动词或形容词转换为名词。这些词尾在每种语言中都非常突出，并强调了不同语言如何以不同拼写遵循相似模式。
结论
本项目始于一个简单的问题：是什么让一种语言看起来与众不同？通过分析20种欧洲语言中最常见的5000个词汇，并比较它们使用的字符模式，研究揭示了每种语言独特的“指纹”——从带有重音的字母如“ş”和“ø”，到重复出现的字母组合如“ijk”或“ción”。虽然这些结果并非旨在提供最终定义，但它们提供了一种有趣且基于统计学的方法，来探索即使不理解任何一个词，也能在视觉上区分不同语言的奥秘。
该技术的完整代码实现可在GitHub存储库中查看。
感谢阅读！
参考文献
wordfreq Python库：
