AI自噬：当机器开始吃自己

AI自噬：当机器开始吃自己

想象一个生成人脸的人工智能模型，它原本用成千上万张真实照片训练过。你让它生成几千张新面孔，然后把这些人造面孔重新喂回去当训练数据。再让它生成，再喂。几个循环下来，那些脸就不再是脸了——同样的颧骨上糊着同样的模糊痕迹，鼻子和下巴的种类越来越少，整个由照片繁衍出的种群，坍缩成一个令人不安的平均值。

做这个实验的研究者把这种现象称为 模型自噬失调（Model Autophagy Disorder, MAD），这个词刻意呼应了疯牛病。疯牛病的传播，就是牛吃了被磨碎的同类尸体。自噬（autophagy）是生物学里描述细胞消化自身成分的术语，而一个生成模型吃自己产出的东西，干的差不多是同一回事：吃掉自己生产的，从中学习，然后每次变得更虚弱。

递归的陷阱

当模型开始学习由其他模型写成的世界，"生成"就变成了"退化"。这个机制现在有了名字：模型崩溃，由Ilia Shumailov及其同事在2023年的一篇论文中提出，那篇论文的标题更直白：《递归的诅咒》，并在2024年延续了其研究。

想象一下，国内大模型公司如果持续用AI产出的文章、代码、图片来训练下一代模型，会发生什么？就像人类近亲繁殖一样，基因多样性迅速流失。第一批合成数据可能看不出问题，但第三代、第四代之后，模型开始"学舌"——它只会重复自己之前说过的话，对新输入的泛化能力急剧下降。最终，AI的输出变得千篇一律，甚至出现逻辑断裂和事实性幻觉。

这个现象在文字模型上同样成立。如果ChatGPT在网络上持续爬取数据，而那些数据中有相当比例来自它或其他AI生成的文本，那么第二代的回答就会变得更"平"——失去了那些生僻但精准的用词，代之以最安全的平均表达。到了第五代，你可能会得到一个只会说"众所周知"和"需要注意的是"的机器。

谁在制造这个陷阱？

论文给出了一个冷酷的结论：仅仅5次递归训练，模型的质量就会出现肉眼可见的退化。这不是某个参数设置失误，而是统计学上的必然结果。每一次递归，模型都在缩小其分布范围，最终收敛到几个为数不多的模式上。

对于国内厂商来说，这个问题尤为紧迫。许多中小模型训练时，语料库已经混入了大量GPT、文心一言、通义千问等生成的内容。如果不对数据来源进行严格过滤，模型会走上一条不归路——不是在变聪明，而是在"吃自己的大便"。

如何避免？

最直接的方案是永远保留原始人类数据。让每一代模型都保持对真实数据（人工撰写、野外拍摄）的学习比例。同时，在训练语料中加入"水印"——如果检测到一段文本来自AI，就降低它的采样权重。更长远来看，模型架构本身需要引入抗退化机制，比如在损失函数中加入多样性惩罚项。

但根本问题在于：当互联网上AI生成的内容越来越多，我们还能找到足够多的"纯净"人类数据吗？这个问题没有简单答案。也许，未来AI的进化不是比谁模型更大，而是比谁的数据更"原汁原味"。