专业化为何不可避免

那些关注Dharma AI的人都知道，我们将专业化视为高效AI系统的基本原则之一，它影响着从成本、性能到可靠性和主权的一切。很少有论文能像Goldfeder、Wyder、LeCun和Shwartz-Ziv在2026年发表的研究那样严谨地阐述这一观点。

本文基于《AI必须通过超人类自适应智能拥抱专业化》（Goldfeder, Wyder, LeCun, & Shwartz-Ziv, 2026）进行解读。该论文从优化理论、生物学、组织经济学和机器学习等多个领域提供了论据和智力基础。

通常的预期是合理的：随着AI系统能力的增强，它们也应变得更加通用。更强的能力和更广的适用性似乎是天然的伴侣——更多的资源、更好的方法、更广泛的训练，应该能产生对越来越多任务越来越有信心的系统。

但实际出现的模式并非如此。在任何一个特定领域取得最显著成果的系统，往往是最专注于该领域的系统。蛋白质结构预测的突破来自一个为单一科学任务设计的系统。仔细审视AI的历史里程碑，反映的是密集的领域定位，而非通用性的扩展。

这种模式不断重复出现。它跨越不同领域、跨越不同年代、跨越几乎毫无共同之处的架构选择。如此一致的规律暗示着一个共同的原因——这个原因并非源自AI研究本身。

算法因适配目标而胜出

1997年，Wolpert和Macready证明了在AI架构讨论中很少露面的事实：没有单一的通用优化算法能在所有可能的问题上胜过其他所有算法（Wolpert & Macready, 1997）。该证明是数学性的，而非哲学性的。平均而言，每一个算法在所有可能的学习问题上的表现都同样好——也同样差。在一个问题分布上获得优势的算法，必然会在其他分布上妥协。性能是被重新分配，而非倍增。

其实际含义直接明了：“算法因适配目标问题而胜出”（Goldfeder et al., 2026）。该定理并非说通用性不可能，而是说通用性并非性能优势。持续的卓越表现的结构性路径是集中化：以广度换取适配性。

当有限资源进入画面时，这一点变得更加尖锐。任何真实系统都受制于约束——有限的计算、有限的数据、有限的开发时间。在有限资源下，将可用资源导向学习有限任务集的方法，将优于将相同资源分散到无限范围内的做法。算术无情：随着任务集无限制扩大，每个任务可用的资源趋近于零。在有限资源下，全面覆盖与有意义的性能之间存在直接冲突。

该定理指向的结论并非通用性不好，而是更具体和实用：正如论文所言，“普遍通用性是一个理论概念，但在实践中是神话”（Goldfeder et al., 2026）。真正在现实约束下生存下来的，不是试图做所有事情的系统，而是适配其目标的系统。

数学将这一点确立为预测，而非偏好。这个预测是否在优化理论之外的世界成立，是一个不同的问题。

生物学和市场早已了然

另外两个领域在优化理论赋予其名称之前就得出了同样的预测。

关于生物学，论文描述道：每个生态位的性能提升都会在其他地方付出代价。通才拥有适应多种环境的特性，但对任何环境都不是最优的——能力过于分散，无法在任何特定条件下占据主导。没有不付出代价的性能提升；投入一种能力的资源无法再用于其他能力。选择青睐那些适配局部条件的设计，而非那些为在所有可能环境中均匀覆盖而优化的设计。生存并繁殖的生物并非最通用的——它们是最具体匹配的。经过进化时间尺度的积累，结果不是通才统治，而是专才填充生态位。论文指出：“专业化不是生物学的偶然，而是有限资源、竞争目标和奖励在进化相关挑战子集上性能的局部环境的可预测结果”（Goldfeder et al., 2026）。

竞争性市场通过不同手段遵循同样的动态。未达到性能门槛的组织和策略会被淘汰——不是通过灭绝，而是通过退出、资金枯竭和被更适配的替代品取代。竞争充当选择机制：放大有效的策略，淘汰无效的策略。这一机制与生物选择毫无共同之处——没有遗传、没有突变、没有进化时间尺度。选择的单位不是个体生物，而是组织、产品或策略。然而结构性压力相同：有限资源、性能要求、以及系统性地移除那些分布太广而无法在关键领域表现出色的实体。当性能标准清晰且一致时，集中能力胜过分散能力。

进化和市场通过完全不同的机制运作——不同的时间尺度、不同的选择单位、不同的继承机制。但两者在资源压力下都产生相同的结果：适配性胜过广度。定理预测了这一点。生物学和市场独立地得出这一点。当第三个领域通过完全不同的方式得出相同发现时，模式就不再像定理，而开始呈现出有关受限系统如何行为的某种更普遍的规律。

机器学习不断重新发现专业化

同样的模式也在机器学习内部涌现——并非来自优化理论的推导，而是通过构建系统并观察什么能改进它们的累积经验。

最清晰的形式是负迁移：当一个系统在多个任务上训练时，因任务间竞争而非合作而导致的性能可测退化（Ruder, 2017）。当任务共享结构时，共同训练有帮助。但当任务竞争表征能力或在训练中施加冲突梯度时，个体任务的表现会低于专用系统所达到的水平。广度带来的收益变成了深度的成本。这是将有限能力分配给相互对抗的任务的可记录后果。专才不面临这种竞争，因此不支付这个成本。

前沿模型的架构提供了另一种证据。混合专家系统并非通过所有参数的统一通用性来实现广度，而是将每个输入路由到专门的子网络——对不同任务激活不同专家。论文作者将此解读为结构性让步：一个设计为通用的系统，通过内部恢复专业化来实现其成果。这是一个论证过的解释，而非已证明的定理——这些架构最初是为计算效率设计的，它们对通用性限制的含义是合理的推断而非明确意图。但这是一个值得注意的推断：最强大的通用系统通过内部做专业系统通过设计所做的事情来达到其性能。

最清晰的历史案例遵循同样的逻辑。AlphaFold通过针对特定任务的任务特定架构和训练选择，在蛋白质结构预测上实现了阶跃变化（Jumper et al., 2021）。其收益来自更窄的聚焦，而非更广的覆盖。论文将AlphaFold作为典型案例——并非证明所有专用系统都能获得同等收益，而是作为一个特别清晰的机制说明。该机制反复出现：AI里程碑的历史，论文指出，经常反映密集的领域定位而非广泛能力，即使在结果看起来像通用智能的展示时也是如此。

三个不同的地方。三种不同的机制。相同的发现。

扩展无法改变什么

如果不讨论AI研究中最常引用的观察之一，画面将不完整。Sutton的“苦涩教训”认为，依赖领域知识的方法始终被扩展计算的方法超越（Sutton, 2019）。表面上，这似乎使专业化的情况变得复杂：如果规模和通用性胜出，那么专业化可能只是在资源受限的条件下有用的启发式，而这些条件会随着计算变得更便宜而缓解。

这一反对意见混淆了两个不同的概念。领域知识指的是手工编码的特征、工程化的先验和旨在为系统提供特定领域洞见的规则。“苦涩教训”针对的是这一点——并且它是正确的。随着规模扩大，编码显式领域知识的系统始终被超越。

领域专业化是不同的：决定将系统的资源、架构和训练导向有限的任务集，而非广泛分布它们。这不是关于一个领域知识的编码。这是关于范围的决策。

论文精确地划分了这一区别：

“领域知识的有用性减少与领域专业化的有用性是不同的。随着扩展的推进，我们将需要知道更少的蛋白质知识来构建做蛋白质折叠的系统；然而，这样的系统仍然受益于专门关注蛋白质。”（Goldfeder et al., 2026）

扩展改变了系统能从数据中学习什么。但它没有改变将资源集中于有限任务集是否优于将其广泛分布在无限范围上。“苦涩教训”和专业化论证在不同维度上运作——一个描述知识应如何获取，另一个描述系统应指向什么。两者可以同时成立。扩展改变了系统学习的机制；它并没有消除使适配性比广度更有价值的约束。

跨越四个分析传统，同样的模式通过不同路径出现。这不是一个需要解释的巧合。这是证据。

当有限资源遭遇选择压力——无论是在优化问题、生态系统、市场还是训练运行中——适配性始终胜过广度。具体机制不同。时间尺度不同。选择单位不同。但结构性动态相同，并产生相同的结果。

定理不导致生物学中的这个模式。生物学不导致市场中的这个模式。两者都不导致机器学习中的这个模式。它们都面临相同的根本约束：在稀缺性下的性能需要集中。数学上确立的，进化史上实证确认的，竞争市场上制度化体现的，机器学习架构上重新发现的——专业化不是一种偏好。它是当有限资源遭遇执行要求时涌现的东西。

主要来源

• Goldfeder, S., Wyder, M., LeCun, Y., & Shwartz-Ziv, R. (2026). AI must embrace specialization via superhuman adaptable intelligence. arXiv:2602.23643.

来源

• Wolpert, D.H. & Macready, W.G. (1997). No free lunch theorems for optimization. IEEE Transactions on Evolutionary Computation, 1(1), 67–82.
• Forister, M.L., Novotny, V., Panorska, A.K., Baje, L., Basset, Y., Butterill, P.T., & Dyer, L.A. (2012). Global distribution of diet breadth in insect herbivores. Proceedings of the National Academy of Sciences, 109(2), 418–423.
• Futuyma, D.J. & Moreno, G. (1988). The evolution of ecological specialization. Annual Review of Ecology and Systematics, 19, 207–233.
• Hannan, M.T. & Freeman, J. (1977). The population ecology of organizations. American Journal of Sociology, 82(5), 929–964.
• Loasby, B.J. (1983). Knowledge, learning and the firm. As cited in Goldfeder et al. (2026).
• Ruder, S. (2017). An overview of multi-task learning in deep neural networks. arXiv:1706.05098.
• Fedus, W., Zoph, B., & Shazeer, N. (2022). Switch transformers: Scaling to trillion parameter models with simple and efficient sparsity. Journal of Machine Learning Research, 23(120), 1–39.
• Jumper, J., Evans, R., Pritzel, A., Green, T., Figurnov, M., Ronneberger, O., & Hassabis, D. (2021). Highly accurate protein structure prediction with AlphaFold. Nature, 596, 583–589.
• Silver, D., Hubert, T., Schrittwieser, J., Antonoglou, I., Lai, M., Guez, A., & Hassabis, D. (2018). A general reinforcement learning algorithm that masters chess, shogi, and Go through self-play. Science, 362(6419), 1140–1144.
• Sutton, R.S. (2019). The bitter lesson. Retrieved from http://www.incompleteideas.net/IncIdeas/BitterLesson.html

（注：已删除原文中的推广内容，如“进一步阅读”和“探索Dharma AI”等。）

---

原文链接：Hugging Face
本文由前途科技编辑整理