从简单的神经网络到大型语言模型，深度学习的多数突破都建立在一个比人工智能本身古老得多的原则之上：去中心化。现代基于深度学习的AI模型之所以成功，并非依赖于一个强大的“中央规划者”来指挥其他组件，而是因为众多简单的单元通过局部交互，集体涌现出智能的全局行为。
本文将现代AI模型置于广义复杂系统的语境中，阐释为何去中心化能成为其如此强大的设计原则。
如果你曾思考过以下问题：
- 为何内部看似混沌的神经网络，其性能远超大多数解析清晰的统计机器学习模型？
- 能否在AI模型与其他自然智能系统（如昆虫群落、人脑、金融市场等）之间建立统一的视角？
- 如何借鉴自然智能系统的关键特征，以帮助设计下一代AI系统？
……那么，以去中心化为关键属性的复杂系统理论，将提供一个极具启发性的视角。
自然复杂系统中的去中心化
复杂系统可以粗略地定义为由许多相互作用的部分组成的系统，其整体行为远超出各部分个体行为的简单加总。在自然界和人类社会中，许多最具智能和适应性的系统都属于复杂系统家族，且在没有中央控制器的情况下运行。无论是观察人类集体、昆虫群落，还是哺乳动物的大脑，都能反复观察到同一现象：复杂的、协调一致的行为，从遵循局部规则的简单单元中涌现出来。
人类集体提供了最早有记载的例子之一。亚里士多德曾观察到：“许多人，尽管各自并不完美，但集体判断可能优于最优秀的人单独判断”（《政治学》，1281a）。现代实例——从陪审团到预测市场——都证实了去中心化的聚合可以胜过集中化的专家知识。自然界提供了更引人注目的例证：单只蚂蚁几乎没有全局知识，但蚁群却能发现通往食物的最短路径，或在环境变化时自我重组。人脑则代表了这一原则在最复杂尺度上的体现。大约860亿个神经元协同工作，却没有一个“主控神经元”在指挥；每个神经元只是对其接收到的来自少数其他神经元的输入做出反应。然而，记忆、感知和推理却从没有任何单个神经元编码的分布式活动模式中产生。
跨越这些领域，一个共同的信息清晰可见：智能往往并非源于自上而下的控制，而是来自自下而上的协调。这一原则不仅为理解自然系统，也为理解现代AI架构的设计与行为提供了强大的透镜。
AI的演进：从集中式学习到分布式智能
过去几年AI领域最引人注目的转变之一，是从主要依赖集中式、人工设计的方法，转向更分布式、自组织的方法。早期的统计学习方法通常类似于自上而下的设计：人类专家精心设计特征或规则，算法则基于少量数据，在强结构假设下优化单一模型。而如今最成功的AI系统——深度神经网络——则截然不同。它们由大量简单的计算单元（“人工神经元”）通过网络连接而成，从海量数据中协作学习，在特征和结构设计上极少需要人工干预。从某种意义上说，AI已经从“让一个聪明的算法搞定一切”的范式，转向了“让许多简单单元共同学习，让解决方案自行涌现”的范式。
集成学习
连接传统统计学习与现代深度学习方法的桥梁之一是集成学习的兴起。集成方法结合多个模型（“基学习器”）的预测来做出最终决策。不是依赖单一的分类器或回归器，而是训练一个模型集合，然后聚合它们的输出——例如通过投票或平均。其理念很直接：即使每个单独模型都不完美，但它们的错误可能互不相关，从而相互抵消。自2000年代末以来，随机森林和XGBoost等集成算法凭借这一洞见赢得了许多机器学习竞赛，至今在某些领域仍具竞争力。
统计学习 vs. 深度学习：集中化与去中心化之争
现在来审视这座桥梁的两侧。由Vapnik、Fisher等人形式化的传统统计学习理论，明确追求解析上的可处理性——无论是在模型本身还是其优化过程中。在这些模型中，参数在解析上是可分离的：它们直接与损失函数交互，而非通过彼此交互；诸如线性回归、支持向量机或线性判别分析等模型，其参数估计器具有闭式解，可以写成 θ ˆ=arg min θ L(θ) 的形式。即使没有闭式解，如逻辑回归或条件随机场，其优化过程通常也是凸的，因此在理论上具有良好的性质。
相比之下，深度神经网络在输入与输出之间不存在解析上可处理的关系。从输入到输出的映射是非线性变换的深度复合，其中参数是顺序耦合的；要理解模型的行为，必须对整个网络进行完整的前向模拟。同时，此类网络的学习动态由缺乏解析保证的迭代、非凸优化过程所支配。在这种双重意义上，深度网络表现出计算不可约性——它们的行为只能通过计算本身来揭示，无法通过解析表达式推导。
如果探究上述差异的根源，会发现这源于模型结构——正如预期的那样。在统计学习方法中，计算图是单层的：θ⟶f(x;θ)⟶L，没有任何中间变量，一个“中央规划者”（优化器）将全局信息直接传递给每个参数。然而，在深度神经网络中，参数被组织成层层堆叠的结构。例如，一个不带偏置项的多层感知机网络可以表示为 y=f L(W L f L−1(W L−1…f 1(W 1 x)))，其中每个权重矩阵 W l 影响下一层的激活。在计算梯度以更新参数 θ={W i}L i=1 时，不可避免地需要依赖反向传播逐层更新参数：
∇W l L=∂L∂h(L)∂h(L)∂h(L−1)…∂h(l)∂W l
这种结构耦合使得直接的、集中式的优化变得不可行——信息必须沿着网络的拓扑结构传播，形成一个不可分解的依赖图，在训练过程中需要前向和反向遍历。
值得注意的是，大多数现实世界的复杂系统，如上文提到的那些，都是去中心化且计算不可约的，这在斯蒂芬·沃尔夫勒姆的著作《一种新科学》中得到了坚实的支持。
| | 统计学习 | 深度学习 |
| — | — | — |
| 决策机制 | 集中式 | 分布式 |
| 信息流 | 全局反馈；所有参数同时获取信息 | 局部反馈；信号逐层传播 |
| 参数依赖 | 计算上可分离 | 动态相互依赖 |
| 推理本质 | 评估显式公式 | 模拟网络动态 |
| 可解释性 | 高——参数具有全局的、通常是线性的含义 | 低——分布式表征 |
信号传播：协调的“看不见的手”
关于去中心化系统，一个自然的问题是：这些系统如何协调其内部组件的行为？如上文所示，在深度神经网络中，这是通过梯度（梯度流）的传播实现的。在蚁群中，是通过信息素的扩散。你一定听说过亚当·斯密著名的“看不见的手”：价格是协调经济系统中各主体的关键。这些都是信号传播的具体案例。
信号传播是复杂系统的核心。一个信号代理压缩了系统的状态空间，并被系统中的每个主体用来确定其最优行为。以竞争性经济系统为例。在这样的系统中，商品的价格动态 p(t) 被用作信号代理，传递给系统中的主体以协调其行为。价格动态 p(t) 压缩并封装了其他主体的关键信息，例如他们对商品价值和成本的边际信念，从而影响每个主体的决策。与传播所有主体的完整信息相比，这有两大主要优势，分别对应信息压缩和封装：
- 更高的传播效率。 无需传输高维信息变量——例如每个主体的支付意愿函数——每次只传播一个标量。这种信息带宽的急剧减少，使得去中心化地收敛到市场出清均衡变得可行且稳定。
- 适当的信号保真度。 价格提供了一个具有恰到好处保真度的代理，能够引导竞争性市场在系统层面达到帕累托最优状态，这由阿罗与德布鲁（1954）在奠基性工作中形式化并证明。其背后的奥妙在于，当这个公共信号是唯一可用的信息时，每个主体都将自己视为当前价格水平的价格接受者，而非影响者，从而没有策略性行为的空间。
令人惊讶的是，即使不考虑传播效率，获取所有主体的完整信息也不会为市场系统带来更好的状态。这反而会引入策略耦合：每个主体的最优行动依赖于其他主体的行动，而这在完全信息下是可观察的。从每个主体的视角看，它不再求解形式如下的优化问题：
max a i∈A i(p,e i)u i(a i),A i(p,e i)={a i:C o s t(a i,p)≤e i}
相反，其行为由以下策略引导：
max a i∈A i(e i)u i(a i,a−i),A i(e i)={a i:Feasible(a i;e i)}
其中 a i 和 e i 分别是主体 i 的行动和禀赋，a−i 是其他主体的行动，p 是独立于任何单个主体行动的商品价格，u i 是主体 i 要最大化的效用。在可获取完全信息的情况下，每个主体能够推测其他主体的行为，因此 a−i 进入了主体 i 的效用函数，产生了策略耦合。经济系统因此最终收敛到纳什均衡，并遭受非合作行为固有的低效率（例如囚徒困境）。
从技术上讲，市场中的信号传播机制在结构上等同于一个平均场模型。其稳态对应于平均场均衡，该框架可被解释为平均场博弈的一个特例。自然界中的许多复杂系统也可以用特定的平均场模型来描述，例如大脑中的容积传输和昆虫群落中的信息素场模型。
神经网络中缺失的一环
与上述自然复杂系统类似，神经网络训练的动力学也在许多先前的工作中被平均场模型很好地刻画。然而，神经网络训练与大多数其他复杂系统的演化之间存在一个关键差异：目标函数的结构。在深度神经网络中，所有模块的更新动态都由一个集中式的、全局的损失函数 L(θ) 驱动；而在其他复杂系统中，系统更新通常由异质的、局部的目标驱动。例如，在经济系统中，主体改变行为是为了最大化各自的效用函数，并不存在一个覆盖所有主体并起作用的“全局效用”。
这一差异的直接后果是，在训练好的深度神经网络中缺失了竞争机制。模型中的不同模块形成了一个生产网络，共同贡献于单一最终产品——例如下一个词元，其中不同模块之间的关系纯粹是上下游协作关系（在强化学习及其他领域的市场架构中提出；可参考讲义幻灯片第4节的简化推导）。然而，众所周知，竞争压力会诱导经济系统中的主体进行功能特化，进而通过运作良好的交换为系统带来帕累托改进的潜力。类似逻辑也在人工引入神经网络的竞争中被发现：稀疏性惩罚在单元之间诱导了激活竞争，这抑制了冗余激活，驱动了功能特化，并经验性地提升了表征质量，正如Rozell等人（2008）所展示的，其中具有竞争性的局部竞争算法比非竞争基线产生了更精确的表征。因此，用适当的信号对模块内竞争进行建模，将是设计下一代AI系统的一个重要方向。
去中心化助力AI民主
在本文结尾，还需要探讨去中心化的伦理意涵。深度神经网络的去中心化结构为模型间的协作提供了技术基础。当智能分布在众多组件中时，组装、合并或协调不同模型以构建更强大系统成为可能。这样的架构天然支持一种更民主的AI形式，理想情况下没有单一模型能垄断影响力。这与亚里士多德“每个人，虽不完美，但都具备理性”的信念惊人地一致，尽管这里的“人”是由硅基材料构建的。
参考文献
– Aristotle. (1998). Politics (C. D. C. Reeve, Trans.). Hackett Publishing Company.
– Plato. (2004). Republic (C. D. C. Reeve, Trans.). Hackett Publishing Company.
– Smith, A. (1776). An inquiry into the nature and causes of the wealth of nations. W. Strahan & T. Cadell.
– Arrow, K. J., & Debreu, G. (1954). Existence of an equilibrium for a competitive economy. Econometrica, 22(3), 265–290.
– Rozell, C. J., Johnson, D. H., Baraniuk, R. G., & Olshausen, B. A. (2008). Sparse coding via thresholding and local competition in neural circuits. Neural Computation, 20(10), 2526–2563.
– Sudhir, A. P., & Tran-Thanh, L. (2025). Market-based architectures in RL and beyond.
– Hebb, D. O. (1949). The organization of behavior: A neuropsychological theory. Wiley.
– Vapnik, V. N. (1998). Statistical learning theory. Wiley.
– Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep learning. MIT Press.
– Wolfram, S. (2002). A new kind of science. Wolfram Media.
– Smith, A. (1776). An inquiry into the nature and causes of the wealth of nations. W. Strahan and T. Cadell.
– Lasry, J.-M., & Lions, P.-L. (2007). Mean field games. Japanese Journal of Mathematics, 2(1), 229–260.
– Hayek, F. A. (1945). The use of knowledge in society. American Economic Review, 35(4), 519–530.
