神经形态计算：一场即将到来的革命
受大脑启发的计算机硬件的构建工作已经进行了数十年，但该领域尚未迎来突破性时刻。现在，领先的研究人员表示，构建首批能够解决实际问题的规模庞大的神经形态设备的时机已经成熟。
近年来，人工智能取得的进展得益于神经网络，这些神经网络从大脑中获得灵感，展示了从生物学中汲取灵感的技术潜力。但这种相似性仅仅停留在表面，当今人工智能背后的算法和硬件与生物神经元的工作方式有着根本的不同。
神经形态工程师希望通过设计更忠实地复制大脑工作方式的技术，我们能够模仿其惊人的计算能力和能源效率。这种方法的核心是使用脉冲神经网络，其中计算神经元通过模拟其生物对应物，使用活动脉冲进行通信，而不是传统神经网络中使用的数值。尽管进行了数十年的研究，并且私营部门的兴趣日益浓厚，但大多数演示仍然处于小规模阶段，这项技术尚未实现商业突破。
在今年一月发表在《自然》杂志上的一篇论文中，该领域的一些领先研究人员认为这种情况很快就会改变。他们认为，神经形态计算已经从学术原型发展到能够应对现实世界挑战的生产就绪设备，现在已经准备好迈向大规模系统。IEEE Spectrum采访了该论文的作者之一，史蒂夫·弗伯，他是ARM微处理器的首席设计师——这项技术现在为大多数手机提供动力——也是SpiNNaker神经形态计算机架构的创造者。
史蒂夫·弗伯谈…
- 为什么神经形态计算处于一个关键的转折点
- 软件与硬件
- 打破研究壁垒
- 规模与生物学上的合理性
- 忆阻器的影响
神经形态计算为何处于关键转折点？
史蒂夫·弗伯：我们已经证明，这项技术能够以几乎任意规模支持脉冲神经网络，并且可以使用它们做一些有用的事情。当前时刻的关键在于，我们真正需要一些杀手级应用的演示。
SpiNNaker项目始于 20 年前，其重点是为脑科学做出贡献，而神经形态学是构建大脑细胞功能模型的明显技术。但在过去的 20 年中，重点已经转移到工程应用。为了在工程领域真正腾飞，我们需要一些神经形态优势的演示。
在过去的 20 年中，基于不同类型神经网络的主流人工智能出现了爆炸式增长。这非常令人印象深刻，显然产生了巨大的影响，但它也开始遇到一些严重的问题，特别是在大型语言模型 (LLM) 的能源需求方面。现在人们期望神经形态方法可以通过大幅降低这些不可持续的能源需求来做出贡献。
SpiNNaker团队组装了一台百万核神经形态系统。SpiNNaker
我们即将拥有能够以神经形态形式支持 LLM 的规模的神经形态系统。我认为在频谱的较小端也有许多重要的应用发展。特别是在传感器附近，使用类似于基于事件的图像传感器和神经形态处理系统可以提供非常低能耗的视觉系统，可以应用于安全、汽车等领域。
规模庞大的神经形态计算机与现有系统相比如何？
弗伯：已经有很多例子，比如英特尔的 Loihi 2 大型系统，Hala Point。这是一个非常密集的大规模系统。我们自 2016 年以来一直在运行服务的 SpiNNaker 1 机器 [在英国曼彻斯特大学] 在系统中拥有 50 万个 ARM 内核，到 2018 年扩展到 100 万个。这是一个相当大的规模。我们与 SpiNNaker 2 的合作者 [总部位于德国德累斯顿的 SpiNNcloud Systems] 正在开始销售 500 万核级别的系统，他们将能够运行相当庞大的 LLM。
现在，这些系统需要为神经形态平台进行多少演变，这是一个尚未得到解答的问题。它们可以以相当简单的方式进行转换以使其运行，但这种简单的转换不一定能获得最佳的能源性能。
硬件不是真正的问题，而是如何在其之上有效地构建东西？
弗伯：是的，我认为过去 20 年见证了概念验证硬件系统以所需的规模出现。如何充分利用它们是差距所在。其中一些只是复制为基于 GPU 的机器学习开发的有效且有用的软件堆栈。
可以在神经形态硬件上构建应用程序，但这仍然不合理地困难。最大的缺失部分是类似于 TensorFlow 和 PyTorch 的高级软件设计工具，这些工具使构建大型模型变得简单，而无需深入到描述每个神经元的细节。
如何打破神经形态技术多样性带来的研究壁垒？
弗伯：尽管硬件实现通常非常不同，但下一级有很多共同点。所有神经形态平台都使用脉冲神经元，而神经元本身是相似的。在较低级别，您有各种细节，但这可以通过实现一层软件来弥合这些较低级别硬件差异与较高级别共性的差距。
我们在这一方面取得了一些进展，因为在欧盟的人脑计划中，我们有一个小组一直在开发 PyNN 语言。它同时支持 SpiNNaker（一个多核神经形态系统）和海德堡大学的 BrainScaleS 系统（一个模拟神经模型）。
但事实是，许多神经形态系统是在实验室中开发的，只供该实验室的其他人使用。因此，它们没有为推动共性做出贡献。英特尔一直在努力通过在其 Loihi 系统上构建 Lava 软件基础设施 并鼓励其他人参与来做出贡献。因此，在这方面有一些进展，但还远远没有完成。
SpiNNaker 团队的一名成员检查了该公司的百万核机器。史蒂夫·弗伯
神经形态技术需要多大的生物学合理性？
弗伯：我认为硬件平台和使用的神经元模型的多样性是研究领域的一个优势。多样性是探索空间并获得最大机会找到开发严肃的大规模应用程序的最佳答案的机制。但一旦你做到了，是的，我认为你需要减少多样性，更多地关注共性。因此，如果神经形态即将从一个主要由研究驱动的领域转变为一个主要由应用驱动的领域，那么我们预计会看到这种变化。
为了实现规模，是否需要牺牲一些生物学上的合理性？
弗伯：在生物保真度和工程可控性之间存在权衡。复制 LLM 中使用的极其简单的神经模型不需要大量的生物保真度。现在，可以争辩说，如果你能够整合更多生物细节和功能，你就可以将这些模型所需的 neuron 数量减少一个显著的因素。如果这是真的，那么最终整合这些更复杂的模型可能值得。但这仍然是一个巨大的研究问题，需要证明这一点。
近年来，忆阻器——模拟神经元部分功能的存储设备——引起了很多关注。这是否改变了人们对神经形态计算的看法？
弗伯：我认为正在开发的技术有可能在提高极低级别硬件效率方面带来变革。但当我观察英国的神经形态研究领域时，其中很大一部分都集中在新型器件技术上。可以说，这方面的关注有点过分，因为系统问题在所有方面都是一样的。
除非我们在系统级问题上取得进展，否则底层技术是什么并不重要，我们已经拥有支持系统级问题进展的平台。
论文表明，大规模神经形态计算的时机已经成熟。近年来发生了哪些变化让你对这一点持乐观态度，或者这更像是一声号召？
弗伯：介于两者之间。有证据表明它正在发生，神经形态领域有许多有趣的初创公司能够生存下来。因此，这证明了拥有大量可用资金的人们开始准备在神经形态技术上投入资金。更广泛的社区相信神经形态的时代即将到来。当然，主流机器学习在能源方面面临的巨大问题，这是一个迫切需要解决方案的问题。一旦有令人信服的证据表明神经形态可以改变这种状况，我认为我们将看到事情开始转变。
