模拟人工智能的能量革命：EnCharge AI 的突破

普林斯顿大学的 Naveen Verma 实验室就像一个博物馆，展示了工程师们为了实现超高效人工智能而尝试过的各种方法，这些方法利用模拟现象而非数字计算。在一个工作台上，放置着有史以来最节能的基于磁性存储器的类神经网络计算机。在另一个工作台上，你会发现一个基于电阻存储器的芯片，它可以计算出迄今为止任何模拟人工智能系统中最大的数字矩阵。

根据 Verma 的说法，这两者都没有商业化的未来。更不客气地说，他实验室的这部分就像一个坟场。

模拟人工智能多年来一直吸引着芯片架构师的想象力。它结合了两个关键概念，可以使机器学习的能耗大幅降低。首先，它限制了内存芯片和处理器之间昂贵的比特移动。其次，它利用电流流动的物理特性来高效地进行机器学习的关键计算，而不是使用逻辑中的 0 和 1。

尽管这个想法很有吸引力，但各种模拟人工智能方案并没有以真正能够解决人工智能惊人能耗的方式实现。Verma 深知这一点。他尝试过所有这些方案。

但当《IEEE Spectrum》一年前访问时，Verma 实验室的后面有一个芯片，它为模拟人工智能以及使人工智能变得有用和无处不在所需的节能计算带来了一些希望。该芯片不是用电流进行计算，而是对电荷进行累加。这似乎是一个微不足道的区别，但它可能是克服阻碍所有其他模拟人工智能方案的噪声的关键。

本周，Verma 的初创公司 EnCharge AI 推出了基于这种新架构的首款芯片 EN100。这家初创公司声称，该芯片以高达竞争芯片 20 倍的每瓦性能处理各种人工智能工作。它被设计成一个单处理器卡，在 8.25 瓦的功耗下每秒执行 200 万亿次运算，旨在节省支持人工智能的笔记本电脑的电池寿命。除此之外，一个 4 芯片、每秒执行 1000 万亿次运算的卡被用于人工智能工作站。

电流与巧合

在机器学习中，“事实证明，我们主要进行的运算就是矩阵乘法，”Verma 说。这基本上是取一个数字数组，用另一个数组乘以它，然后将所有这些乘法的结果加起来。工程师们很早就注意到一个巧合：电气工程的两个基本定律可以精确地执行这种运算。欧姆定律指出，电流等于电压乘以电导。基尔霍夫电流定律指出，如果有一堆电流从一堆导线流入一个点，那么这些电流的总和就是从该点流出的电流。因此，基本上，一堆输入电压中的每一个都通过一个电阻（电导是电阻的倒数）推动电流，将电压值相乘，所有这些电流加起来产生一个单一的值。数学运算完成了。

听起来不错？好吧，它会变得更好。构成神经网络的大部分数据是“权重”，即你用来乘以输入的东西。将这些数据从内存移动到处理器的逻辑中进行运算，是 GPU 消耗大量能量的原因之一。相反，在大多数模拟人工智能方案中，权重存储在几种类型的非易失性存储器中之一，作为电导值（上面的电阻）。由于权重数据已经位于需要进行计算的位置，因此不需要移动太多，从而节省了大量的能量。

免费数学运算和固定数据的结合，承诺只需要千分之一万亿焦耳的能量就能进行计算。不幸的是，这与模拟人工智能的努力所提供的结果相去甚远。

电流的麻烦

任何类型的模拟计算的基本问题一直是信噪比。模拟人工智能在这方面有很多问题。信号，在这种情况下是所有这些乘法的总和，往往会被许多可能的噪声源淹没。

“问题是，半导体器件是混乱的东西，”Verma 说。假设你有一个模拟神经网络，其中权重存储在各个 RRAM 单元中的电导中。这些权重值通过在 RRAM 单元上施加相对较高的电压一段时间来存储。问题是，你可以在两个单元上施加相同的电压，持续相同的时间，但这两个单元最终会具有略微不同的电导值。更糟糕的是，这些电导值可能会随着温度而变化。

这些差异可能很小，但请记住，运算是在对许多乘法进行累加，因此噪声会被放大。更糟糕的是，由此产生的电流随后被转换为电压，成为下一层神经网络的输入，这一步会进一步增加噪声。

研究人员从计算机科学的角度和器件物理学的角度来解决这个问题。为了补偿噪声，研究人员发明了将器件物理缺陷的一些知识烘焙到他们的神经网络模型中的方法。其他人则专注于制造尽可能可预测的器件。IBM 在该领域进行了广泛的研究，它同时做这两件事。

这些技术在竞争中，如果不是已经取得商业成功的话，那么在规模较小的系统中，这些芯片旨在为物联网网络边缘的设备提供低功耗机器学习。早期进入者 Mythic AI 已经生产了不止一代模拟人工智能芯片，但它正在与低功耗数字芯片取得成功的领域竞争。

用于 PC 的 EN100 卡是一种新的模拟人工智能芯片架构。
EnCharge AI

电容器到底

EnCharge 的解决方案通过测量机器学习中乘加运算中的电荷量而不是电荷流来消除噪声。在传统的模拟人工智能中，乘法取决于电压、电导和电流之间的关系。在这种新的方案中，它取决于电压、电容和电荷之间的关系——其中，电荷基本上等于电容乘以电压。

为什么这个区别很重要？它归结为执行乘法的组件。EnCharge 使用电容器，而不是使用像 RRAM 这样的易变且脆弱的器件。

电容器基本上是两个夹着绝缘体的导体。导体之间的电压差会导致电荷累积在其中一个导体上。对于机器学习而言，关键的一点是，它们的电容值是由它们的大小决定的。（更多的导体面积或导体之间的间距更小意味着更大的电容。）

“它们唯一依赖的是几何形状，基本上是导线之间的间距，”Verma 说。“而这是你在 CMOS 技术中可以非常非常精确地控制的唯一东西。”EnCharge 在其处理器硅片上方的铜互连层中构建了一个精确值电容器阵列。

构成大多数神经网络模型的数据，即权重，存储在一个数字存储单元阵列中，每个单元都连接到一个电容器。然后，神经网络正在分析的数据使用内置在单元中的简单逻辑乘以权重位，并将结果存储为电容器上的电荷。然后，该阵列切换到一种模式，在这种模式下，所有来自乘法结果的电荷都会累积，并将结果数字化。

虽然最初的发明可以追溯到 2017 年，对 Verma 的实验室来说是一个重要的时刻，但他表示，基本概念已经很老了。“它被称为开关电容操作；事实证明，我们已经做了几十年了，”他说。例如，它被用于商用高精度模数转换器。“我们的创新之处在于，我们想出了如何在一个执行内存计算的架构中使用它。”

竞争

Verma 的实验室和 EnCharge 花了数年时间证明该技术是可编程的和可扩展的，并将其与适合人工智能需求的架构和软件堆栈共同优化，而这些需求与 2017 年大不相同。由此产生的产品现在正在与早期访问的开发人员合作，而该公司——最近从三星风险投资公司、富士康等公司筹集了 1 亿美元——计划进行另一轮早期访问合作。

但 EnCharge 正在进入一个竞争激烈的领域，其中包括大人物英伟达。在 3 月份的 GTC 大型开发者活动中，英伟达宣布计划推出基于其 GB10 CPU-GPU 组合的 PC 产品，以及基于即将推出的 GB300 的工作站。

EnCharge 追求的低功耗领域也将面临激烈的竞争。其中一些甚至使用了一种内存计算的形式。例如，D-Matrix 和 Axelera 采用了模拟人工智能的部分承诺，将内存嵌入到计算中，但所有操作都是数字化的。他们各自开发了定制的 SRAM 存储单元，这些单元既存储又乘以，并以数字方式执行求和运算。甚至至少还有一家更传统的模拟人工智能初创公司参与其中，即 Sagence。

不出所料，Verma 持乐观态度。这项新技术“意味着先进、安全和个性化的 AI 可以本地运行，而无需依赖云基础设施，”他在一份声明中说。“我们希望这将从根本上扩展你使用 AI 的能力。”