想象一下，如果人工智能不再需要庞大的数据中心，不再依赖于消耗巨量能量的传统神经网络，而是直接在芯片硬件上运行，那将是怎样的景象？这并非科幻，而是现实中正在发生的突破。
最近，一项发表在顶级机器学习会议上的研究成果，为我们揭示了这种可能性。研究人员利用逻辑门构建了全新的神经网络，这些网络直接嵌入到芯片硬件中，能够以更快的速度识别图像，同时消耗的能量也大幅降低。
传统的深度学习模型，例如GPT-4和Stable Diffusion，都是基于感知器构建的，这些感知器是模拟人类大脑神经元的简化模型。虽然感知器在数量庞大时能够展现出强大的能力，但它们也需要消耗大量的能量，甚至需要像微软那样，为了支持人工智能的发展，重新启用已经关闭的核电站。
问题在于，感知器仅仅是软件抽象，在GPU上运行感知器网络需要将网络转换为硬件语言，这需要耗费时间和能量。而直接使用硬件组件构建网络，则可以省去这些成本。未来，这些网络甚至可以集成到智能手机和其他设备的芯片中，极大地减少对服务器的数据传输需求。
斯坦福大学的博士后研究员Felix Petersen，正是这一突破的推动者。他设计了一种由逻辑门组成的网络，逻辑门是计算机芯片的基本构建模块。每个逻辑门由几个晶体管组成，接收两个比特（1或0）作为输入，并根据晶体管的特定模式输出一个比特。与感知器类似，逻辑门也可以串联成网络。而运行逻辑门网络则非常便宜、快速且简单，Petersen在神经信息处理系统（NeurIPS）会议上表示，逻辑门网络的能耗比感知器网络低数十万倍。
虽然逻辑门网络在图像标注等任务上的表现不如传统神经网络，但其速度和效率使其具有巨大的潜力。康奈尔大学电气与计算机工程教授Zhiru Zhang表示：“如果我们能够缩小差距，那么这将有可能在机器学习领域开辟许多新的可能性。”
Petersen最初并非为了构建节能的人工智能网络而研究逻辑门，而是出于对“可微分松弛”的兴趣。可微分松弛是一种将某些类型的数学问题转化为微积分可以解决的形式的策略。Petersen说：“这最初只是一个数学和方法论上的好奇心。”
反向传播算法是深度学习革命的关键，也是可微分松弛的明显应用场景。由于反向传播算法基于微积分，因此无法直接用于训练逻辑门网络。逻辑门只能处理0和1，而微积分需要对所有中间值进行计算。Petersen设计了一种方法，通过创建类似于逻辑门的功能，使逻辑门网络能够进行反向传播训练。这些功能在0和1上表现得像逻辑门，但也能对中间值给出答案。他使用这些逻辑门对模拟网络进行训练，然后将松弛的逻辑门网络转换回可以在计算机硬件中实现的形式。
这种方法的一个挑战是，训练松弛网络非常困难。网络中的每个节点都可能变成16种不同的逻辑门中的一种，并且必须跟踪和不断调整与每种逻辑门相关的16个概率。这需要大量的计算时间和能量。Petersen在NeurIPS会议上表示，训练他的网络比在GPU上训练传统神经网络要慢数百倍。在无法负担大量GPU的大学里，获得如此多的GPU时间非常困难。Petersen与斯坦福大学和康斯坦茨大学的同事合作开发了这些网络。他说：“这确实让研究变得非常困难。”
然而，一旦网络训练完成，成本就会大幅降低。Petersen将他的逻辑门网络与其他超高效网络（例如二进制神经网络）进行了比较。二进制神经网络使用简化的感知器，只能处理二进制值。逻辑门网络在CIFAR-10数据集上的图像分类任务中，与这些高效方法的表现相当。CIFAR-10数据集包含10个不同类别的低分辨率图像，从“青蛙”到“卡车”。逻辑门网络在实现这一目标时，所需的逻辑门数量不到其他方法的十分之一，所需时间不到千分之一。Petersen使用可编程计算机芯片（称为FPGA）测试了他的网络，FPGA可以用来模拟许多不同的逻辑门模式。在非可编程ASIC芯片中实现这些网络将进一步降低成本，因为可编程芯片需要使用更多组件才能实现其灵活性。
加州大学圣地亚哥分校电气与计算机工程教授Farinaz Koushanfar表示，她不确定逻辑门网络在面对更现实的问题时是否能够有效运行。她说：“这是一个有趣的想法，但我不知道它能否很好地扩展。”她指出，逻辑门网络只能通过松弛策略进行近似训练，而近似可能会失败。目前还没有出现问题，但Koushanfar表示，随着网络规模的扩大，这可能会成为更大的问题。
尽管如此，Petersen仍然雄心勃勃。他计划继续推动逻辑门网络的能力，并希望最终创造出他所说的“硬件基础模型”。一个强大的、通用的视觉逻辑门网络可以被直接大规模生产到计算机芯片上，这些芯片可以集成到个人手机和电脑等设备中。Petersen表示，这将带来巨大的节能效益。例如，如果这些网络能够有效地从低分辨率信息中重建照片和视频，那么在服务器和个人设备之间传输的数据量将大大减少。
Petersen承认，逻辑门网络在性能上永远无法与传统神经网络相媲美，但这并不是他的目标。创造出能够正常工作且尽可能高效的东西就足够了。他说：“它不会是最好的模型，但它应该是最便宜的。”
