数据饥渴的时代：Kove 的软件定义内存如何突破物理限制？

在人工智能飞速发展的今天，现代社会对数据的需求日益增长，这使得确保足够的计算机内存以及可持续支持这些内存的电力成为一个重大挑战。

Kove 软件公司找到了一个巧妙的解决方案，通过将计算机内存进行集中管理并动态外包，大幅提升了内存效率。 Kove 的系统利用外部内存池，甚至可以比本地内存更快地生成结果。

对于 Kove 的客户来说，这种方法将服务器的功耗降低了高达 54%，并将运行复杂 AI 模型所需的时间缩短了 60 倍，使原本需要 60 天的训练任务仅需一天即可完成。

Kove 的首席执行官 John Overton 在过去 15 年里一直致力于开发这项软件解决方案。 他强调，满足对内存的高需求是计算机行业面临的最紧迫问题之一。 “你经常会听到人们抱怨内存不足，”他说，并指出 AI 和机器学习算法需要海量数据。

然而，计算机处理数据的速度受限于其内存容量，如果没有足够的内存，就会在任务执行过程中崩溃。 Kove 的软件定义内存 (SDM) 解决方案旨在通过将内存需求外包到外部服务器来缓解这一问题。

软件定义内存如何运作？

Overton 指出，许多计算机科学家认为将内存外包（至少要与本地处理数据一样高效）是不可能的。 这样的壮举将违反物理定律。

问题在于，电子只能以光速传播。 因此，如果一个外部服务器距离主机计算机 150 米，电子到达外部服务器必然会有约 500 纳秒的延迟：数据每传播 1 米大约会有 3.3 纳秒的延迟。 “人们一直认为这个问题无法解决，”Overton 说。

SDM 能够克服这一问题并以超高速利用内存池，因为它巧妙地划分了正在处理的数据。 它确保最适合在本地处理的数据保留在 CPU 中，而其他数据则驻留在外部内存池中。 虽然这并没有真正使数据传输速度超过光速，但它比使用 CPU 在本地处理所有数据更有效。 这样，SDM 实际上可以比将数据保存在本地时更快地处理数据。

“我们巧妙地确保处理器从本地主板获取所需的内存，”Overton 解释说。“结果非常惊人。” 例如，他指出他的客户之一 RedHat 在使用 SDM 后，延迟降低了 9%。

内存池带来的节能优势

SDM 方法的另一个关键优势是大幅降低了能源需求。 通常，科学家需要在他们可用的任何服务器上运行模型，并且经常需要在大型服务器上运行中等规模的模型，以适应内存需求的临时峰值。 这意味着为相对较小的计算任务运行更大、更耗能的服务器。

但是，当内存被集中管理并在不同的服务器之间动态分配时，就像 SDM 一样，就会使用所需的服务器内存量。 因此，实现相同结果所需的服务器更少，进而使用的电力也更少。 Kove 声称，Red Hat 与服务器公司 Supermicro 合作，通过使用 Kove 的系统，测量到节能率高达 54%。 这消除了公司为千兆字节任务购买太字节服务器的必要性，从而节省了成本并提高了效率。

“提供内存需要 200 毫秒，”Overton 说，并指出这大约是人眨眼的时间。“所以，你只需眨一下眼，就能获得所需的内存。”

Kove 的客户之一，全球金融信息网络 Swift，测试了 SDM 方法，在训练模型时，与在相同硬件上运行相同任务但使用传统内存方法的虚拟机相比，速度提高了 60 倍。

“想象一下，如果一个 60 天的任务只需要一天就能完成，或者一个小时的任务只需要一分钟就能完成。 这离我们软件的点击就完成只有一步之遥，”Overton 说。