NVIDIA推出Vera CPU,专为AI智能体循环设计,提供最高单线程性能。在智能体任务中,单核性能决定工具调用、代码执行等步骤速度,Vera相比x86提升1.8倍持续单核性能,已被Perplexity等企业采用,加速AI工厂GPU利用率。
大规模的最高单线程CPU,是专为智能体AI时代打造的全新CPU品类。
在智能体系统的创建和部署过程中,CPU始终处于推理、响应时间和学习的关键路径上。CPU执行AI模型所指令的工作:工具调用、代码执行、数据处理、KV缓存和结果分析。
对于AI工厂中的智能体,速度至关重要。CPU运行工具越快,智能体完成手头任务的速度就越快。
对AI工厂而言,GPU利用率是数据中心最宝贵的资源。任何等待任务完成的时间都会限制AI工厂的收入——更糟的是,如果CPU拖慢了GPU,GPU利用率就会下降。AI工厂需要一款具有最高单线程性能的CPU,以最大化收入和智能体性能。
当今的数据中心CPU并非为大规模速度而设计。虽然PC和工作站有快速CPU,但数据中心CPU一直在偏离单线程性能的方向。云计算的兴起迫使CPU制造商在牺牲性能的前提下增加核心数、降低成本。
为了优化每租户核心的成本,CPU厂商增加了每个芯片的核心数,却从那些让核心跑得更快的区域(如高性能内存结构和每个核心更快的指令处理)中拿走了硅面积。转向小芯片架构进一步降低了成本,但带来了“小芯片税”——每个CPU核心再也无法访问芯片的全部内存性能。
AI智能体需要一款为大规模最高单线程性能而设计的CPU。这样的CPU能在系统满载时保持每个智能体步骤快速完成:每个核心都能以全性能完成任务,不受其他核心拖累。大规模单线程CPU通过以下方式实现差异:
每个核心都能独立完成任务,提供出色的吞吐量,更重要的是,实现最快可能的单核任务性能。
NVIDIA Vera 正是这类新CPU设计的典范。
AI智能体不会在单个请求后停止运行。它进入一个循环:模型推理下一步,CPU执行模型周围的工作,结果返回,模型决定下一步,然后循环再次运行。
这种模式产生了传统CPU无法优化的需求特征。传统CPU工作间歇、由用户驱动,是短时的人机交互。智能体工作则是持续并行的:成群的智能体持续运行,每个都通过一连串步骤推进,每一步都依赖于前一步的结果。
更多的CPU核心意味着每个CPU能处理更多智能体任务,数据中心CPU需要大量核心以最大化任务吞吐量。
然而,增加核心数量并不能缩短单个智能体循环中每一步的时间。更多核心无法让单一任务跑得更快。事实上,为最大化核心数而设计的CPU甚至会因为核心争抢资源而降低单核性能。
单个核心的性能驱动着每一步的完成速度。额外核心的吞吐量有用但不充分。而且由于每个动作依赖于前一个结果,单核速度决定了循环推进的速度。

最终,最佳的智能体CPU需要每个核心提供最佳的单线程性能,且每个核心都能无妥协地发挥该性能。世界以秒计数,智能体以纳秒计数。NVIDIA Vera 正是为这种新类别——以及新速度——而打造。
NVIDIA Vera 是面向智能体循环从头设计的大规模单线程CPU:智能体使用工具、处理数据、运行代码和检查结果时,模型调用之间发生的工作。

Vera 的核心是 Olympus——NVIDIA 定制的 CPU 核心,每周期指令数比 NVIDIA Grace 高出50%。这很重要,因为许多智能体步骤是顺序的:工具调用、代码执行、测试运行或数据处理步骤必须在下一个模型调用使用结果之前完成。更快的核心能让每个循环更快推进。
Vera 将这些更快的核心与高达1.2TB/s的LPDDR5X内存带宽(内存功耗低于40瓦)配对,加上单片计算芯片,帮助活跃核心保持数据供给,并以3.4TB/s的核心间带宽(是任何其他数据中心CPU的3倍)实现可预测的数据移动。这使得所有88个核心都能享受CPU的全部内存性能,而不会产生拖慢每个核心的瓶颈。
结果是更快的智能体循环。在代表智能体执行的重载CPU工作负载中,Vera 提供持续单核性能是 x86 的1.8倍。
这些增益在工具调用、代码执行、数据处理和验证环节中累积,帮助AI工厂用已有的GPU完成更多智能体工作。
Perplexity 在其日常运行的智能体任务上测试了 Vera。运行一个真实的编码工作流——克隆仓库并在沙箱中运行测试套件——Vera 完成速度比 x86 快约1.5倍,同时启动并发沙箱快至1.9倍。Perplexity 正计划在即将上线的生产系统中部署 Vera。
智能体也依赖数据。它们不断查询、检索、过滤和移动信息,Vera 能更快地运行这些CPU端的数据工作负载。合作伙伴测量到使用 Starburst 进行大规模SQL分析快3倍,使用 Redpanda 进行实时流处理延迟低至6倍——均对标领先的x86服务器CPU。
智能体工作不是单一负载。智能体运行工具和沙箱、处理数据、服务请求、并通过强化学习训练下一个模型——所有这些都依赖同样的优势。一个 Vera 就能处理整个范围,无需为每种工作使用不同的CPU。而且由于 Vera 与 NVIDIA Vera Rubin 中托管GPU的CPU相同,并驱动 NVIDIA BlueField-4 STX 存储处理器,整个AI工厂可以基于单一架构和单一工具链运行。
NVIDIA 并未止步。下一代 Rosa CPU 搭载 Rigel 核心,将继续 NVIDIA 面向智能体AI时代的CPU路线图。Rigel 是 NVIDIA 下一代 Arm v9.2 CPU 核心,在保持相同硅面积的同时提供比 Olympus 更高的单核性能。关键改进包括更好的指令传递、更大的L2缓存以及更高效的内存处理。
在智能体AI时代,将有数十亿智能体,每一个都需要CPU来执行、检查、检索、运行和验证。在这个新市场中,完成的智能体工作就是产品。更快的智能体循环让每个GPU花更多时间产生收入,更少时间等待。
NVIDIA Vera 正是为那个未来而生的CPU。
了解更多关于 NVIDIA Vera CPU 的信息。
原文链接:NVIDIA AI Blog
本文由前途科技编辑整理
免费获取企业 AI 成熟度诊断报告,发现转型机会
关注公众号

扫码关注,获取最新 AI 资讯
3 步完成企业诊断,获取专属转型建议
已有 200+ 企业完成诊断