TPU推理Kimi反超英伟达57%：vLLM原班团队用megakernel榨干硬件

在同等规模的硬件对抗中，谷歌 TPU 跑出了超越英伟达顶级 GPU 的成绩。

推理初创公司 Inferact 近期公布了一组基准测试数据：使用 16 块谷歌 TPU v7 运行 Kimi K3 模型，输出吞吐量达到每秒 709 个 Token，相比同规格的 16 块英伟达 GB200（每秒 452 Token）提升了 57%。

做出这一突破的 Inferact 团队由知名开源推理引擎 vLLM 的原班核心人马创立。他们为 TPU 专门设计了名为 megakernel 的底层方案，把模型推理时原本需要调度的数百个小程序整合成一个大程序，将片上内存与带宽利用率推向理论极限。

目前，这套优化内核代码已在 GitHub 上开源。

硬件规格逆转：带宽更低，速度反而更快 57%

测试由 16 块 TPU v7 Ironwood 与 16 块英伟达 GB200 正面对决，双方均运行 Kimi K3，使用 vLLM 推理引擎，唯一的变量是芯片与底层 Kernel 实现。

709 Token/s 的高吞吐部分得益于 DeepSeek 提出的 DSpark 推测解码框架。该方案由小模型先快速生成候选 Token 序列，再由大模型批量验证。在 TPU 上，该流程的平均接受长度达到 6，单步解码耗时仅约 8.5 毫秒。

即便关闭推测解码，TPU 的原生裸速依然优势明显：

• Batch Size = 1 时，TPU 每秒输出 249 Token，GB200 为 127 Token，性能接近翻倍；
• Batch Size = 8 时，TPU 达到 865 Token/s，GB200 为 636 Token/s；
• 在 Qwen 3.8 27B 的测试中，4 块 TPU v7 跑出了 1515 Token/s，而 4 块 GB200 仅为 695 Token/s。

加速并未牺牲模型精度。经测试，Kimi K3 在 TPU 上的 GPQA-Diamond 得分为 94.4%，GSM8K 为 97.2%，与 GPU 上的评测结果完全一致。

从硬件参数来看，这一结果十分反直觉：TPU v7 的 HBM 带宽为 7380 GB/s，低于 GB200 的 8000 GB/s。显存带宽更低的硬件实现了更高的性能，关键变量在于上层的算子调度逻辑。

megakernel：把几百个独立算子焊成一个程序

大模型推理的核心性能瓶颈并非算力，而是数据搬运。每生成一个 Token，模型的全部权重都需要从 HBM 主存搬运到芯片内部的高速片上缓存，处理完成后再进行下一轮读取。

传统方式将推理流程拆解为数百个独立的 Kernel，排队依次执行。前一个 Kernel 结束到下一个 Kernel 启动之间存在调用间隙，导致显存带宽短时间空转。即使通过 CUDA Graphs 等机制缩小间隙，Kernel 之间的逻辑边界依然存在。

Inferact 的 megakernel 直接打破了这层边界。以 Kimi K3 为例，其包含 92 层 MoE 计算，Inferact 将整整 92 层的计算逻辑全部封装进单个 Pallas 程序中，单次调用即可走完整个前向传播。

边界消除后，跨层权重预取（Prefetching）得以顺畅实现：当芯片还在计算第 N 层的 MoE 时，第 层的 Attention 权重就已经开始向片上缓存搬运。计算与数据传输全面重叠，几乎消除了带宽空转。

TPU 的硬件架构为这种编排提供了天然支撑：

1. 显式内存控制：TPU v7 的每个 TensorCore 配备 64 MiB VMEM 片上内存，其生命周期完全由软件接管，工程师可以精准掌控数据加载与释放时机；相比之下，英伟达 Blackwell 架构的片上内存分散在 152 个 SM 内（总计约 38 MiB），主要由硬件自动调度，精细化流水线控制门槛更高。
2. 绕过 XLA 自动编译：Inferact 采用谷歌底层的 Pallas 语言手写了全部算子逻辑。XLA 擅长单层自动优化，但面对跨 92 层的全局调度难以找到最优策略。手写 megakernel 不仅突破了调度瓶颈，还将编译耗时从 30 分钟以上压缩至不到 90 秒，极大提升了调试与工程迭代效率。