谷歌与亚马逊相继开源原生 PyTorch 后端工具 TorchTPU 与 TorchNeuron,开发者仅需修改配置即可将 AI 模型无缝迁移至自研芯片,以此降低对英伟达 CUDA 生态的长期依赖。
谷歌与亚马逊正加紧争夺 AI 开发者,试图打破英伟达对 AI 算力市场的深度绑定。
谷歌宣布正式开源专为其张量处理单元(TPU)打造的原生 PyTorch 后端 TorchTPU。而在此前一天,亚马逊也发布了功能类似的工具 TorchNeuron。两家云巨头不约而同将目标对准了软件层生态——正是这层生态让绝大多数 AI 应用牢固地绑定在英伟达的 GPU 之上。
PyTorch 是目前绝大多数 AI 开发者训练和运行开源模型的首选框架,但其过往的大量功能与底层实现均围绕英伟达硬件构建。这两款新工具的核心价值,在于让开发者通过修改配置项,而非重写代码,就能将现有的 PyTorch 工作流直接迁移到竞品芯片上运行。

TorchTPU 由谷歌与 Meta 的 PyTorch 团队联合开发,并在加州圣何塞举办的北美 PyTorch 大会上正式公开。该项目基于 Apache 2.0 协议在 GitHub 上开源。
谷歌表示,为了让主流工具在 TPU 上的表现与原生 PyTorch 保持一致,公司与 Meta、Hugging Face、vLLM 开发团队 Inferact 以及 SGLang 团队 RadixArk 展开了深入协作。此外,谷歌还推出了 TPU Agent 工具套件,协助开发者完成应用迁移与排错。SGLang 团队透露,其适配 TorchTPU 的推理服务引擎已经在 Meta 的生产环境中部署运行;谷歌也表示,全新适配的 vLLM 和 SGLang 引擎已在为预览版客户提供规模化服务。
亚马逊则推出了针对 Trainium2 和 Trainium3 芯片实例的 TorchNeuron,并以开源公测形式发布。开发者只需将 PyTorch 的设备配置修改为「neuron」即可启用。
亚马逊旗下 Annapurna Labs 芯片业务高管 Colin Brace 指出,在 TorchNeuron 推出之前,开发者必须重写 PyTorch 代码以调用 Trainium 特定的接口。与此同时,亚马逊也在向 PyTorch 主干项目提交补丁,致力于剔除框架中绑定特定芯片的代码逻辑。
尽管两大巨头极力降低迁移门槛,但首发版本仍存在明显局限。
例如,TorchNeuron 目前尚不支持动态输入形状(Dynamic input shapes)等特性,且跳过了约 2.2 万项 PyTorch 原生测试用例。谷歌方面也坦承,开发者若想在 TPU 上压榨出极致性能,仍需要微调模型设计或编写定制代码。
英伟达的核心护城河依然是其深耕多年的 CUDA 软件生态,包括其积累深厚的库函数和调试工具链。即便跨芯片迁移变得更加平滑,也并不意味着开发者会在短期内大规模脱离英伟达硬件。但亚马逊与谷歌的接连动作表明,打破英伟达生态垄断的攻势已全面铺开。
免费获取企业 AI 成熟度诊断报告,发现转型机会
关注公众号

扫码关注,获取最新 AI 资讯
3 步完成企业诊断,获取专属转型建议
已有 200+ 企业完成诊断