Google 向云用户开放 Gemini 核心训练系统 Pathways

Google Cloud 近日宣布，原本用于训练 Gemini 等前沿模型的分布式机器学习运行时架构 Pathways 正式在 Google Kubernetes Engine (GKE) 上可用。这一发布旨在让每一位 Google Cloud 用户都能使用与 Google 内部相同的单控制器运行环境，从而高效管理大规模 AI 工作负载。

运作机制

在传统的多控制器 JAX 设置中，每个 TPU 主机运行独立的 Python 解释器，且仅能识别其自身连接的设备。这种模式在扩展至大规模集群时，处理复杂或混合工作流往往显得脆弱。Pathways 引入了基于开源 Interim Framework Runtime 的单控制器模型，允许单个 JAX 客户端统一管理横跨数千颗芯片的多个 TPU 切片，使用体验类似于在本地连接设备。

该运行时具备多项关键弹性特性：

• 弹性训练：硬件故障时自动将任务缩减至健康切片，并在修复后自动扩展，无需重启任务。
• 挂起恢复：在预定抢占前将内存状态存入云存储，并利用热交换将中断任务移动至备用切片。
• 交互式操作：用户可通过 Notebook 进行交互式开发，或通过共享 Pathways 服务分摊 TPU 切片资源。

硬件生态与表现

该运行时支持 Ironwood (TPU7x)、Trillium (v6e) 及 TPU v5p/v5e 等硬件，兼容 JAX 0.10.1 及更高版本。此外，针对 Slurm 集群的集成功能目前处于预览阶段。Google 同时发布了第八代芯片 TPU 8tx 和 TPU 8i Max，并推动了 GKE 动态切片功能的广泛普及。

根据 Google 的数据，过去 90 天内，已有客户在 GKE 上通过 Pathways 消耗了超过 1.3 亿个 Cloud TPU 芯片小时。行业用户反馈称，该系统的自动化运维能力让机器学习工程师无需再疲于监控任务状态，从而能专注于核心研究工作。