Google Cloud Blog

Cloud Pathways, a distributed ML runtime for massive accelerator fleets, now GA

8.5内容质量
Cloud Pathways, a distributed ML runtime for massive accelerator fleets, now GA

TL;DR · AI 摘要

Google Cloud Pathways作为分布式机器学习运行时,现已GA,支持大规模加速器集群,提升AI训练和推理效率。

核心要点

  • Cloud Pathways通过单控制器架构管理数千个TPU芯片,降低异构工作负载管理复杂度
  • Python sidecar容器支持在TPU主机上直接运行数据加载等计算密集型任务
  • 弹性训练机制可在硬件故障时动态调整到N-1切片,保障训练连续性

结构提纲

按章节快速跳转。

  1. 宣布Cloud Pathways在GKE上正式可用,作为Google Cloud AI超计算机的核心运行时

  2. 传统多控制器架构难以应对大规模异构加速器集群的编程和管理复杂性

  3. 基于IFRT框架的单控制器架构实现跨TPU切片的统一资源管理

  4. 包含单控制器编排、Python sidecar、弹性训练等四大核心功能

  5. 通过主机内存快照实现故障时的动态重分片,保障训练连续性

  6. 预览版支持与Cluster Director集成,扩展至Slurm集群环境

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • Cloud Pathways架构
    • 核心创新
      • 单控制器编排
      • Python sidecar
      • 弹性训练
    • 应用场景
      • 多切片预训练
      • 分散式推理
      • 多程序强化学习
    • 集成生态
      • GKE
      • Slurm集群

金句 / Highlights

值得收藏与分享的关键句。

#Cloud Pathways#分布式机器学习#Google Cloud#TPU
打开原文

Cloud Pathways:分布式机器学习运行时正式发布 | Google Cloud 博客

AI 基础设施

Cloud Pathways:面向大规模加速器集群的分布式机器学习运行时现已正式发布

2026 年 11 月 9 日

##### Shaurya Gupta

Google 软件工程师

##### Monica Song

Google 产品经理

##### 立即体验 Gemini

职场 AI 的入口

立即体验

今天,我们非常高兴宣布 Cloud Pathways(云路径)在 Google Kubernetes Engine(GKE)上正式发布,作为 Google Cloud AI 超级计算机的核心运行时支柱。

Cloud Pathways 最初由 Google DeepMind 研发,用于训练和部署 Google 的前沿模型(包括 Gemini)。这是专为大规模异构加速器集群设计的分布式机器学习运行时。事实上,仅在过去 90 天内,领先的 AI 公司和全球企业就通过 GKE 上的 Cloud Pathways 处理了超过 1.3 亿个 Cloud TPU 芯片时,覆盖了多代 TPU。

借助 Cloud Pathways,所有 Google Cloud 客户都可以使用与 Google 最大规模 AI 工作负载相同的单控制器运行时、共置的 Python 侧车容器以及弹性容错机制。我们也很高兴宣布与 Cluster Director 的预览集成,通过该集成可将 Cloud Pathways 扩展到 Slurm 集群,支持统一的多切片 JAX 执行、弹性训练和交互式笔记本。

什么是 Cloud Pathways?

随着 AI 工作负载在数千个加速器上扩展,涵盖多切片预训练、解耦推理和多程序强化学习(RL)循环,传统的多控制器架构在编程和管理上变得越来越困难。在默认的多控制器 JAX 中,每个 TPU 主机都运行自己的独立 Python 解释器,仅能获取连接设备的局部视图,并以同步方式执行相同的 SPMD 程序,这使得异构 MPMD 工作流和跨切片资源管理变得复杂且脆弱。

Cloud Pathways 通过基于开源 Interim Framework Runtime(IFRT)的统一单控制器架构,取代了多控制器管理。通过设置 JAX_PLATFORMS=proxy 并使用 pathwaysutils,单个 JAX 客户端进程可以将数千个 TPU 芯片组成的多个大型 TPU 切片视为本地连接的设备进行统一视图和编排。

了解更多关于 Pathways 的信息,请访问我们的最新深度解析博客。

核心架构创新

Cloud Pathways 具备以下特性:

  • 单控制器编排:在 Cloud Pathways 中,单个控制器负责跨 TPU 切片的图评估、持久化 Cloud Storage 编译缓存以及异步 XLA HLO 分派。
  • 共置 Python 侧车容器:客户端侧的共置 Python 侧车容器(支持共享内存)允许您直接在 TPU 主机上运行计算密集型 Python 逻辑,例如分布式数据加载和检查点。
  • 弹性训练:Cloud Pathways 通过弹性训练(pathwaysutils)将作业生存能力与单个切片中断解耦,利用主机内存快照在硬件故障时动态将训练重新分片至 N-1 个切片,而无需崩溃客户端。
  • 交互模式与共享路径服务:通过交互模式,您可以在笔记本或终端中交互式运行、检查和调试 JAX 工作负载;通过共享路径服务,可按需在多个用户和作业之间共享长期运行的 Cloud TPU 切片池。

Frontier AI实验室、量化研究机构和全球消费平台已采用Cloud Pathways在GKE上运行关键任务生产工作负载,包括:

  • 超大规模多主机推理:全球最大的消费科技公司之一通过Cloud Pathways在数万台TPU v5p、Trillium(v6e)和Ironwood(TPU7x)芯片上运行生产批次和强化学习(RL)推理,每季度消耗超过1亿个芯片小时,并与Google联合设计弹性原语以扩展至预训练领域。
  • 科学基础模型的弹性预训练和多主机RL:Google Cloud客户ZenteiQ使用Cloud Pathways结合GKE的Cluster Toolkit(gcluster)、共置Python sidecar和主机快照功能,在多切片Trillium(v6e)集群上扩展弹性预训练(MaxText)和单控制器强化学习(MaxText + Tunix),用于其科学基础模型。

"在高成本加速器上运行多日预训练和后训练作业需要通过意外硬件故障和计划维护窗口实现可靠连续性。通过在Google Cloud AI超算堆栈上使用Cloud TPUs和MaxText运行Cloud Pathways,ZenteiQ依赖经过验证的控制器监控TPU拓扑结构,并在芯片或切片离线时动态重新划分和调整工作负载。在生产环境中将Pathways与主机快照结合使用,可在发生中断时将恢复时间降至最低,最大限度保持TPU可用容量的充分利用,且停机时间极短。我们的机器学习工程师不再需要花费时间监控作业状态或手动重启,可以专注于研究任务。" —— ZenteiQ创始人Sashikumaar Ganesan教授

入门Cloud Pathways

Cloud Pathways目前在所有支持Cloud TPU v5e、TPU v5p、Trillium(TPU v6e)和Ironwood(TPU 7x)的Google Cloud区域全面上线,提供版本化容器镜像(us-docker.pkg.dev/cloud-tpu-v2-images/cloud-pathways),支持JAX 0.10.1+。Cloud Pathways也以预览版形式在Cluster Director的Slurm TPU集群中提供。

开始使用Cloud Pathways的步骤:

  • 阅读概述:在AI超算文档中查看《Cloud上的Pathways简介》。
  • 部署集群:
  • GKE:按照分步指南通过Cluster Toolkit(gcluster)或gcloud CLI创建带有Pathways的GKE集群。
  • Slurm:通过Cluster Director按照分步指南部署Pathways。
  • 运行工作负载:深入阅读我们的生产指南,包括批量工作负载、交互式笔记本模式、弹性训练、多主机推理、JAX工作负载迁移和故障排除。

发布分类:

  • AI基础设施
  • TPUs