Now generally available: GKE dynamic slicing for higher resilience, and efficiency for TPUs

TL;DR · AI 摘要
GKE动态切片功能正式发布,通过解耦TPU物理节点与逻辑切片,使AI工作负载启动时间缩短5倍,恢复效率提升4.5倍。
核心要点
- 动态切片使TPU工作负载启动时间缩短5倍,恢复效率提升4.5倍
- 通过TPU光学电路交换技术实现超级切片和子切片动态组合
- 支持多租户打包,可利用部分健康的节点池提升资源利用率
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- GKE动态切片
- 核心机制
- TPU光学电路交换(OCS)
- 性能提升
- 启动时间-5x
- 恢复效率+4.5x
- 关键特性
- 零停机拓扑调整
- 多租户资源打包
金句 / Highlights
值得收藏与分享的关键句。
动态切片技术使TPU工作负载启动时间缩短5倍,恢复效率提升4.5倍
通过TPU光学电路交换技术(OCS)实现超级切片和子切片动态组合
支持多租户打包,可利用部分健康的节点池提升资源利用率30%
在TPU上使用GKE动态切片 | Google Cloud Blog
容器与Kubernetes
现已正式发布:GKE动态切片技术,提升TPU弹性与效率
2026年11月10日
##### Kavitha Gowda
Google Cloud 产品经理
##### Wenzhe Li
Google Cloud、Cloud AI 工程经理
##### 今天体验Gemini
职场AI的入口
立即体验
在TPU和Google Kubernetes Engine(GKE)上运行大规模AI工作负载需要能够快速适应模型变化的基础设施。GKE现已正式推出动态切片功能,该功能将逻辑TPU切片的形成与物理节点池的配置解耦。
与为每个TPU切片创建静态节点池相比,动态切片可将AI工作负载的启动时间缩短至原来的1/5,恢复速度提升至原来的4.5倍——在大规模场景下最大化TPU吞吐量、效率和工作负载弹性。
超越单一工作负载对应单一节点池的限制
此前,在GKE标准环境下管理TPU容量需要使用独立的固定TPU切片拓扑节点池,这增加了启动时间与复杂度,同时阻止了多主机节点池承载多个AI工作负载。当工作负载需求变化时,需要手动删除并重新创建节点池。此外,这种紧密耦合的架构会形成大规模故障域,单个硬件故障可能导致整个切片崩溃,在重新配置期间延长恢复时间。
为解决这些挑战,我们推出了GKE动态切片技术,该技术将物理硬件配置与逻辑切片形成解耦,通过TPU光电路交换(OCS)技术动态拼接TPU立方体,形成各种更大的切片拓扑结构(超切片),或分割TPU立方体为更小的切片,使多个工作负载可在同一节点池内运行(子切片)。通过按需动态组装自定义TPU切片拓扑结构,而无需删除和重新创建静态节点池,动态切片可减少作业启动延迟,限制硬件故障影响范围,加速工作负载恢复,并提升集群利用率和效率。
动态切片为平台团队带来多项关键改进:
- 零停机时间的拓扑灵活性:彻底消除僵化的"删除-创建"节点池循环,可动态拼接TPU立方体(16个虚拟机节点池)形成大型TPU切片,或在提交AI工作负载时即时分割出更小切片。
- 最高5倍加速的作业启动:通过即时从预配置的TPU节点池组装逻辑切片拓扑结构,而非等待缓慢的新节点池部署,将作业启动时间缩短至原来的1/5。
- 提升的集群利用率:通过在节点池内对小型工作负载进行多租户打包,提高资源效率并消除空闲容量。此外,支持部分健康节点池的配置,从而利用原本无法使用的健康主机。
- 最高4.5倍加速的恢复与容错能力:通过将大切片故障隔离到单个TPU立方体(4x4x4拓扑结构的16个虚拟机)内,并在1至2分钟内替换不健康的立方体,加速恢复。
- 增强的可见性与控制能力:提供对每个立方体内潜在TPU分区(切片)的全面洞察,涵盖实时健康状态和使用指标,支持主动优化的工作负载调度。
动态切片架构
GKE 动态切片提供两种形式:超切片(super-slicing),用于创建规模超过单个 TPU 立方体的大型 TPU 切片;以及子切片(sub-slicing),可从单个立方体中按需分配更小的独立切片。
#### 动态超切片
GKE 动态超切片利用 TPU 光学电路交换(OCS)技术,在工作负载调度时动态连接 TPU 立方体(由 16 台虚拟机组成,配置为 4x4x4 切片拓扑)。通过动态调整 OCS 网络配置,可创建更大规模的切片拓扑,精准匹配 Kubernetes 工作负载清单中定义的切片需求,显著提升运营效率。
超切片本质上依赖于将所有可用 TPU 容量转换为统一的节点池,每个节点池由 16 台虚拟机(4x4x4)的 TPU 立方体组成。当 Kubernetes 工作负载 YAML 文件中指定 TPU 切片拓扑时,GKE 调度器(或自定义调度器)会识别该请求并启动切片创建流程。该过程通过 TPU 光学电路交换机将多个 4x4x4 立方体拼接,动态生成目标切片拓扑,并将工作负载直接调度到新建立的超切片上。
4x4x16 超切片(包含 64 个 Ironwood 虚拟机和 256 个芯片)通过四个 Ironwood 立方体(同样作为 GKE 节点池部署)构建。运行时,系统会动态拼接这四个立方体中所有 TPU 芯片的网络,完成切片创建。
#### 动态子切片
动态子切片可按需将单个预配置的 TPU 立方体(16 虚拟机节点池)分割为更小的独立子切片。您可以管理统一的 TPU 立方体资源池,并按需进行分割。通过这种方式,不同工作负载可同时在同一个物理 TPU 立方体内运行,实现完全隔离。这显著提升了资源利用率,即使立方体部分区域出现故障,仍可通过健康分区运行工作负载。
当工作负载被调度时,子切片会从 Kubernetes 清单中动态解析其特定的切片拓扑需求。随后系统会在立方体中定位健康分区,激活高速芯片互联(ICI)网络构建子切片,并将工作负载部署到新创建的切片上。工作负载完成后,调度器会自动解构("变形")切片,将分区返回共享池,无需重新创建 GKE 节点池即可立即用于后续工作负载。
GKE 子切片如何动态将 16 节点的 TPU 立方体分割为更小的独立切片(例如 2x2x4(16 芯片)至 2x2x2),以实现 TPU 资源的最优利用。
#### 客户使用场景
您可通过动态切片构建大规模 TPU 切片拓扑,满足从单个 8000 芯片切片到数千芯片多切片配置,甚至单节点四芯片配置的各类大规模训练需求。这支持同一环境内多种异构 AI 工作负载的运行。专为超大规模工作负载设计,动态切片可为跨数千加速器运行的 AI 工作负载提供高可靠性与运营效率。子切片功能则可灵活扩展从小型到大型部署的推理工作负载,实现资源利用效率最大化。
#### 适用于 GKE 的动态切片调度器
GKE 提供了针对动态切片优化的可部署调度器,您也可以使用自定义调度器来管理工作负载的放置。这种灵活性使得可以根据主动健康状态监控进行智能工作负载调度。更多详情请参阅我们的文档。
入门指南
#### 预分配节点池
要开始使用,您必须执行一次性的预分配操作,将 TPU 容量预先分配到每个包含 16 台虚拟机的节点池(对应一个 TPU 立方体或子块)。这种基础转换允许按需将这些单元动态拼接成自定义切片拓扑。
动态切片引入了一种新的节点池类型,称为增量预配节点池。增量预配节点池是一种容错模型,取代了传统创建 TPU 切片的“全有或全无”方法。GKE 即使在 4x4x4(16 台虚拟机)切片中的某些主机出现故障时,也会使用所有可用的健康主机来预配节点池。系统会持续协调状态,一旦故障主机恢复,会自动添加待处理的节点。
这种设置是动态子切片的先决条件,因为它允许高速 ICI 网络网格动态配置。通过使用增量预配,您可以一次性创建整个容量的节点池,通过在健康节点上启用子切片来减少运维负担并最大化 TPU 利用率。
#### 动态切片上的工作负载调度
在 GKE 集群中启用切片控制器并配置 GKE 调度器后,您可以使用简单的工件注解来指示工作负载需要动态切片。
调度器检测到这些注解后,会自动触发 GKE 切片控制器创建一个切片自定义资源(CR),在运行时形成动态切片。切片形成后,工作负载将被调度到动态切片上。示例请参阅文档。
故障恢复
当主机或网络故障中断工作负载时,GKE 调度器通过有针对性的恢复策略保持弹性并持续运行:
- 超级切片(大于 1 个 TPU 立方体的切片):硬件故障被隔离到更小的单元——TPU “立方体”——允许调度器通过移除不健康的立方体并选择所有健康立方体快速重新形成切片。
- 子切片:在有故障的基础设施上,使用可用的健康分区动态重新形成切片。
下一步
动态切片(超级切片和子切片)适用于 TPU,并在所有提供 TPU 的区域均可使用。该功能仅在 TPU All Capacity 的预留模式下提供。有关动态切片的工作示例,请参阅文档。
发布于
- 容器与 Kubernetes
- 人工智能与机器学习
- GKE
- TPU