Google Cloud Blog

Our newest TPUs: 8tx and 8i Max, built for the agentic era

6.9内容质量
Our newest TPUs: 8tx and 8i Max, built for the agentic era

TL;DR · AI 摘要

Introducing TPU 8tx and TPU 8i Max Google Cloud Blog AI infrastructure Our newest TPUs: 8tx and 8i Max, built for the ag...

核心要点

  • 主题聚焦:Our newest TPUs: 8tx and 8i Max, built for the a
  • 来源:Google Cloud Blog,建议结合原文判断细节。
  • AI 分析暂不可用,本条为保底评分与摘要。
#AI#编程#后端#云计算#安全
打开原文

介绍 TPU 8tx 和 TPU 8i Max | Google Cloud 博客

AI 基础设施

我们最新的 TPU:8tx 和 8i Max,专为智能体时代打造

2026 年 11 月 9 日

##### Amin Vahdat

Google AI 与基础设施部门首席技术官兼高级副总裁

##### 今天体验 Gemini

进入职场 AI 的大门

立即体验

编辑注释:本文最初发布于 News from Google。

十多年前,我们首次设计 TPU 是出于 Google 内部需求的驱动,包括语音识别和语言翻译。历经八代 TPU 的演进,应用场景已呈指数级增长,涵盖:i) 训练和部署我们的 Gemini 模型,ii) 智能体工作负载,iii) 通过云端基础设施为 Google Cloud 客户提供服务,以及最近的 iv) 允许客户将 TPU 直接部署到其自有数据中心。如今,TPU 已成为一个快速增长的业务,拥有近 100 家客户,包括前沿实验室、交易公司、零售商、大学等。

在 4 月的 Google Cloud Next 大会上,我们推出了同一代产品中的两款新型专用 TPU:8t 用于大规模训练,8i 用于实时推理。与上一代 TPU 相比,TPU 8t 和 8i 的训练性能分别提升 2.7 倍,推理性价比提升 80%。

今天,我们更进一步,扩展第八代 TPU 产品组合,新增两款系统:专为超大上下文窗口和最高机架计算密度设计的 TPU 8i Max,以及支持安全保密推理的 TPU 8tx。这是我们在单年内首次推出四款 TPU 系统。

我们扩展后的第八代 TPU 产品组合:TPU 8t、TPU 8i、TPU 8tx 和 TPU 8i Max。

虽然我们一直与 Google DeepMind 合作设计 TPU,但如今越来越多外部组织向我们反馈其具体需求。随着计算从人类规模转向智能体规模,企业正在寻求能够跨 AI 模型超大上下文窗口进行推理的加速器。此外,一些受严格监管的客户还要求针对特定工作负载的专用加密功能。

今天发布的新型 TPU 系统正是针对这一新现实的解决方案。结合我们近期的 PyTorch 宣布内容,我们的目标是让所有开发者和云客户更便捷地使用 TPU。通过将模块化定制芯片与开放易用的软件栈相结合,我们可以以 AI 产业的速度推出新的硬件和系统配置。

围绕芯片构建计算机

今天,我们宣布推出两款新的 TPU 系统——新芯片与新系统之间存在重要差异。

设计新芯片意味着在硅晶圆上布局数十亿个微观晶体管,这是一个受物理定律约束、耗时数年的复杂制造过程。而系统设计则关乎如何围绕芯片整合计算、网络和存储资源。这包括芯片与这些组件的封装方式,从而快速满足新兴客户需求和研究用例。

当我们在十多年前构建第一代TPU时,我们就知道AI软件的发展速度将远超硅芯片制造的进度。因此,我们对系统平衡与模块化进行了根本性投入,将TPU设计为AI超计算机的构建模块,使工程师能够围绕它们快速调整封装、高速内存、光网络和安全方案。这种设计使我们能够在数月内而非数年内交付专用超级计算机。

为安全、高上下文AI定制

我们第八代TPU产品组合中的每个系统都针对AI生命周期的不同阶段进行优化。TPU 8t和TPU 8i为这一代芯片设定了基准:

  • TPU 8t被设计为大规模基础模型训练的强力引擎,实现最大"goodput"(即每瓦特能耗提供的有效智能输出)。
  • TPU 8i是推理引擎,专为突破内存墙而设计,可将芯片间通信延迟降低多达一半。

如今,随着企业将自主代理投入生产,我们为这两个基础系统创建了两种新配置,以解决两个紧迫的新挑战:硬件级数据安全和百万token上下文扩展。

TPU 8tx

作为第三代第八代系统,TPU 8tx专为安全保密推理优化,同时也适合小规模训练。它面向需要在最敏感数据旁运行前沿或专有模型和自主代理的受监管企业及政府机构。

通常数据在存储或通过网络传输时会被加密,但在计算机处理时需要解密。TPU 8tx基于与TPU 8t相同的硅芯片,并配备定制AMD CPU主机,直接在硬件层构建安全防护,即使在主动使用时也能保护敏感数据和模型权重。通过采用我们为实时推理开发的低延迟Boardfly网络,TPU 8tx使多步骤代理保持流畅运行,相比TPU 8t实现高达2倍的延迟降低,且性能损失几乎为零。

将训练级计算与高速推理网络结合,意味着组织可以在单一系统上同时运行和定制模型。TPU 8tx使团队能够使用私有数据微调模型、将大型模型蒸馏为小型模型,并通过强化学习训练代理,而无需在不同集群间迁移敏感数据。

专为敏感企业工作负载设计,TPU 8tx提供硬件级保密计算,支持私有微调和安全代理执行。

TPU 8i Max

我们的第四代系统TPU 8i Max专为解决内存墙问题而设计。

当数十个AI代理同时处理整个软件代码库或数小时视频时,内存带宽会迅速成为瓶颈。因此,我们将两个低延迟TPU 8i芯片整合到单一封装中。

TPU 8i Max实现计算和内存的同步扩展,提供双倍于TPU 8i的计算能力、双倍SRAM和双倍HBM带宽,确保处理器始终配备关键数据,防止大型工作负载停滞。此外,由于TPU 8i Max在现有机架占地面积内容纳了双倍硅芯片,数据中心每平方英尺和每瓦特可部署显著更多的计算能力。

专为大规模上下文窗口和最大计算密度设计的双芯片TPU 8i Max系统。

虽然在各种工作负载中具有灵活性,但第八代TPUs的四个系统组合在一起,为每个智能体生命周期阶段提供了专用加速器。TPU 8t用于扩展训练,TPU 8i用于低延迟推理,TPU 8tx用于机密计算,TPU 8i Max则适用于超大上下文窗口和每机架最高的计算密度。

让TPU触手可及,惠及每一位开发者

十多年前我们推出首款TPU时,只有少数几家公司的特定工作负载需要TPU的处理能力。当时使用场景高度专业化,工程师需要依赖优化框架和手动调优的代码。

随着人工智能的不断发展,越来越多的公司开始使用加速器。如今,AI的普及已达到一个关键阶段,TPU对各类公司和使用场景都表现出色。因此,我们系统性地开展了多项工作,旨在消除使用障碍,让TPU的易用性媲美通用硬件。

这些关键领域的进展包括:

  • 让所有PyTorch开发者都能使用TPU,无需重写代码:上个月我们开源了TorchTPU,现在PyTorch代码和Hugging Face模型可以直接在TPU上运行。TPU现支持主流开源推理引擎(如vLLM和SGLang)的开箱即用后端。为简化硬件优化,我们新推出的开源TPU代理套件(现处于预览阶段)可直接集成到Claude Code、Cursor和Google Antigravity等编码工具中,通过自然语言即可在数分钟内自动完成TPU接入、诊断瓶颈并自动调优自定义内核。对于生产部署,我们新推出的开源XLA Serving Engine允许用户用Python训练模型,并通过低延迟C++运行时直接在TPU、GPU和CPU上进行服务。
  • 在InferenceX和AgentX基准测试中实现行业领先的生产性能:在实际生产环境中,真正重要的是真实AI工作负载的执行效果,而非理论峰值芯片速度。在测试实际智能体编码和长上下文处理能力的行业标准InferenceX和AgentX基准测试中,TPU上原生的vLLM-TorchTPU软件栈实现了业界领先的性价比表现。最新评估表明,这些优势在广泛前沿开源模型和开源服务框架中同样显著,同时保持了高模型精度。同一硬件平台即将推出的软件优化将进一步提升这些表现。
  • 消除自主智能体的闲置计算浪费:由于AI智能体具有状态性,它们经常需要等待数据库查询、外部软件工具或人工反馈,每次等待可能持续数秒甚至数小时。为提高加速器在这些等待期间的能效,我们新推出的Agent Compute Engine软件可自动暂停闲置智能体会话,并在毫秒级时间内将工作内存移出芯片,从而显著降低运营基础设施成本。
  • 通过模型状态层(TPU Sync)突破内存墙:围绕芯片构建计算机也意味着在软件中统一内存、存储和网络。当代理在百万级上下文和连续强化学习(RL)循环中进行推理时,内存会迅速成为瓶颈。我们正在开源 TPU Sync,这是用于 TPU 集群的模型状态层。TPU Sync 将芯片上的 HBM、主机 DRAM、共享存储和数据中心网络整合为一个协同设计的内存层次结构——在毫秒级内自动将庞大的 KV 缓存分层到芯片之外,跨分散的预填充和解码节点流式传输上下文,并同步 RL 权重,将 KV 传输延迟和首次生成 Token 时间(TTFT)减少超过 90%。
  • 通过单个控制器在 TPUs 上扩展分布式工作负载:现在在 Google Kubernetes Engine(GKE)上正式推出,Cloud Pathways 将 Google DeepMind 为 Gemini 设计的运行时环境带给所有 Google Cloud 客户。通过使用单控制器架构和 pathwaysutils,您可以像操作本地机器一样,跨多个切片编排大规模 TPU 系统,用于预训练、强化学习和多主机推理。Cloud Pathways 通过共置的 Python 侧车程序、分钟级切片热切换和弹性重新分片,使长期运行的任务在硬件中断时仍能持续运行。
  • 使用 GKE 动态切片按需缝合自定义 TPU 拓扑:现在正式推出,GKE 动态切片利用光学电路交换(OCS)技术,将物理硬件配置与逻辑切片形成解耦。通过动态地将 TPU 立方体组装成更大的拓扑结构(超切片)或实时分割为更小的独立工作负载(子切片),此更新完全消除了僵化的手动节点池重建周期。这种拓扑灵活性将作业启动时间缩短高达 5 倍,并将故障恢复速度加快高达 4.5 倍,从而最大化所有 TPU 上的总体舰队利用率和工作负载吞吐量。

十年经验的协同设计

在一年内推出四代 TPU 系统和统一的开源软件堆栈,只有当硅架构师、网络工程师、编译器团队和 Google DeepMind 研究人员并肩协作时才可能发生。

越来越多地,我们甚至借助 AI 来构思和构建下一代 AI 基础设施。从使用 Google DeepMind 的 AlphaChip 强化学习系统,到使用 Gemini 在数小时内而非数周内交付芯片布局,我们正在利用 TPU 驱动的 AI 服务加速下一代 TPU 硬件开发。这是真正的协同设计,也是 Google 独有的竞争优势。

通过今天上午 9 点太平洋时间的直播了解更多关于我们的新 TPU 系统的信息。

发布在

  • AI 基础设施
  • 计算
  • TPUs