Google Cloud Blog

Powering open infrastructure for autonomous agents

8.5内容质量
Powering open infrastructure for autonomous agents

TL;DR · AI 摘要

Google 将 Agent Substrate、gVisor 和 OpenRL 捐赠给 CNCF,推动自主代理基础设施标准化。

核心要点

  • Agent Substrate 1.0 实现 10 倍容器密度的沙箱隔离
  • gVisor 通过用户态内核实现轻量级代码隔离
  • OpenRL 支持 Kubernetes 上的百万级并行强化学习

结构提纲

按章节快速跳转。

  1. 自主代理系统需要新型基础设施支撑其状态机和沙箱执行需求。

  2. Google 向 CNCF 捐赠 Agent Substrate、gVisor 和 OpenRL 三个项目。

  3. 通过快照机制实现 10x 容器密度的沙箱隔离,降低 500ms 恢复延迟。

  4. 使用用户态内核实现容器级代码隔离,消除 Linux 内核共享风险。

  5. 在 Kubernetes 上原生支持百万级并行强化学习训练流水线。

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • 自主代理基础设施
    • CNCF 项目
      • Agent Substrate
        • 10x 容器密度
      • gVisor
        • 用户态隔离
      • OpenRL
        • 强化学习框架

金句 / Highlights

值得收藏与分享的关键句。

#Kubernetes#CNCF#Agent Substrate#gVisor#OpenRL
打开原文

自主代理的开放基础设施加入 CNCF | Google Cloud 博客

容器与 Kubernetes

为自主代理提供动力的开放基础设施

2026 年 11 月 6 日

##### Drew Bradstock

产品管理副总裁,编排与 Kubernetes

##### 立即体验 Gemini

职场 AI 的入口

立即试用

随着人工智能从人类规模转向代理规模,从记录系统转向行动系统,从简单请求转向复杂的代理工作流,您平台下的工作负载将发生彻底变化。代理在一个持续且有状态的循环中运行:它提出一个操作,启动子代理,在沙箱中执行代码或工具调用,并将结果反馈到模型中以进行下一轮操作。在大规模运行该循环需要 Kubernetes 和云原生计算基金会(CNCF)在 2010 年代为容器带来的相同开放基础和中立治理。

今天,我们宣布将 Agent Substrate、gVisor 和 OpenRL 三个开源项目捐赠给 CNCF。这些项目最初由 Google 开发,已于上个月被 CNCF Sandbox 接纳。为了将这一开放架构引入托管生产环境,并加速其在 TPUs 和 GPUs 上的部署,我们同时宣布 Agent Substrate 已达到 1.0 版本里程碑,现在作为 GKE 上的 Agent Substrate 正式发布。

每个项目现在都通过 CNCF Sandbox 的入站流程,由社区维护者和独立构建基础设施进行协作,gVisor 正在朝着孵化阶段迈进。这些发布实现了在任意 Kubernetes 集群、任意云平台、CPU、GPU 或 TPU 上运行的开放架构,具体通过以下方式实现:

  • 使用 Agent Substrate(现已 1.0 版本并在 GKE 上正式发布)在无空闲计算开销的情况下扩展隔离的代理环境:代理执行代码或测试仅持续数秒,然后等待模型轮次、外部 API 或人工输入。在这些暂停期间保持专用容器运行会占用内存和计算资源。Agent Substrate 将有状态的代理会话和身份与主动计算解耦,将空闲代理快照到存储中,并在 500 毫秒内恢复,从而以 10 倍容器密度运行数百万个沙箱。
  • 使用 gVisor 在沙箱中隔离不可信代码:代理经常生成并运行未经审查的代码和外部软件包,使得共享主机 Linux 内核的标准容器存在安全隐患。gVisor 在任何 Linux 节点的容器打包密度下,通过轻量级用户空间应用内核隔离生成的代码。
  • 使用 OpenRL 高效分发训练后和推理阶段:通过强化学习(RL)训练代理为构建者提供了跨越数百万个并行沙箱模拟的开放学习循环。OpenRL 在 Kubernetes 上使用纯 Python 协调自主托管的 RL 训练后循环。

使用 Substrate 扩展完全隔离的代理环境

代理需要隔离的计算资源和严格的访问边界,但大部分时间却处于等待状态:执行代码几秒钟后,就会暂停等待模型推理或人工响应。它们需要一个独立的身份和中央控制点,以确保代理只能访问授权的工具和服务,而无需持有敏感密钥。在标准 Kubernetes 中,为每个活跃代理分配独立 Pod 会占用内存和 CPU 资源,迫使控制平面追踪数百万个从未设计用于处理的持久化对象,并将身份直接绑定到 Pod 上。同时,身份本质上与 Kubernetes Pod 绑定,导致访问控制和密钥管理的复杂度呈指数级增长。

Agent Substrate 通过将有状态代理与底层计算分离来解决这些问题:

  • Actors 保存每个代理的内存、文件和独立身份。
  • Workers 是从预热 Kubernetes 池中复用的执行沙箱。
  • Gateways 根据 Actor 身份执行入站和出站访问控制,并注入密钥,确保敏感密钥不会进入代理环境。

当代理暂停等待模型响应或工具调用时,Agent Substrate 会将代理的内存和文件快照到存储中,并立即将 Worker 返回预热池。当新请求到达时,Agent Substrate 在 500 毫秒内将 Actor 恢复到任意可用 Worker 上,并从暂停处继续执行。这就像酒店房间而非房屋:你离开时不会保留房间,返回时总有新房间准备就绪。

Agent Substrate 将有状态 Actors 和策略 Gateways 与 Kubernetes Workers 预热池解耦,可在 500 毫秒内恢复空闲会话。

自 2026 年 5 月公开开发以来,Agent Substrate 项目已吸引超过 100 名贡献者。早期设计合作伙伴如 Nous Research 正在基于此构建 Hermes Enterprise,它已为其他 CNCF 项目(如 kagent)提供支持。

此外,达到 1.0 版本里程碑表明 Agent Substrate 能够处理数百万个沙箱的生产级工作负载,密度达到标准容器运行时的 10 倍,每秒可执行超过 500 次挂起和恢复操作。

底层架构中,你可以选择 Cloud Hypervisor 微虚拟机或 gVisor 作为隔离边界,而无需改变代理生命周期的管理方式。由于 Agent Substrate 运行标准 OCI 容器,它可开箱即用支持 Agent Development Kit (ADK) 代理、有状态编码环境和生产力代理。

随着 Agent Substrate 在 GKE 上的正式发布,你现在可以在 Google Cloud 上作为托管功能运行此运行时,或在任意 Kubernetes 集群上部署开源代码。对于希望通过 API 使用专用微虚拟机计算服务而无需管理集群的团队,Agent Substrate 与我们的 Titanium 微虚拟机服务 Agent Compute Engine 形成互补,后者具备快速休眠和并行环境分叉功能,适用于评估和 RL 管道。

SPIRITT 正在基于 GKE 上的 Agent Substrate 构建 SPIRITT Workspace,这是一个平台,代理可在其中自主执行实际工作,而人类则协作引导愿景。

”在 SPIRITT,每位客户都能获得一个自主的人工智能工作空间,其中代理(agent)或整个代理群体(swarm of agents)可以在组织内部构建、运行并部署实际工作,从代码和开发周期到营销和运营。基于 GKE 的 Agent Substrate 为我们提供了安全隔离,使代理能够安全地执行代码,具备扩展性以集成我们自己的运行时环境,并且具备高密度特性,能够经济高效地大规模运行每位客户的代理。” —— Tamir Magen,SPIRITT 首席执行官

使用 gVisor 隔离不可信代理代码

当代理从记录系统转向行动系统时,它们会运行生成的 shell 命令和未经审查的软件包。标准容器与节点上所有其他工作负载共享主机 Linux 内核,这对不可信代码来说是一个高风险的选择。硬件级微虚拟机(microVM)提供了强隔离边界,Agent Substrate 原生支持该技术。许多团队还需要在任何标准 Linux 实例上以容器密度运行的强隔离能力,即使在没有裸金属或嵌套虚拟化的情况下也是如此。

gVisor 通过一个用 Go 编写的轻量级应用内核实现隔离。位于容器与主机操作系统之间,gVisor 在用户空间拦截并处理应用系统调用,使不可信代码永远无法直接与主机内核通信。Google 于 2018 年开源了 gVisor,目前每天在 GKE Sandbox 和 Cloud Run 下运行数百万个沙箱。在 Google 之外,Anthropic 和 OpenAI 使用它来隔离代码执行,Modal 和 Snowflake 在其上运行执行沙箱,Ant Group 和 Tencent 在生产环境中大规模部署它。

以下三个特性使 gVisor 成为代理舰队的天然选择:

  • 容器密度与灵活内存:与预分配固定内存块的虚拟机不同,gVisor 采用容器进程模型,内存可根据工作负载动态扩展和收缩,每个节点可容纳更多代理,降低每个代理的成本。
  • 原生 GPU、TPU 和快照支持:gVisor 原生支持 GPU、TPU 以及检查点/恢复功能,使代理能够在沙箱中访问加速器并在空闲时暂停。
  • 任何运行 Linux 的地方都能运行:由于不依赖嵌套虚拟化,gVisor 可在任何云或本地 Linux 节点上一致部署。例如,Northflank 在无法使用嵌套虚拟化时使用 gVisor 对 GPU 工作负载进行沙箱化。

将 gVisor 捐赠给 CNCF 为社区消除了一个长期存在的性能障碍。包括 Google 在内的沙箱化基础设施提供商都保留了使 gVisor 的 I/O 性能接近原生 Linux 的主机内核补丁,但上游 Linux 维护者在项目由单一供应商拥有时拒绝合并这些补丁。转向中立的 CNCF 治理为这些内核优化的上游化打开了通道,使每个开发者都能开箱即用接近原生性能。随着这一举措,Ant Group、Modal 和 Tines 承诺加入 gVisor 的维护者行列,OpenAI、Tencent 和 NVIDIA 继续贡献代码。

使用 OpenRL 在 Kubernetes 上扩展 RL 训练后阶段

在生产环境中运行代理的沙箱环境与使用强化学习训练代理所需的环境完全一致。目前,大多数前沿能力的提升都来自于训练后阶段的强化学习:在真实工具中运行数百万次多轮交互,评估结果并更新模型权重。手动构建这一循环通常意味着需要分叉一个单体 RL 框架,并在接触训练算法之前调试分布式权重传输。

OpenRL 将干净、自托管的 Python 后训练循环直接引入您的 Kubernetes 集群,具备以下特性:

  • 简洁的 Python 原语:通过与 Tinker 兼容的 API,使用四个清晰的原语(sample、forward_backward、optim_step 和 save_state)编写训练循环,同时将权重和数据保留在您自己的集群中。现有的 tinker-cookbook 配方无需修改即可运行,支持 LoRA 适配器和全参数微调。
  • 可插拔引擎和 Kubernetes 调度:OpenRL 使用 Kubernetes 动态资源分配(DRA)对加速器池进行分区,并在共享池上协调 RL 工作。其可插拔架构使用标准引擎,包括 PyTorch / AutoModel 用于训练和 vLLM 用于采样,Gemma 和 Qwen 已通过开箱即用验证,TPU 支持也在路线图中。

OpenRL 还与 llm-d 配合使用,llm-d 是由 Red Hat、Google Cloud、IBM Research、CoreWeave 和 NVIDIA 共同发起的 CNCF 分布式推理和 RL 项目,最近已发布 1.0 版本,旨在在 RL 的两个阶段中充分利用加速器。在这里,llm-d 提供:

  • 前缀感知的 rollout 路由:llm-d 路由器将多轮 rollout 路由到已持有匹配 KV 缓存前缀的采样器,减少冗余的预填充计算。
  • 训练与采样之间的 GPU 时间切片:在 RL 训练中,采样器和训练器轮流执行,导致一组芯片空闲而另一组工作。OpenRL 使用 llm-d 的时间切片在采样和训练之间共享相同的物理 GPU,以与 Agent Substrate 回收空闲 CPU 和 RAM 的方式回收空闲加速器周期。

OpenRL 在 Kubernetes 上驱动纯 Python RL 循环,在 Agent Substrate 沙箱内运行 episode,同时 llm-d 路由 rollout 并对加速器进行时间切片。

OpenRL 是这一堆栈中最新的一层,与其他层相比有显著优势。它于 2 月作为研究预览版启动,我们有意将其尽早捐赠给 CNCF。其目标是为任何模型在任何加速器上提供一个统一的配方,而没有单一公司能够单独实现这一目标。要实现这一目标,需要构建加速器的公司(NVIDIA、AMD、Intel 和 TPU)、推理引擎(llm-d、vLLM、SGLang)、训练框架和开源权重模型(如 Gemma 和 Qwen)的共同努力。在设计固化之前设立中立的 CNCF 治理,为所有人共同构建提供了空间。

为什么选择 CNCF,以及为什么现在

提升 AI 代理的安全性和效率需要在运行时、调度器、编译器和硅芯片层面进行联合设计。过去一年清楚地表明,需要负担得起的隔离沙箱和开放的后训练基础设施。将 Agent Substrate、gVisor 和 OpenRL 捐赠给 CNCF 重申了 Google 对开放协作和共同投资的承诺。中立的所有权使云提供商、硬件供应商和独立软件公司能够平等地参与代理工作负载的未来发展。

我们相信,这些捐赠将通过这些项目加速代理工作负载的开发和采用,正如 Kubernetes 所做的那样。

来 KubeCon 找我们

在 Salt Lake City 举行的 KubeCon + CloudNativeCon North America(11 月 9 日至 12 日),请参加我们的会议并在 Google Cloud 展位了解 Agent Substrate、OpenRL 和 gVisor 的更多信息。您还将很快听到社区合作伙伴(包括 Modal、Anyscale 和 Tecton)关于这一开放堆栈对其代理工作负载意味着什么的发言。在此期间,以下是您可以开始的地方:

/think

  • 关注 CNCF 沙盒项目:gVisor #521、Agent Substrate #523 和 OpenRL #518,以及同辈项目 KubeRay #525
  • 试用一下:ate.dev、gvisor.dev 和 openrl.dev
  • 今天即可在 GKE 上运行代理:Agent Substrate on GKE 和 GKE Sandbox
  • 深入阅读:Agent Substrate on GKE、gVisor 加入 CNCF 和 Introducing OpenRL

分类于

  • Containers & Kubernetes
  • GKE
  • AI infrastructure