InfoQ

Uber's Secure AI Framework Governs Autonomous AI Agents Across Their Lifecycle

8.5内容质量
Uber's Secure AI Framework Governs Autonomous AI Agents Across Their Lifecycle

TL;DR · AI 摘要

Uber 构建了一个覆盖 AI 代理全生命周期的安全框架,通过注册、运行时授权和持续保障三层机制降低 AI 风险。

核心要点

  • Uber 的 AI 安全框架通过注册、运行时授权和持续保障三层机制降低 AI 风险。
  • Argus 工具在部署阶段自动分析代理代码、配置和依赖,识别安全弱点。
  • 运行时通过 AI Guards 和 Agent Guard 实现行为授权,确保代理行为符合策略。

结构提纲

按章节快速跳转。

  1. Uber 工程团队指出传统身份和 API 控制在 AI 代理安全方面存在局限。

  2. Uber 开发了一个覆盖代理生命周期的三层安全框架,包括部署前、运行时和部署后。

  3. 代理需在 Uber AI 注册表中注册,Argus 工具自动分析代码和配置以识别安全弱点。

  4. 框架通过 AI Guards 和 Agent Guard 实现行为授权,确保代理行为符合策略。

  5. 持续保障依赖于端到端可观测性、审计、可解释性和重放功能。

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • Uber 的 AI 安全框架
    • 三层机制
      • 部署前:注册与分析
      • 运行时:行为授权
      • 部署后:持续保障
    • 关键工具
      • Argus
      • AI Guards
      • Agent Guard

金句 / Highlights

值得收藏与分享的关键句。

  • Identity and authorization systems can determine whether a user or service has permission to access a resource, but they can't determine whether an agent's proposed action is appropriate in context.

    — 第 2 段

    ⬇︎ 下载 PNG𝕏 分享到 X
  • The same approach is enforced for MCP servers and tools used by the agents.

    — 第 3 段

    ⬇︎ 下载 PNG𝕏 分享到 X
  • Agent Guard runtime hooks invoke AI Guard 'at critical checkpoints and applying its verdict before an interaction or action is allowed to proceed'.

    — 第 5 段

    ⬇︎ 下载 PNG𝕏 分享到 X
#AI 安全#Uber#框架设计#自动驾驶
打开原文

Uber 的安全 AI 框架贯穿自主 AI 代理的整个生命周期 - InfoQ

InfoQ 首页 News Uber 的安全 AI 框架贯穿自主 AI 代理的整个生命周期

架构与设计

护栏,而非门卫:如何在不减缓开发人员进度的情况下治理 AI 工具的使用(网络研讨会 12 月 10 日)

Uber 的安全 AI 框架贯穿自主 AI 代理的整个生命周期

2026 年 11 月 15 日 3 分钟阅读

作者:

  • Sergio De Simone

#### 关注我们

YouTube

232K 粉丝

LinkedIn

26K 粉丝

Instagram

新

RSS

19K 读者

X

57.1k 粉丝

Facebook

21K 喜欢

Bluesky

收听这篇文章 -

0:00

音频准备播放

您的浏览器不支持音频元素。

正常

1.25x

1.5x

喜欢

新下拉阅读列表

  • 阅读列表

在最近的一篇文章中,Uber 工程团队指出了传统身份和 API 控制在保护那些动态推理外部内容并执行现实世界操作的 AI 代理方面的局限性。为了解决这一挑战,Uber 开发了一个框架,用于判断代理的动作是否符合用户的请求、代理的预期目的、其权限以及交互的上下文。

身份和授权系统可以确定用户或服务是否有权限访问资源,但它们无法判断代理在特定上下文中提出的动作是否合适。

这会带来多种风险,包括提示注入、工具和内存中毒、目标劫持、行为漂移和基于幻觉驱动的动作,Uber 的框架通过贯穿整个代理生命周期的三个层次来解决这些问题,从部署前到运行时执行,再到部署后的持续保障。

在配置阶段,代理必须在 Uber AI 注册表中注册,以建立身份、所有权、角色、允许的意图、约束、依赖项和风险分类。此过程通过 Argus 自动化,Argus 分析代理的源代码、提示、配置、依赖项、暴露的端点和工具调用路径,以识别安全弱点。同样的方法也适用于代理使用的 MCP 服务器和工具。

在运行时,该框架将传统的基于策略管理、策略决策和策略执行的安全模型扩展到行为授权,以评估代理在特定上下文中的动作是否合适。

行为授权通过三个组件实现:AI 注册表、AI 护栏和 Agent Guard 运行时钩子。AI 注册表定义和管理代理的策略、角色、意图和约束,而 AI 护栏则评估交互和拟议动作是否符合既定策略。Agent Guard 运行时钩子在关键检查点调用 AI Guard,并在交互或动作被允许继续之前应用其判断。

部署后,重点转移到持续保障,这依赖于端到端的可观测性、审计、可解释性和重放。这一层包括两个主要组件:一个统一的执行跟踪,将代理的动作、工具调用和安全决策连接起来;以及可以重放的交互记录,每当策略和护栏更新时,都可以用来评估其在新上下文中的有效性。

Uber 也指出了在生产环境中实施安全控制时遇到的几个挑战,包括在避免过多的误报和保护不足之间找到平衡点,最小化运行时的延迟,减少在框架设置过程中开发人员的摩擦,以及从通用控制转向特定代理的策略,这使得“执行更加上下文相关和精确”。

在 LinkedIn 上评论 Uber 的方法时,联合国高级信息技术官员 Tristan G. 提出了几个担忧,他指出虽然“每个代理的个性化角色、意图、约束和校准”提供了最大的价值,但它们也伴随着显著的成本,因为“所需的工作量随着工作流程数量的增加而增加”。此外,

按照 Uber 自己的说法,最强的安全控制是将代理限制在明确的约束中,这属于最小权限原则,而不是一个新想法。对我来说,一个开放的问题是这种方法如何适用于你没有构建的代理,例如供应商或 SaaS 代理,你无法插入自己的执行钩子。

在类似的观点上,AI 架构师 Pratik Dhanave 也观察到:

他们称之为最不引人注目的教训,却是他们认为最有效的:每个代理的明确意图和约束。而不是通用的阈值,因为通用阈值失败了,因为每个代理都有不同的目的和风险配置文件。代价是灵活性,但他们表示这值得付出。

Uber 的 Secure AI 框架仍在不断发展,计划在上述所有领域扩展其功能。框架的内容远不止于此,因此鼓励读者查阅⁠原始文章以获得更全面的概述。

作者部分的主包装器

关于作者

部分标题

每个作者的主包装器

#### Sergio De Simone

显示更多

显示更少

#### 此内容属于代理主题

##### 相关主题:

  • 开发
  • 架构与设计
  • AI、ML 与数据工程
  • AI 安全
  • 安全
  • 代理
  • Uber
  • 相关编辑
  • 相关赞助商 在工程中扩展 AI 采用(由 O'Reilly)- 立即下载
  • 相关赞助商 找出你的测试遗漏的错误。Antithesis 使用确定性模拟来探索数千种故障场景,在错误进入生产环境之前发现难以重现的错误。看看它是如何工作的。

InfoQ 新闻简报

每周内容回顾,每周二发送。加入超过 250,000 名高级开发者的社区。查看示例

我们保护您的隐私。