Uber's Secure AI Framework Governs Autonomous AI Agents Across Their Lifecycle

TL;DR · AI 摘要
Uber 构建了一个覆盖 AI 代理全生命周期的安全框架,通过注册、运行时授权和持续保障三层机制降低 AI 风险。
核心要点
- Uber 的 AI 安全框架通过注册、运行时授权和持续保障三层机制降低 AI 风险。
- Argus 工具在部署阶段自动分析代理代码、配置和依赖,识别安全弱点。
- 运行时通过 AI Guards 和 Agent Guard 实现行为授权,确保代理行为符合策略。
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- Uber 的 AI 安全框架
- 三层机制
- 部署前:注册与分析
- 运行时:行为授权
- 部署后:持续保障
- 关键工具
- Argus
- AI Guards
- Agent Guard
金句 / Highlights
值得收藏与分享的关键句。
Identity and authorization systems can determine whether a user or service has permission to access a resource, but they can't determine whether an agent's proposed action is appropriate in context.
The same approach is enforced for MCP servers and tools used by the agents.
Agent Guard runtime hooks invoke AI Guard 'at critical checkpoints and applying its verdict before an interaction or action is allowed to proceed'.
Uber 的安全 AI 框架贯穿自主 AI 代理的整个生命周期 - InfoQ
InfoQ 首页 News Uber 的安全 AI 框架贯穿自主 AI 代理的整个生命周期
架构与设计
护栏,而非门卫:如何在不减缓开发人员进度的情况下治理 AI 工具的使用(网络研讨会 12 月 10 日)
Uber 的安全 AI 框架贯穿自主 AI 代理的整个生命周期
2026 年 11 月 15 日 3 分钟阅读
作者:
- Sergio De Simone
#### 关注我们
YouTube
232K 粉丝
26K 粉丝
新
RSS
19K 读者
X
57.1k 粉丝
21K 喜欢
Bluesky
收听这篇文章 -
0:00
音频准备播放
您的浏览器不支持音频元素。
正常
1.25x
1.5x
喜欢
新下拉阅读列表
- 阅读列表
在最近的一篇文章中,Uber 工程团队指出了传统身份和 API 控制在保护那些动态推理外部内容并执行现实世界操作的 AI 代理方面的局限性。为了解决这一挑战,Uber 开发了一个框架,用于判断代理的动作是否符合用户的请求、代理的预期目的、其权限以及交互的上下文。
身份和授权系统可以确定用户或服务是否有权限访问资源,但它们无法判断代理在特定上下文中提出的动作是否合适。
这会带来多种风险,包括提示注入、工具和内存中毒、目标劫持、行为漂移和基于幻觉驱动的动作,Uber 的框架通过贯穿整个代理生命周期的三个层次来解决这些问题,从部署前到运行时执行,再到部署后的持续保障。
在配置阶段,代理必须在 Uber AI 注册表中注册,以建立身份、所有权、角色、允许的意图、约束、依赖项和风险分类。此过程通过 Argus 自动化,Argus 分析代理的源代码、提示、配置、依赖项、暴露的端点和工具调用路径,以识别安全弱点。同样的方法也适用于代理使用的 MCP 服务器和工具。
在运行时,该框架将传统的基于策略管理、策略决策和策略执行的安全模型扩展到行为授权,以评估代理在特定上下文中的动作是否合适。
行为授权通过三个组件实现:AI 注册表、AI 护栏和 Agent Guard 运行时钩子。AI 注册表定义和管理代理的策略、角色、意图和约束,而 AI 护栏则评估交互和拟议动作是否符合既定策略。Agent Guard 运行时钩子在关键检查点调用 AI Guard,并在交互或动作被允许继续之前应用其判断。
部署后,重点转移到持续保障,这依赖于端到端的可观测性、审计、可解释性和重放。这一层包括两个主要组件:一个统一的执行跟踪,将代理的动作、工具调用和安全决策连接起来;以及可以重放的交互记录,每当策略和护栏更新时,都可以用来评估其在新上下文中的有效性。
Uber 也指出了在生产环境中实施安全控制时遇到的几个挑战,包括在避免过多的误报和保护不足之间找到平衡点,最小化运行时的延迟,减少在框架设置过程中开发人员的摩擦,以及从通用控制转向特定代理的策略,这使得“执行更加上下文相关和精确”。
在 LinkedIn 上评论 Uber 的方法时,联合国高级信息技术官员 Tristan G. 提出了几个担忧,他指出虽然“每个代理的个性化角色、意图、约束和校准”提供了最大的价值,但它们也伴随着显著的成本,因为“所需的工作量随着工作流程数量的增加而增加”。此外,
按照 Uber 自己的说法,最强的安全控制是将代理限制在明确的约束中,这属于最小权限原则,而不是一个新想法。对我来说,一个开放的问题是这种方法如何适用于你没有构建的代理,例如供应商或 SaaS 代理,你无法插入自己的执行钩子。
在类似的观点上,AI 架构师 Pratik Dhanave 也观察到:
他们称之为最不引人注目的教训,却是他们认为最有效的:每个代理的明确意图和约束。而不是通用的阈值,因为通用阈值失败了,因为每个代理都有不同的目的和风险配置文件。代价是灵活性,但他们表示这值得付出。
Uber 的 Secure AI 框架仍在不断发展,计划在上述所有领域扩展其功能。框架的内容远不止于此,因此鼓励读者查阅原始文章以获得更全面的概述。
作者部分的主包装器
关于作者
部分标题
每个作者的主包装器
#### Sergio De Simone
显示更多
显示更少
#### 此内容属于代理主题
##### 相关主题:
- 开发
- 架构与设计
- AI、ML 与数据工程
- AI 安全
- 安全
- 代理
- Uber
- 相关编辑
- 相关赞助商 在工程中扩展 AI 采用(由 O'Reilly)- 立即下载
- 相关赞助商 找出你的测试遗漏的错误。Antithesis 使用确定性模拟来探索数千种故障场景,在错误进入生产环境之前发现难以重现的错误。看看它是如何工作的。
InfoQ 新闻简报
每周内容回顾,每周二发送。加入超过 250,000 名高级开发者的社区。查看示例
我们保护您的隐私。