AWS Architecture Blog

Inside an enterprise AI agent: A governed, observable loop architecture

7.1内容质量
Inside an enterprise AI agent: A governed, observable loop architecture

TL;DR · AI 摘要

Inside an enterprise AI agent: A governed, observable loop architecture AWS Architecture Blog Inside an enterprise AI ag...

核心要点

  • 主题聚焦:Inside an enterprise AI agent: A governed, obser
  • 来源:AWS Architecture Blog,建议结合原文判断细节。
  • AI 分析暂不可用,本条为保底评分与摘要。
#AI#编程#前端#后端#云计算
打开原文

企业级 AI 代理内部解析:受控、可观测的循环架构 | AWS 架构博客

企业级 AI 代理内部解析:受控、可观测的循环架构

企业级 AI 代理并不是一个更高级的聊天机器人。聊天机器人一次只处理一条消息,而代理则持续朝着目标推进:它会分析用户的需求,将任务拆解为多个步骤,调用所需的知识,评估证据,调用外部工具,并在决定是否继续执行或返回答案前检查结果。这些步骤都会涉及真实系统和真实数据,因此治理、可观测性和信任控制必须贯穿每个环节。大多数聊天机器人的设计并未提供这些能力。

本文介绍了这种代理的参考架构,分为五个层级:处理身份和策略的 API 网关、包含五个阶段的代理运行时(理解、规划、检索、推理、执行与观察)、为代理提供记忆的知识和状态层、为模型和工具提供支持的平台服务层,以及贯穿所有层级的信任与控制框架。每一层都对应 AWS 的托管服务。我们还将探讨有效的设计模式以及团队常犯的错误。

企业级 AI 代理的兴起

出于商业需求,企业正在超越传统的单轮问答界面。他们希望自动化更多重复性工作,让员工有时间从事其他任务,加速产品和客户体验的交付,并在不增加人员编制的情况下完成更多工作。这些目标证明了投入的合理性,但要实现这些目标,需要从单轮聊天机器人转向能够自主完成多步骤任务的代理。这种转变带来了新的挑战,涉及编排、记忆和治理等方面,而本节其余内容将探讨这些挑战对架构的具体要求。

从聊天机器人到代理

企业 AI 正在从仅回答问题并停止的系统,转向能够规划、使用工具并返回可验证结果的代理。关键差异在于“循环”机制。与返回单一响应不同,代理会不断循环理解、规划、检索、推理和执行,直到达成用户目标或决定需要人工介入。

在 2025 年 AWS re:Invent 大会上,Werner Vogels 表示,成功的开发者以系统思维方式进行设计,并以精确的方式构建系统。在代理领域领先的团队并不是最早行动或选择最新模型的团队,而是将整个系统视为一个整体,并理解每一层的决策都会影响到其他所有层级的团队。

什么是 AI 代理?AI 代理以基础模型(FM)作为推理核心,并添加工具、记忆和防护机制,使其能够处理需要多步骤完成的任务。与单轮聊天机器人回答后遗忘不同,代理会保留状态信息,跨多个步骤进行推理,并在自身之外的系统中执行操作。

企业级需求:受控、可观测、可信、成本可控

拥有强大能力的模型只是问题的一部分。在企业环境中运行代理,意味着要在其每一步操作周围建立治理、可观测性、信任控制、策略执行和成本控制。成本与能力同样重要:许多企业发现,令牌消耗的增长速度超过了其带来的生产力提升,因此代理必须设计为仅在能创造价值的环节进行推理。这正是该架构所要实现的目标:

  • 受控 – 每个操作在执行前都会通过策略门、审批流程或防护栏的检查。
  • 可观测 – 每个步骤都会生成追踪信息(延迟时间、令牌数量、工具状态和执行路径),以便后续审计。
  • 可信 – 置信度评分、评估和人工检查点位于代理和用户之间。
  • 迭代 – 循环通过工具返回的结果不断优化其理解。

本文内容概述

以下是一个在AWS上构建企业级AI代理的参考架构,从第一个请求到验证结果,逐层解析架构设计。文中包含架构图、实现每部分功能的AWS服务以及值得借鉴和避免的设计模式。目标是为架构师和工程负责人提供统一的术语体系和系统设计的思维模型。

架构概览:受控代理循环

AWS Well-Architected Framework Generative AI Lens 通过六大支柱(运营卓越、安全、可靠性、性能效率、成本优化和可持续性)组织生成式AI工作负载,每项支柱都有对应的最佳实践和控制措施。我们将代理拆分为与这些支柱对齐的层级,使每个层级拥有可追溯至公认标准的明确职责,而非临时性选择。团队可以在不影响其他层级的情况下,独立修改、保护和扩展某一层级,同时保持Lens要求的端到端治理。

分层架构设计

该设计采用分层和循环结构,包含五个层级,每个层级负责单一任务。代理运行时位于中间层,这是一个五阶段循环,将用户目标转化为验证后的结果。围绕其外围的是知识层、平台服务层、信任控制层以及贯穿所有层级的治理层。

参考架构图

图1展示了五个层级的组合关系。从上至下阅读:API网关接收请求并执行身份和策略验证,随后流程依次经过代理运行时、知识与状态层、平台服务层,右侧并行运行信任与控制框架。

图1:企业级AI代理内部结构,参考架构

设计原则

五个设计原则塑造了该架构,每个原则都以具体方式影响后续将看到的层级。零信任原则导致身份上下文贯穿循环的每个阶段,而默认可观察性原则促使设置独立的步骤级追踪层级,而非依赖应用日志。

这些原则并非临时制定,而是直接源自 AWS Well-Architected Framework Generative AI Lens。该 Lens 的安全指导原则与以下五个核心原则高度契合:在模型、数据存储、端点和工作流程中实施最小权限访问,这是零信任和纵深防御的基础。通过保护数据和组件间的通信流量来实现职责分离。默认可观察性通过监控和强制控制平面与数据平面之间的边界来实现。通过护栏和明确限制来约束代理的权限,这是安全默认值的来源。由于该设计基于 Lens,因此遵循的是 AWS 认可的指导原则,而非单一团队的惯例。它也体现了 AWS 专业服务团队在零售、科技等行业的企业客户生产环境中实际部署的方案:这些是从实际应用中总结的经验,而非单纯的理论最佳实践。如需完整安全指导原则,请参阅 AWS Well-Architected 文档中的 Generative AI Lens 安全支柱部分。

原则 | 描述 ---|--- 零信任 | 每个请求在到达运行时之前都必须经过身份验证和授权。用户身份贯穿于每个阶段。 纵深防御 | 多层控制(API 网关、策略网关、信任与控制、治理)确保没有单一故障点。 职责分离 | 每个架构层级都有清晰的边界和职责。知识与计算分离,信任与执行分离。 默认可观察性 | 每个步骤都会生成遥测数据。追踪、指标和日志是架构设计的一等公民,而非事后补充。 安全默认值 | 当存在不确定性时,代理会默认采取最安全的操作:向用户澄清或升级给人类处理。

入口点:用户目标与 API 网关、身份与策略

5 层架构的第 1 层 · 入口点:API 网关、身份与策略(参见图 1)

每次交互都始于用户目标:以自然语言表达的请求,启动整个流程。在到达运行时之前,请求会经过 API 网关和身份与策略层,其中强制执行零信任原则。

用户目标

用户目标始于一个驱动顶层意图的商业目标,以自然语言表述。它可能简单如“我们第三季度的收入是多少?”也可能复杂如“与 Sarah 预约会议,检查她的日程可用性,并发送我们上次项目讨论的摘要。”代理的首要任务是理解该意图,并找出最有效的方式来实现它。

API 网关

API 网关是所有交互的入口。它终止 TLS 连接,路由请求(包括 REST 和用于流式响应的 WebSocket),实施速率限制,并验证输入。在 AWS 上,这通常通过 Amazon API Gateway 实现,使用 WebSocket API 支持实时流式传输。

身份与认证

未经过身份验证的请求无法到达运行时。身份层会检查 OAuth 2.0/OpenID Connect (OIDC) 令牌,确定调用者身份,并将他们的上下文(角色、权限、组织和会话 ID)附加到请求中。该上下文会贯穿后续所有阶段,确保每个工具调用和数据查询都严格在调用者的权限范围内执行。

策略执行

策略层负责基于角色的访问控制(RBAC)、工具级权限、数据范围和使用配额。它决定代理在给定用户场景下可以调用哪些工具、可以访问哪些数据,以及在会话中可能使用的令牌数量。

组件 | 职责 | AWS 服务 --- | --- | --- API 网关 | TLS 终止、请求路由、WebSocket 流式传输、速率限制 | Amazon API Gateway, Application Load Balancer (ALB) 身份 | 令牌验证、OAuth 2.0/OIDC、用户上下文注入、会话管理 | Amazon Cognito, AWS Identity and Access Management (IAM) 策略 | RBAC、工具权限、数据范围、使用配额 | IAM 策略, AWS Organizations

设计原则:零信任。网关在请求到达运行时之前对每个请求进行身份验证和授权。用户的身份、角色和权限通过会话上下文传递,并贯穿请求处理的每个阶段。

代理运行时:五阶段认知循环

5 层中的第 2 层 · 代理运行时:五阶段认知循环(见图 1)

运行时执行代理的核心工作。它运行一个包含五个阶段的持续循环,模拟专业人员处理复杂任务的流程:理解用户需求、制定方案、收集所需信息、推理选择方案,然后采取行动并观察结果,再重复循环。(见图 2)

关于模型的说明。我们并未声称提出新的代理认知理论。这五个阶段将已被验证的概念统一在一套术语体系下。它们借鉴了机器人领域的感知-规划-行动循环、ReAct 提示方法中的推理与行动模式,以及 Reflexion 等方法中的自我反思步骤(一种模型通过批判自身先前尝试并利用反馈改进后续表现的技术)。企业层面的贡献在于明确命名这些阶段,使您能在每个阶段清晰地附加治理、可观测性和信任控制。如果您已习惯用三步或四步模型(如计划、行动、观察),这些阶段可直接映射到您的现有框架。

图 2:五阶段认知循环:理解、规划、检索、推理、行动与观察

循环迭代可能以最终答案结束,也可能因工具返回的新证据、待处理的错误或额外上下文而再次循环。这种持续优化自身工作的能力使代理区别于单一的大语言模型(LLM)调用。

阶段 1:理解(意图、上下文和约束)

理解是代理的感知阶段。它读取用户输入并提取三个关键要素:

  • 意图 – 用户实际想要实现的目标。代理会分类请求类型(检索信息、执行操作或生成内容),并识别所属领域。
  • 上下文 – 由多源信息构建的动态视图:当前对话内容(短期记忆)、网关提供的用户档案和权限、会话状态,以及早期交互的相关历史(长期记忆)。
  • 约束 – 必须遵守的边界条件:时间限制、与 IAM 角色绑定的数据访问权限、令牌预算、可用工具列表以及组织特定策略。

在 AWS 上。Understand 通常在 Amazon Bedrock 上运行,使用 Anthropic Claude 或 Amazon Nova 等基础模型进行意图分类。有关 AWS 区域的模型可用性,请参阅 Amazon Bedrock 中的“按 AWS 区域支持的模型”。系统提示包含代理的个性、工具和行为护栏,Amazon Bedrock 护栏会在模型看到输入之前对其进行过滤。

第二阶段:计划(分解、选择工具和定义成功标准)

意图明确后,代理进入计划阶段,基础模型将目标分解为步骤。

子步骤

输出

分解

将用户的任务分解为一系列子任务。复杂目标可能需要多次工具调用和中间推理步骤。

有序任务图(有向无环图,或 DAG)

选择工具

根据工具描述和少量示例,从工具注册表中为每个子任务选择适当的工具。

工具到任务的映射

成功标准

定义每个子任务“完成”的标准。推理阶段使用此标准评估工具调用是否成功。

评估标准

没有工具会直接从计划执行。每个调用首先通过工具网关和策略执行层,该层会检查权限、检查输入参数、应用治理策略,并确认请求在预算范围内。

重新规划。计划不是一次性步骤。当推理发现子任务失败或返回错误结果时,代理可以通过重新排序任务图、选择不同工具或将顽固步骤拆分为更小步骤来修订计划。

第三阶段:检索(知识、记忆和会话状态)

在检索阶段,代理基于三个来源的事实进行推理:

  • 知识库(检索增强生成,或 RAG)——使用嵌入和向量检索对企业文档进行语义搜索,并通过重排序提高精度,通过访问过滤提高安全性。
  • 记忆——短期(对话缓冲区)、长期(学到的偏好和事实)和情景记忆(过去任务的结果)。
  • 会话状态——当前交互的工具结果缓存、中间计算和外部 API 响应。

RAG 管道分为四个阶段:

  • 查询重写:优化自然语言查询以进行搜索,可选地为不同方面生成多个查询。
  • 嵌入和搜索:对查询进行嵌入,并使用近似最近邻(ANN)搜索与向量索引匹配。
  • 重排序:交叉编码模型对初始结果进行重排序以提高精度,过滤掉假阳性结果。
  • 访问过滤:根据用户的身份和数据访问策略过滤结果。

在 AWS 上。Amazon Bedrock 知识库是完全托管的 RAG 能力。它处理分块、使用 Amazon Titan 嵌入进行嵌入,并在 Amazon OpenSearch Serverless 中进行向量存储。对于记忆,Amazon DynamoDB 存储会话状态,Amazon ElastiCache 缓存最近结果以实现低延迟读取。

第四阶段:推理(模型路由、决策和反思)

推理阶段是模型将证据转化为决策的环节。在获取上下文后,它执行以下三项操作:

  • 模型路由——为当前步骤选择合适的模型。简单任务交给更小、更快的模型处理,复杂推理交给更大、能力更强的模型处理。这有助于降低成本和延迟,是架构中最有效的成本优化杠杆之一。
  • 决策 – 将检索到的信息与计划结合,决定下一步的工具调用、传递的参数、是否需要调整计划,或是否需要提出澄清问题。
  • 反思 – 检视每个操作的结果。调用是否成功?输出是否符合预期?计划是否需要调整?

反模式:无限循环。知道何时停止是核心设计问题。如果没有防护措施,代理可能会陷入循环推理中。通常的防御手段包括限制迭代次数、设置超时预算、将错误分类为临时性或永久性,以及提供升级至人工处理的路径。处理不当的成本远不止一个未完成的任务。循环代理会不断调用模型和工具,每次无效操作都会导致令牌消耗和计算资源增加,且无法完成任何工作。这种影响会叠加:延迟增加、服务等级协议(SLA)失效,下游API和模型端点承受冗余负载,可能触发其他工作负载的限流。用户等待一个永远无法完成的请求,这会破坏该架构旨在保护的信任。对迭代次数、时间和令牌的限制,加上升级路径,可以防止困惑的代理演变为失控的账单。

第5阶段:执行与观察(API、代码、数据和MCP工具)

执行与观察是代理与外部世界互动的阶段。由于它会改变真实系统,因此治理风险最高。

  • 工具执行 – 代理通过标准接口(REST API、代码沙箱、数据连接器和模型上下文协议(MCP)工具)调用外部工具,并记录每次调用的完整请求和响应。
  • 观察 – 每个结果都会被解析、验证并反馈到上下文中:结构化返回值、错误信息、状态码、副作用。
  • 审批关卡 – 在执行破坏性操作(写入、删除或发送)之前,会经过策略和审批关卡。根据风险等级和组织策略,这可能是自动化检查、人工审批,或两者结合。

反馈循环

当工具返回成功、错误或部分数据时,结果会流回“理解”阶段,并成为下一次循环的上下文。每次循环都会利用这些新信息逐步接近正确答案。返回的内容包括:

  • 工具结果:结构化数据、API响应和计算输出。
  • 错误:提供重新规划依据的错误信息、超时和权限拒绝。
  • 新证据:在工具执行过程中发现的新信息,改变了对任务的理解。

工具网关与策略执行

工具网关位于运行时与平台服务之间,是所有工具调用必须经过的唯一检查点。它执行基于角色的访问控制(RBAC)检查、验证输入、应用治理策略,并执行速率限制和成本预算。在AWS上,这对应于Amazon Bedrock Agent操作组与基于IAM的授权,当需要自定义策略逻辑时,可以添加AWS Lambda授权器。

知识与状态层

第3层/共5层 · 知识与状态(见图1)

知识与状态层为代理提供两项不可或缺的能力:事实依据和跨会话持久化的记忆。它分为四个层级:

层级 | 目的 --- | --- 企业搜索 | 跨组织知识库、文档和维基的全文和语义搜索。 | Amazon Kendra, Amazon OpenSearch Service 向量索引 | |

用于RAG检索的嵌入存储。支持语义相似性近似最近邻搜索。

Amazon OpenSearch Serverless、Amazon Aurora PostgreSQL(pgvector)、Amazon S3 Vectors

短期记忆

对话缓冲区和会话上下文窗口。在单次交互中提供连贯性。

Amazon ElastiCache、Amazon DynamoDB(生存时间,或TTL)

长期记忆

用户偏好、学习模式、事实和知识图谱。跨会话持久化存储。

Amazon DynamoDB、Amazon Neptune

平台服务层

5层中的第4层 · 平台服务(参见图1)

平台服务层是运行时依赖的共享基础设施。这些托管服务将运营复杂性从代理中剥离。

模型网关

模型网关是面向多个基础模型的单一接口。它将每个任务路由到合适的模型,当某个模型失败时会回退到其他模型,并处理速率限制、令牌计量和响应缓存。由于它通过通用模式隐藏每个提供商的API,因此可以在不修改代理代码的情况下切换模型。

在AWS上,Amazon Bedrock就是这个网关,提供对Anthropic Claude、Amazon Nova、Meta Llama和Mistral等基础模型的无服务器访问。有关各区域的模型可用性,请参阅Amazon Bedrock中的《按AWS区域划分的受支持模型》。要运行自定义模型,请使用Amazon SageMaker端点进行托管推理并自动扩展。

工具注册表

工具注册表是代理可调用的每个API、函数和连接器的目录,包括它们的模式、权限、描述和版本。计划会读取此注册表为每个子任务选择工具。每个工具都通过OpenAPI模式注册,明确说明其输入、输出和副作用。

在AWS上,Amazon Bedrock Agent操作组保存这些模式,并将其连接到AWS Lambda函数或API端点,为您提供受控且版本化的目录,代理可以发现并调用这些目录。

密钥和IAM

这是API密钥、数据库凭证和OAuth令牌的存储和轮换位置。细粒度的IAM策略决定哪些代理可以访问哪些密钥,因此凭证不会泄露到跟踪记录或日志中。AWS Secrets Manager负责轮换,IAM则强制实施最小权限原则。

事件总线

事件总线异步传输代理生命周期事件(启动、工具调用、完成和错误),使监控、告警和下游集成能够与代理解耦。Amazon EventBridge是核心组件,结合Amazon Simple Notification Service(Amazon SNS)和Amazon Simple Queue Service(Amazon SQS)实现扇出和队列管理。

可观测性:步骤级跟踪

观察代理与观察普通应用程序不同。代理运行非确定性循环。步骤数量会变化,工具调用会分支,计划会在执行过程中更改。步骤级跟踪必须捕获完整的执行图,而不仅仅是请求和响应。

在每个步骤中,可观测性层捕获四种类型的信号:

| 信号类型 | 捕获内容 | 重要性 | |----------------|----------------------------------|--------------------------------| | 步骤级跟踪 | 父子跨度关系、阶段转换、决策分支点 | 调试非确定性行为。追踪错误输出的根本原因 | | 延迟 | 每步的墙钟时间、模型推理时间、工具往返时间 | 识别瓶颈。SLA合规性。性能优化 | | 令牌 | 每次模型调用的输入输出令牌、上下文窗口利用率、累计使用量 | 优化资源分配。成本控制 |

成本归因与优化(按用户、租户和工作流)。上下文溢出预防。提示优化

工具状态

工具调用成功率/失败率、响应码、重试次数、负载大小

工具可靠性评分。自动降级决策。SLA监控

在AWS上 – 使用AWS X-Ray配合自定义分段追踪代理步骤,使用Amazon CloudWatch进行指标和告警,使用Amazon CloudWatch Logs Insights查询追踪数据。Amazon Bedrock原生支持记录模型调用,包含输入输出负载及令牌计数。

可信与控制框架

第五层/共五层 · 可信与控制,包含跨领域治理(参见图1)

缺乏信任是部署企业代理的主要障碍。该层位于运行时和最终输出之间,通过一系列验证门确保每个操作符合组织标准后才输出。这些控制措施也有助于组织满足新兴监管框架(如欧盟AI法案)的要求,降低处罚风险,确保AI使用符合合规性和责任性要求。(参见图3)

基于公认标准构建。四个验证门并非随意排列。每个门都对应现有负责任AI控制措施。它们追踪AWS Well-Architected Generative AI Lens中的负责任AI维度(安全性、真实性与鲁棒性、可控性、透明度和治理)以及NIST AI风险管理框架中的风险函数(治理、映射、衡量、管理)。映射关系直接对应。第一门(防护栏)对应安全门:过滤有害内容和LLM应用OWASP Top 10中的输出处理风险。第二门(评估)检查真实性与鲁棒性,通过事实核查和幻觉检测进行验证。第三门(置信度评分)对应透明度门:揭示不确定性并标注每个主张的来源。第四门(人工审批)确保系统扩展时仍有人类控制。基于这些标准进行衡量,整个流程可被审计,且符合审查者和监管机构已熟悉的条款,而非内部检查清单。

图3:可信与控制,四门验证流程

门1:防护栏

内容过滤、个人身份信息(PII)检测、毒性检查和主题黑名单。防护栏作用于输出,在用户看到响应前扫描代理的输出。在AWS上,Amazon Bedrock防护栏为您提供可配置的过滤器,用于过滤仇恨言论、侮辱、性内容、暴力和不当行为,同时支持自定义禁止主题和PII脱敏。

门2:评估

该门检查检索内容是否支持响应。该门涵盖事实核查、幻觉检测和格式验证,可将输出传递给独立的"评委"模型对主模型的工作进行评分。

门3:置信度评分

代理对其自身置信度进行评分,将关键主张归因于来源,标记不确定之处,并将置信度与阈值进行比对。低于阈值的内容将转交人工处理,而非直接发送给用户。

门4:人工审批(HITL)

对于高风险操作(如资金转移、数据修改或外部通信),代理会通过人工介入(HITL)审批步骤。审核人员可以看到拟执行的操作、代理的推理过程和置信度评分,可批准、修改或拒绝该操作。所有决策都会被记录。

验证结果

在操作通过检查后,会归类为以下四种结果类型之一,每种类型对应不同的治理措施:

结果类型

风险等级

治理措施

回应

向用户生成自然语言响应。低风险:仅需护栏和内容过滤器即可。

低

仅护栏

写入

在外部系统(数据库记录、文档、配置)中创建或修改数据。

中

策略门 + 日志记录

触发工作流

启动自动化工作流或流水线(部署、数据流水线、通知链)。

高

策略 + 人工审批

升级 / 人工干预

代理判断需要人工干预:置信度太低、操作风险过高或请求超出范围。

关键

完整审批链

跨领域治理

治理是所有其他功能的基础层。它帮助组织在每个层级满足法律、监管和伦理要求,并基于五个支柱构建(见图4):

图4:代理治理的五大支柱

  • 安全性:静态和传输中加密、虚拟私有云(VPC)隔离、AWS WAF和AWS Shield保护、数据分类及网络分段。
  • 可观测性:分布式追踪、指标仪表板、异常检测、告警路由及所有代理操作的SLA监控。
  • 审计:不可变审计日志、决策轨迹、工具调用记录、数据血缘追踪及自动化合规报告。
  • 成本:按用户和团队计费的令牌计量、用于成本优化的模型分级、预算告警、用户配额及成本归因仪表板。
  • 合规:在GDPR或CCPA等法规下,组织可能需要处理数据驻留、保留策略及支持数据主体请求(如访问和删除)的机制。如果工作负载处理受保护的健康信息,请使用符合HIPAA的服务并审查AWS共享责任模型下的责任。SOC 2等AWS合规计划涵盖底层AWS服务,不包括您的应用。参见AWS合规计划覆盖的服务范围。

设计模式与最佳实践

以下模式和反模式来自我们在AWS专业服务实践中为客户构建和运行企业代理的生产环境经验,而非白板推导。

目前已有团队在AWS上生产环境中运行类似架构。其中一个是Druva,一家数据安全提供商,他们基于Amazon Bedrock AgentCore构建了DruAI多代理系统,专用代理处理遥测分析、调查指导和恢复工作流。根据Druva案例研究,68%的客户问题现在通过代理工作流解决,人工协助解决速度提升58%,原本需要30-60天的网络攻击调查现在可在几分钟内完成。另外,Cox Automotive使用Amazon Bedrock AgentCore在不到一年时间内将17个代理解决方案投入生产,另有7个正在开发中。这种架构反映了这些部署中的模式。

推荐模式

这些模式回答了团队构建企业代理时反复出现的设计问题。每个模式独立存在,选择适合您工作负载的模式,其余可忽略。

模式:渐进式自主性

开始时以只读模式启动代理,随着代理赢得信任,逐步扩大其写入权限。使用功能标志或IAM角色升级,按用户、团队或使用场景设置自主级别。这样,组织可以在授予更广泛权限之前,逐步建立对系统的信心。

模式:安全默认值

当代理遇到缺少工具、API超时或模糊请求时,应采取安全做法:通过提问澄清而非猜测,或升级至人工处理而非冒险执行错误操作。在系统提示中编码此规则,并在信任与控制层进行备份。

模式:多模型策略

根据阶段匹配模型。小型快速模型可处理意图分类和简单路由(阶段1)。大型模型在规划和推理(阶段2和4)中证明其成本合理性。专用模型在信任层执行评估。采用此方式路由的团队通常能在关键环节保持质量的同时降低成本,但实际节省程度取决于工作类型组合、模型选择和流量。在确定目标前,需根据自身使用场景进行基准测试。

模式:结构化工具接口

为每个工具提供明确的OpenAPI架构,定义输入输出类型、错误代码、速率限制和声明的副作用。这使得Plan能智能选择工具,Observe能检查返回结果是否符合承诺。

需避免的反模式

这些是早期我们观察到团队常陷入的陷阱。早期识别可减少返工。

反模式:单体代理

抵制构建全能代理的冲动。将工作拆分为专用代理(如日历、代码、数据分析),由监督代理协调。这样可获得更好的可靠性、更简单的测试,以及独立扩展和部署每个代理的自由。

反模式:无限制循环

对循环迭代设置硬性上限。常见的生产环境设置是3至5次迭代,总令牌预算内。超过此限制后,代理应总结当前进展,然后升级或询问用户下一步操作。没有此上限时,困惑的代理可能无限消耗令牌却毫无进展。

反模式:后期信任架构

不要将治理、防护和可观测性实现推迟到“后期”。它们必须从第一天起就是基础构建块。在代理已投入生产后添加信任控制,成本更高且引入更多缺陷,相比从一开始就构建这些功能。

在AWS上实现此架构

本节将图1的参考架构映射到具体的AWS服务,将五层循环的每一层对应到实现它的托管服务。将其视为合理的起点而非固定清单。您的规模、数据驻留地、延迟和成本要求将推动部分选择调整,因此将映射作为基准,对照AWS Well-Architected Generative AI Lens进行检查,并根据自身工作负载进行优化。

架构层到AWS服务的映射

从图1的入口点向下到验证结果,各层在AWS上的实现方式如下。

层1:入口点。

使用WebSocket API配置Amazon API Gateway以流式传输代理响应。附加Amazon Cognito用户池以实现OAuth 2.0/OIDC认证。定义按用户角色限定工具访问权限的IAM策略。

层2:代理运行时。

创建一个带有系统提示的 Amazon Bedrock 代理,该提示编码了代理的个性、行为防护措施以及可用工具列表。定义映射到 AWS Lambda 函数或 API 端点的操作组。为输入和输出过滤启用 Amazon Bedrock 防护措施。

第三层:知识和状态。

创建一个以 Amazon Simple Storage Service(Amazon S3)作为数据源、Amazon OpenSearch Serverless 作为向量存储的 Amazon Bedrock 知识库。为会话状态(带 TTL 实现自动过期)和长期记忆配置 Amazon DynamoDB 表。可选地,添加 Amazon ElastiCache 以实现低延迟结果缓存。

第四层:平台服务。

Amazon Bedrock 作为模型网关。将工具注册为带有 OpenAPI 模式定义的 Amazon Bedrock 代理操作组。将 API 密钥和凭证存储在启用自动轮换的 AWS Secrets Manager 中。为代理生命周期事件配置 Amazon EventBridge 规则。

第五层:可观测性和治理。

启用 Amazon Bedrock 模型调用日志。为 AWS Lambda 函数配置 AWS X-Ray 跟踪。设置 Amazon CloudWatch 仪表板以监控令牌使用量、延迟百分位数和工具成功率。启用 AWS CloudTrail 进行审计日志记录,并使用 AWS Config 规则进行合规性检查。

从基准到生产环境。这些映射为您的架构提供了受控的起点,但大部分工程工作集中在将该基准强化为符合您安全、合规、成本和扩展需求的生产级代理。如果您希望加速这一过程,AWS 专业服务团队和 AWS 合作伙伴可以帮助您为自己的工作负载设计、构建和运营此架构。了解如何联系 AWS 专业服务团队或寻找 AWS 合作伙伴。在部署前,请与安全和法律团队合作,确保满足组织的安全、监管和合规要求。根据 AWS 共享责任模型,您需负责配置和运营这些服务以满足相关要求。

结论

企业代理的难点从来不是模型本身,而是围绕模型的一切。这包括伴随请求的身份、持久化的记忆、动作所需的防护措施,以及记录发生事件的追踪信息。正确处理这些要素,代理才能成为企业真正可以依赖的系统。忽略这些要素,您得到的只是一个无人敢在客户面前使用的聪明演示。

本文中描述的受控、可观测的闭环为团队从基础聊天机器人向可信赖的生产级代理演进提供了参考基准。

几个值得牢记的关键点:

  • 治理不是一项附加功能。它应融入每一层,而非最后才添加。
  • 无法看到的东西无法治理。分步追踪是实现可靠代理操作的关键。
  • 闭环才是核心。包含每次迭代反馈的五阶段闭环,正是区分代理与聊天机器人的关键。
  • 信任需要逐步建立。从狭窄的只读模式开始,随着系统证明自身价值逐步扩展。
  • 所有组件已在 AWS 上就绪。Amazon Bedrock 提供模型和防护措施,Amazon EventBridge 提供事件驱动的可观测性,AWS IAM 提供访问控制。每个组件都对应托管服务。

下一步

  • 通过 AWS 管理控制台探索 Amazon Bedrock,创建包含知识库和操作组的第一个代理。查看 Amazon Bedrock 文档了解最新的代理功能。
  • 阅读文档。Amazon Bedrock 文档涵盖代理创建、工具配置和安全防护设置。
  • 查阅架构最佳实践指南。AWS Well-Architected Framework 包含 AI/ML 工作负载的最佳实践。
  • 浏览参考架构。AWS Architecture Center 提供更多 AI/ML 系统的架构模式。
  • 深入了解自主代理 AI。《AWS 上自主代理 AI 基础》指导手册涵盖概念基础,《面向自主代理 AI 的企业多账户架构》涵盖生产基础设施。
  • 使用 AWS 构建。希望将此架构应用于企业业务?请联系 AWS 专业服务团队或 AWS 合作伙伴,为您量身打造一个受控、可观测的企业级 AI 代理,并进行设计、构建和运营。

进一步阅读

如需按服务映射这些架构层级到 AWS 服务的参考指南,请参阅《AWS 自主代理 AI 指导手册》:《AWS 上自主代理 AI 基础》涵盖概念基础,《面向自主代理 AI 的企业多账户架构》涵盖生产基础设施。由于托管服务持续演进,这些指南会根据各层级推荐服务保持更新。

作者简介

'"` /think