AWS Machine Learning Blog

Pluggable Agentic AI Framework: A seven-layer composable enterprise agentic AI reference architecture on Amazon Bedrock AgentCore

7.1内容质量
Pluggable Agentic AI Framework: A seven-layer composable enterprise agentic AI reference architecture on Amazon Bedrock AgentCore

TL;DR · AI 摘要

Pluggable Agentic AI Framework: A seven-layer composable enterprise agentic AI reference architecture on Amazon Bedrock...

核心要点

  • 主题聚焦:Pluggable Agentic AI Framework: A seven-layer co
  • 来源:AWS Machine Learning Blog,建议结合原文判断细节。
  • AI 分析暂不可用,本条为保底评分与摘要。
#AI#编程#前端#后端#云计算
打开原文

可插拔智能体AI框架:基于Amazon Bedrock AgentCore的七层可组合企业级智能体AI参考架构 | 人工智能

可插拔智能体AI框架:基于Amazon Bedrock AgentCore的七层可组合企业级智能体AI参考架构

"我们如何在生产环境中规模化运行AI智能体?"这是每个客户最终都会提出的问题。这个问题通常伴随着多个相关问题:如何安全可靠地处理数千个并发用户请求?如何确保智能体在真实流量下保持可靠性而非静默失败?如何判断智能体是否仍符合测试阶段通过的质量和安全标准?智能体安全的最佳实践是什么?应该采用确定性还是非确定性?还有许多类似问题。概念验证无法回答这些问题,因为它仅用于展示智能体模型能否完成任务,而非应对生产流量、成本压力和安全审查。

从可运行的原型到能够规模化可靠运行、安全、高效且负责任的系统之间存在明显差距,这正是大多数智能体AI项目停滞的瓶颈,而问题通常不在于模型本身。每个构建智能体的团队都倾向于从零开始重新构建相同的基础设施:自己的路由逻辑、防护机制、可观测性功能,这些往往是在开发后期才添加,而非从设计之初就集成。团队需要一个共享的、生产就绪的架构,所有智能体都可以基于此构建。

本文将逐步介绍专为将多智能体AI应用从原型扩展到生产规模而设计的七层可组合参考架构。

可组合架构

可插拔智能体AI框架是一个将多智能体应用划分为七层的参考架构,每层都有明确的职责和稳定的接口规范。各层展示的服务和技术反映了参考实现方案,而非强制性选择。组织可根据现有基础设施和需求替换其他替代方案。这些层共同构成了在生产规模下构建、安全防护和运营智能体AI应用的蓝图。

图1:可插拔智能体AI框架的七层结构

数据与知识是智能体AI的基础。智能体的能力取决于其可访问的数据质量。无论智能体是在核对医疗药品目录、跟踪库存还是解读合规规则,都需要相关且最新的信息来正确回答问题。该层通过清晰的接口和协议负责检索、嵌入以及结构化和非结构化数据的访问:接受查询并返回最相关的信息作为智能体的上下文。Amazon Bedrock知识库、Amazon OpenSearch Serverless向量引擎、Amazon S3向量和Amazon DynamoDB是该基础层的示例构建模块。

模型和推理选择应由配置驱动,而非硬编码到代理或应用逻辑中。对简单任务使用更小更快的模型,对需要复杂推理的任务使用更大模型。为构建的用例进行彻底的模型评估至关重要,需使用真实且具有代表性的业务数据。模型路由层通过依赖统一的请求-响应契约,使AI代理与模型托管环境和特定提供商的API解耦。像LiteLLM这样的代理可通过通用接口跨提供商实现模型切换,无需重写应用逻辑即可根据评估结果调整模型。

编排策略决定了工作如何分配,选择合适的方法至关重要。对简单任务可使用单一代理端到端处理。对复杂跨领域工作流,应使用监督器委托专业代理,每个代理限定特定能力并绑定特定工具集。避免构建全能型代理。随着工具、指令和上下文累积,上下文窗口会扩大、延迟增加、准确性下降。工具泛滥会导致代理超出预期范围,引发意外操作和安全漏洞。职责拆分可保持每个代理上下文聚焦,使延迟更可预测。还可独立测试每个代理行为、扩展其规模并定义其安全模型。强制有限自主性:专业代理应严格在授权工具范围内执行,不得越界。

除拆分为专业代理并设定边界外,还需将专业代理与监督代理解耦。允许监督器从集中式代理注册表发现专业代理,并通过标准化协议(如MCP(模型上下文协议)和A2A(代理间通信))调用。维护集中式代理注册表,记录每个代理的工具、技能和负责人。这为组织提供大规模治理所需的可见性,通过可复用性提升AI代理实施速度,避免重复开发成本。可考虑使用Strands Agents作为专业代理,Amazon Bedrock AgentCore Harness作为编排器,AWS Agent Registry和Amazon Bedrock AgentCore Gateway用于集中式发现和路由。

安全性与防护机制应从设计之初就作为首要关注点。基于代理的AI使组织面临传统安全框架无法应对的新风险类别,从提示注入和工具误用到内存与数据污染。默认情况下应将所有外部内容视为不可信。通过类似Amazon Bedrock AgentCore Identity的服务对每个请求进行身份验证,无论请求来自用户、其他代理还是自动化工作流。随后使用细粒度访问控制机制,在执行前判断每个工具调用是否被允许。为代理授予临时且范围限定的凭证,而非持久性密钥。在数据保护方面,对代理和工具请求及响应中的敏感数据(如PHI和PII)进行脱敏处理,确保敏感客户信息不会出现在代理输出中或残留在内存中。为实现责任追溯,需在防篡改的审计日志中记录所有重大决策,将高影响操作路由至人工审批关卡,并部署熔断器以在异常行为升级前及时阻止。可考虑使用Amazon Bedrock Guardrails处理用户输入,结合Amazon Bedrock AgentCore中的AgentCore Identity和Policy实现身份验证与访问控制,并配合AWS安全与治理控制措施,构建纵深防御的安全体系。

应用层承载着最终用户的体验,无论是聊天界面、API接口还是嵌入式小部件。应有意保持这一层的轻量化设计。其唯一职责应是展示对话并将其请求传递至下方的编排层。避免在此处嵌入业务逻辑。分离程度越清晰,就越能轻松迭代用户体验而不会影响后端稳定性。可在该边界处设置决策模型作为快速且低成本的检查机制:通过一次调用即可判断请求是否在范围内、是否需要人工介入或是否紧急,返回概率值而非自由文本。代码根据这些评分通过简单阈值进行响应,直接处理离题请求并标记升级项,使完整的代理循环仅在产生价值时运行。构建应用层时,需考虑其他AI代理与人类交互时需要哪些条件,据此设计外部接口。

可观测性应从第一天起就监控所有层级,而非等到首次事故发生后。除了日志和指标,端到端代理追踪对于衡量代理是否正确完成任务至关重要。在追踪数据中,需收集每请求的成本和令牌使用量、首次生成令牌耗时、调用安全性等指标,并在上线前展示延迟、错误率和支出的仪表板。主动监控的成本低于被动灭火。可考虑结合Amazon CloudWatch与OpenTelemetry,配合Amazon CloudWatch Omni进行追踪和指标分析,以实现对技术栈的全面可视性。

Agentic Operations 通过持续评估实现闭环,因此从第一天起就应该设置好。对每个生产会话进行 groundedness(贴地性)、准确性和安全性评分,并设置回归门限以在质量问题影响客户之前及时捕捉到。没有这个机制,你只能知道代理在上线时有效;有了它,你可以在每次后续发布后证明其仍然有效。可以考虑使用 Amazon Bedrock AgentCore Evaluations 进行评分,使用 Amazon Bedrock AgentCore 优化进行持续性能调优。

零售客户支持代理的参考实现

图2:零售客户支持参考实现的功能流程

为了让架构落地,该框架包含一个即开即用的参考实现,基于零售客户支持场景,涵盖订单状态和退款资格。我们选择这个用例,因为它会涉及堆栈的每一层,同时又足够直观,便于团队理解和适应自身需求。

监督代理接收客户的退款请求,并委派给订单代理和退款代理,每个代理都是具有特定工具集的专家。订单代理从 Amazon DynamoDB 中查询配送和购买详情。退款代理从知识库中检索基于等级的政策规则,并使用配送日期、当前日期和客户的忠诚度等级计算资格。所有这些调用都会经过 AgentCore 网关,网关会在工具使用 AgentCore 中的策略执行前实施细粒度访问控制,每个调用都会通过可观测性层进行端到端追踪,因此当计算出错时,追踪记录会明确显示是哪一层、哪个决策点导致的问题。

任何构建类似监督代理与专家代理模式的团队都可以克隆该参考实现,并逐层替换自己的领域逻辑层。

可插拔性与各层本身同样重要

七层架构的价值不仅在于如何分离职责,还在于各层能够多快进化。可插拔性使这成为可能。从身份验证、访问策略到遥测接口,各层边界处的稳定契约让你可以在不重新设计整个堆栈的情况下更换底层技术。本质上,采用以架构优先的方法构建代理AI系统,而不是以技术驱动的方式。

该框架通过各层与第三方提供商的集成来实践可插拔性:推理层集成模型和托管提供商,编排层集成搜索能力,应用层集成决策API,安全层集成防护机制,可观测性层集成代理追踪和监控解决方案,同时支持业务价值和成本追踪。每层都支持行业标准提供商,因此你可以组合出符合特定需求的解决方案。

对企业而言,灵活性保护了现有投资。团队可以继续使用已信任的可观测性、安全和推理工具,在需要时填补空白,并逐步采用新功能。该架构提供了统一的基础,无需所有技术决策都来自同一家供应商。

结论

一个可行的原型证明了智能体能够实现的功能。一个经过精心设计的架构决定了企业是否能够依赖它。转向AI运营意味着需要从设计之初就将安全性、治理、可见性、成本控制、可靠性和适应性融入架构,而不是在系统构建完成后才添加这些要素。

可插拔智能体AI框架将这些关注点整合到一个清晰原则的架构中:构建一个稳定的底层基础,同时不将每项技术选择固化。模型会变化,工具会演进,业务需求也会转移。您的架构应使这些变化易于管理,而不是让每次变化都演变成一次重构。

将这一原则付诸实践。从Workshop Studio体验开始,探索公共示例仓库,将动手实践的实现作为您自身架构的起点。它不能替代生产环境的安全加固、测试和审查。

构建您今天所需的能力建设,以及未来所需的灵活性。

关于作者

'."