Building AI Agents Is Getting Easier. Running Them Isn’t.

TL;DR · AI 摘要
AI代理部署的挑战远大于构建难度,需依赖数据治理和系统整合而非单纯技术突破。
核心要点
- 限制代理权限时需区分权威限制与推理自由度(Lyft案例)
- 连接现有业务系统比开发新聊天机器人更重要(Trane Technologies效率提升20倍)
- 数据准备耗时可从数月压缩至数天(Lovelace团队实践)
结构提纲
按章节快速跳转。
- §引言
AI代理部署的现实挑战远超技术构建难度
Duke Energy与DBS Bank案例显示生产环境需硬性约束代理权限
通过保留人类最终决策权平衡自动化与灵活性
Trane Technologies连接实时HVAC数据使诊断效率提升600%
荷兰零售商通过2年系统整合构建服务目录基础
Lovelace团队将数据准备周期压缩至原时长的1/15
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- AI代理部署挑战
- 权限管理
- 硬性约束 vs 推理自由度
- 人类最终决策权
- 系统整合
- 连接现有业务系统
- 服务目录构建
- 数据治理
- 数据准备周期压缩
- 跨系统记录匹配
金句 / Highlights
值得收藏与分享的关键句。
Duke Energy的代理协调电网规划,工程师保留最终决策权
Trane Technologies通过NLP连接HVAC设备,诊断时间从20分钟降至20秒
Lyft在欺诈安全问题上采用人类兜底机制而非完全自动化流程
构建AI代理变得更容易了。运行它们却并非如此。 - Gradient Flow
构建AI代理变得更容易了。运行它们却并非如此。
Ben Lorica
2026年11月18日
今年8月,我写过关于不同团队构建差异显著的AI产品时却得出相似架构选择的文章。我将研究和对话总结为九条实用规则。此后我一直在观察银行、公用事业公司、制造商、零售商及其他非科技领域组织的部署情况。当代理真正投入工作时,这些规则是否依然适用?
在大多数情况下,答案是肯定的。但这些案例也暗示了另一层含义。将代理投入生产往往依赖于数据清洗、流程文档化以及内部软件系统的改进工作。这些代理实际上受益于当前AI热潮之前就已进行的投资。由于大多数公开结果来自供应商或企业自身,因此这些数据值得持保留态度。
想从这些文章中获得启发?考虑成为付费支持者吧🙏
#### 1. 限制代理能做的事情,而非它们推理的方式
生产环境中的代理通常在明确的边界内运行,尤其是在错误会产生后果的场景中。杜克能源(Duke Energy)的代理协调用于电网规划的工程模拟,而工程师会审查结果并做出决策。DBS银行使用70到80个专业代理组成的链来协助准备信贷备忘录,最终分析由专人负责。
这强化了两条先前的规则:在软件中设置硬性约束,并且只给予代理工作所需的最小自主权。但最近与Lyft的Nick Ung和Akshay Sharma的对话中,Nick提出了一个重要补充。过度脚本化的流程可能使代理无法处理开发者未预料到的情况。Lyft将涉及欺诈或安全的敏感问题路由给人类处理,但不会规定代理必须采取的每个步骤。区别在于限制代理的权限与不必要的限制其解决问题的推理方式之间。
#### 2. 业务系统比聊天机器人更重要
更有意思的部署是将代理连接到企业已依赖的数据和工具。特雷恩科技(Trane Technologies)将代理连接到实时HVAC设备数据,使技术人员能够通过自然语言问题调查问题。内部基准测试将原本20分钟的诊断流程缩短到约20秒。模型并未取代底层工程系统,而是让这些系统的功能更易于使用。
考虑荷兰零售商HEMA,其助手建立在多年维护服务目录的工作基础上,该目录连接了团队、系统和API。托特纳姆热刺(Tottenham Hotspur)在推出粉丝支持代理之前,也花了大约两年时间整合客户记录并替换碎片化系统。
在与Andrew Moore的早期对话中,我们讨论了AI如何帮助自动化这些基础工作,包括跨不同系统匹配记录这一困难任务。他在Lovelace团队报告称,某些数据准备项目的时间从数月压缩到数天。这为我之前提出的“在购买更大模型之前先完善知识库”的规则增添了新维度。这项工作仍然重要,但AI正越来越多地帮助完成它。
#### 3. 企业正在构建代理基础设施,而不仅仅是代理本身
这是八月时我未强调的一项进展。随着越来越多团队开始构建代理,每个应用程序都拥有独立的访问控制、监控、评估工具和成本管理已不再合理。企业越来越需要能够被多个团队共享的基础设施。
Wood Mackenzie发现,其AI概念验证项目中,有88%从未实现大规模部署。其APEX平台为团队提供开发和运营代理的通用基础设施。巴西的Itaú创建了IARA来管理模型访问、使用成本和AI政策。在MRH Trowe,其首个生产月就有约400名员工获得受控代理平台的访问权限,据报道每位用户的成本约为14美元。
Lyft提供了另一个案例。其团队将评估视为共享基础设施,将代理行为的生产记录与离线测试和自动化评估相结合。构建单个代理正变得容易,但保持日益增长的代理集合的可靠性需要不同的能力。
#### 4. 领域专家正在成为代理构建者,但工程师仍掌控平台
在Grand Isle Shipyard,一位没有IT背景的运营高管为船队安全和合规性构建了约20个代理。农业设备制造商AGCO的AI开发者社区有约2000名员工,生产环境中部署了数百个代理。越来越多人正在参与自动化工作,因为他们理解这些工作本身。
Lyft提供了一个有用的案例,说明职责如何划分。审查客户支持工单的领域专家会为处理相对简单客户问题的代理编写提示。工程师提供工具和保障措施,包括自动检查无效工具引用等错误。工程师在部署前也会审核提示,而数据科学家则执行评估。更复杂的代理工作流程仍由技术团队负责。
我认为这种分工是合理的。业务专家了解问题及其解决方案,而工程师确保代理能够可靠运行。但这也引发了一个问题:谁将维护、测试并最终退役数百甚至数千个员工构建的代理?
#### 5. 谨慎对待代理成功指标的实际衡量内容
由于公司衡量标准不同,报告的成功率难以比较。托特纳姆热刺称其粉丝支持代理的参与度达到86%,但只有20%的互动无需人工帮助即可解决。TSA报告的解决率为96%,但仅限于常规咨询。Amalgamated Bank新推出的反洗钱代理承诺节省时间超过90%,但这些数据只是预测。
这些数字提供了某些信息,但通常会忽略错误、修正成本以及自动化程度。这让我回到之前的论点:评估必须涵盖模型和整个代理系统。在Lyft,团队会检查代理的轨迹,即其提出的问题序列、工具调用和决策过程,而不仅仅是最终响应。代理可能在咨询了错误数据库或让客户重复信息后得出正确答案。仅关注结果会遗漏这些问题。
在评估生产代理的声明时,我会提出以下问题:
- 究竟测量了什么?分母是什么?
- 代理出错或需要人工干预的频率有多高?
- 谁测量了这些结果,它们是实际结果还是预测数据?
- 代理在端到端流程中能处理多少环节?
综合来看,这些案例表明,将代理投入生产环境对公司现有系统的考验,与对其人工智能能力的考验同样重要。代理开发正在成为一项共享的工程责任,同时领域专家也可以参与其中。那些在可靠数据、文档完善的流程以及可访问的软件系统方面进行过投资的公司,将拥有先发优势。
另一个挑战正在逼近。摩根大通正在限制外部代理访问客户账户,而汇丰银行则为企业的AI工具开辟了受控通道。未来,企业将需要越来越多地管理的不仅是自身的代理,还有来自外部的代理。在数据质量、权限管理和可靠接口方面的相同投资,将变得愈发重要。