Gradient Flow

Something keeps showing up in AI agent deployments

6.9内容质量
Something keeps showing up in AI agent deployments

TL;DR · AI 摘要

Something keeps showing up in AI agent deployments - Gradient Flow Something keeps showing up in AI agent deployments Be...

核心要点

  • 主题聚焦:Something keeps showing up in AI agent deploymen
  • 来源:Gradient Flow,建议结合原文判断细节。
  • AI 分析暂不可用,本条为保底评分与摘要。
#AI#编程#后端#安全#产品
打开原文

在AI代理部署中反复出现的现象 - Gradient Flow

在AI代理部署中反复出现的现象

Ben Lorica

2026年11月17日

订阅 • 之前的问题

构建AI代理正在变得容易,但运行它们却并非如此

今年8月,我曾撰文描述过不同团队在构建差异显著的AI产品时,却得出了相似的架构选择。我将研究和对话总结为九条实用规则。此后,我开始关注银行、能源公司、制造商、零售商及其他非科技组织的部署情况。当代理真正投入工作时,这些规则是否依然适用?

总体而言,这些规则仍然成立。但这些案例还暗示了另一个问题:将代理投入生产环境往往依赖于数据清理、流程文档化以及内部软件系统的改进工作。这些代理实际上受益于当前AI热潮之前就已进行的投资。由于大多数公开结果来自供应商或公司自身,因此这些数据值得持保留态度。

想从这些文章中获取更多信息?考虑成为付费支持者吧🙏

#### 1. 限制代理的功能,而非其推理方式

生产环境中的代理通常在明确的边界内运行,尤其是在错误可能带来严重后果的场景中。杜克能源(Duke Energy)的代理协调用于电网规划的工程模拟,而工程师会审查结果并做出最终决策。星展银行(DBS Bank)使用由70至80个专业代理组成的链条来协助准备信贷备忘录,最终分析由专人负责。

这强化了两条早期规则:在软件中设置硬性约束,并仅根据工作需求赋予代理相应的自主权。但最近与Lyft的Nick Ung和Akshay Sharma的一次对话中,Nick提出了一个重要的补充说明。过于脚本化的流程可能会阻止代理处理开发者未预料到的情况。Lyft将涉及欺诈或安全的敏感问题路由给人类处理,但并未规定代理必须执行的每一步骤。区别在于限制代理的权限与不必要的限制其解决问题的推理方式之间。

#### 2. 业务系统比聊天机器人更重要

更有意思的部署案例是将代理连接到公司已依赖的数据和工具。特雷恩科技(Trane Technologies)将代理连接到实时HVAC设备数据,使技术人员能够通过自然语言问题调查问题。内部基准测试将原本需要20分钟的诊断流程缩短到约20秒。模型并未取代底层工程系统,而是让这些系统的功能更易于使用。

以荷兰零售商HEMA为例,其助手建立在多年维护服务目录的工作基础上,该目录连接了团队、系统和API。托特纳姆热刺(Tottenham Hotspur)同样在推出粉丝支持代理之前,花了大约两年时间整合客户记录并替换碎片化系统。

在与Andrew Moore之前的对话中,我们讨论了AI如何帮助自动化这些基础工作,包括在不同系统间匹配记录这一困难任务。他在Lovelace团队报告称,某些数据准备项目的时间从数月压缩到数天。这为我之前提出的“在购买更大模型之前先完善知识库”规则增添了新的维度。这项工作仍然重要,但AI正越来越多地帮助完成它。

#### 3. 企业正在构建代理基础设施,而不仅仅是代理本身

这是我八月份没有强调的一个发展。随着越来越多团队开始构建代理,每个应用程序拥有独立的访问控制、监控、评估工具和成本管理已不再合理。企业越来越需要多个团队可以共享的基础设施。

Wood Mackenzie 发现其 AI 概念验证中 88% 的案例从未实现大规模部署。其 APEX 平台为团队提供开发和运营代理的通用基础设施。巴西的 Itaú 创建了 IARA 来管理模型访问、使用成本和 AI 政策。在 MRH Trowe,其首个生产月份就有约 400 名员工获得治理代理平台的访问权限,据报道每位用户的成本约为 14 美元。

Lyft 提供了另一个案例。其团队将评估视为共享基础设施,将代理行为的生产记录与离线测试和自动化评估相结合。构建单个代理变得更容易,但保持不断增长的代理集合的可靠性需要不同的能力。

#### 4. 领域专家正在成为代理构建者,但工程师仍掌控平台

在 Grand Isle Shipyard,一位没有 IT 背景的运营高管为船队安全和合规性构建了约 20 个代理。农业设备制造商 AGCO 的 AI 开发者社区有约 2000 名员工,生产环境中部署了数百个代理。越来越多人正在参与自动化工作。

Lyft 提供了职责划分的典型案例。负责审查客户支持工单的领域专家会为处理相对简单客户问题的代理编写提示。工程师提供工具和保障措施,包括自动检查无效工具引用等错误。工程师在部署前也会审核提示,而数据科学家则执行评估。更复杂的代理工作流程仍由技术团队负责。

我认为这种分工是合理的。业务专家了解问题及其解决方式,而工程师确保代理能够可靠运行。但这引发了一个新问题:谁将维护、测试并最终淘汰数百甚至数千个员工构建的代理?

#### 5. 警惕代理成功指标实际衡量的内容

报告的成功率难以比较,因为不同公司衡量的标准不同。托特纳姆热刺称其粉丝支持代理的参与度达到 86%,但只有 20% 的互动无需人工协助即可解决。TSA 报告称 96% 的问题得到解决,但仅限于常规咨询。Amalgamated Bank 新部署的反洗钱代理承诺节省时间超过 90%,但这些数据只是预测。

这些数字确实提供了某些信息,但往往忽略了错误、纠正成本以及整个流程中自动化所占的比例。这让我回到之前的论点:评估必须涵盖模型和整个代理系统。在 Lyft,团队会分析代理的轨迹,即它提出的问题序列、工具调用和决策过程,而不仅仅是最终响应。一个代理可能在咨询了错误数据库或让客户重复信息后才得出正确答案。仅关注结果会忽略这些问题。

在评估生产代理的声明时,我会提出以下问题:

  • 具体衡量的是什么?分母是什么?
  • 代理出错或需要人工干预的频率有多高?
  • 谁测量了结果,这些结果是实际数据还是预测数据?
  • 代理在端到端流程中处理了多少工作?

综合来看,这些案例表明,将代理投入生产环境对公司现有系统的考验,与对其人工智能能力的考验同样重要。代理开发正逐渐成为一项共享的工程责任,同时领域专家也可以参与其中。那些在可靠数据、文档完善的流程以及可访问的软件系统方面已有投入的公司,将拥有先发优势。

另一个挑战正在逼近。摩根大通正在限制外部代理访问客户账户,而汇丰银行则为企业的AI工具开辟了受控通道。未来,企业将需要越来越多地管理不仅限于自身代理,还包括来自外部的代理。在数据质量、权限管理和可靠接口方面的相同投资将变得越来越有价值。

让代理记忆真正有用的8种方法 了解更多 分享此内容: 在X上分享(在新窗口中打开) X 在Facebook上分享(在新窗口中打开) Facebook 在LinkedIn上分享(在新窗口中打开) LinkedIn 通过电子邮件发送链接给朋友(在新窗口中打开) 电子邮件 喜欢这篇文章: 喜欢 加载中…