Data From 100+ AI Agents Shows They Fail by Silent Drift, Not Errors
TL;DR · AI 摘要
AI代理在生产环境中失败的主要原因是无声漂移,而非明显错误,需优先监控质量、成本和延迟。
核心要点
- 38%的AI代理问题通过质量、成本和延迟信号被发现,而非错误。
- 错误是最后出现的信号,且发生的概率最低。
- 监控应优先关注质量、成本和延迟,而非仅依赖错误检测。
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- AI代理监控
- 主要失败原因
- 无声漂移
- 错误较少
- 监控重点
- 质量
- 成本
- 延迟
- 数据来源
- 100+ AI代理
金句 / Highlights
值得收藏与分享的关键句。
38%的AI代理问题通过质量、成本和延迟信号被发现,而非错误。
错误是最后出现的信号,且发生的概率最低。
监控应优先关注质量、成本和延迟,而非仅依赖错误检测。
在错误发生前如何监控生产环境中的AI代理
Agentic AI
超过100个AI代理的数据表明,它们的失败是由于无声的偏移,而不是错误
质量警报和令牌警报是38%的代理的早期信号,而错误仅占约1%,因此监控应从质量、成本和延迟开始。
Barr Moses
2026年11月14日
12分钟阅读
更喜欢我们在Google上的内容
分享
照片由Yumu on Unsplash拍摄
一张抽象插图,一个信号从噪音中脱颖而出,代表生产AI代理监控中的早期预警信号。
我们习惯于传统的软件,它们倾向于大声失败。一个服务会抛出异常,或者一个请求返回500。我们会明显看到错误率上升。然而,AI代理通常不是这样工作的。
一个代理可以继续返回自信、结构良好的答案,而它却变得越来越不准确、成本更高或速度更慢。不幸的是,这些情况不会以明显的错误形式表现出来,这可能会对生产环境造成更大的损害。
我们想看看这在实践中是如何表现的,因此我的团队分析了七个月内来自数十家公司超过100个生产AI代理的警报数据。我们观察到了一个一致的模式:
- 监控开始后几天内问题就会浮现。
- 质量、成本和速度问题首先出现。错误是最后才会触发的,并且最不可能触发。
- 大多数问题会反复出现。特别是失控循环,往往会演变为慢性问题。
- 问题同时出现:令牌峰值几乎总是伴随着其他警告信号,最常见的就是输出质量的下降。
- 团队现有的检查措施主要集中在输出质量和成本上,对治理和安全的涉及非常有限。
本文将逐一介绍这些发现,并探讨团队应该如何监控生产环境中的代理。
数据
这些数据来自我共同创立的Monte Carlo公司,这些代理在这里被监控。它涵盖了数十家客户公司中超过100个生产AI代理,这些代理运行在Snowflake Cortex、Databricks Genie上,或者使用自定义构建,将OpenTelemetry风格的跟踪发送到公司自己的仓库。在此次分析中,我们查看了2026年4月9日至11月2日之间代理触发的警报。
每个代理都有一些组合检查,我们将它们分为以下类型:
- 输出质量评估,其中LLM评委根据有用性、基于事实性或任务完成情况对答案进行评分。
- 令牌消耗、延迟和错误检查,对代理的运行进行异常检测或固定阈值检查。
- 失控循环检查,标记代理重复调用相同工具、查询或重试的次数远高于正常运行所需的次数。
- 对代理所采取的步骤序列进行轨迹和验证检查。
“警报”意味着其中一个检查触发了。它是一个阈值突破或异常,而不是确认的故障。我们排除了内部、演示、测试和试用工作区、测试监控器、生产代理的开发副本以及暂停且从未触发的监控器。同一账户中设置相同的代理只计算一次。结尾的限制因素决定了这些数字应被推多远。
以下是我们发现的关键见解。
这更多地反映了代理对现实世界的暴露程度,而不是代理本身的质量。代理在测试中常常表现良好,但一旦进入生产环境,它们在第一天就会遇到真正的用户、真实的数据和真正的边缘情况。因此,监控系统几乎立刻就会开始触发警报。
在错误出现之前,质量和成本就已经出问题了
我们更深入探讨的问题是,哪些监控实际上触发了警报,以及何时触发。对于每种类型的监控,我们只关注拥有该监控的代理,然后测量有多少代理曾经触发了警报,以及第一次触发警报所需的时间。
图1:每种监控类型中,曾经触发警报的代理比例,以及第一次触发警报的中位天数。图片由作者提供。数据来源:109个生产AI代理的聚合遥测数据。
那些监控代理工作效果和效率的监控系统通常会较早且频繁地触发警报。83%的拥有输出质量评估的代理触发了质量警报,第一次触发警报的中位天数为8天。令牌消耗和延迟检查的情况类似:大约四分之三的代理触发了警报,通常在8到9天内。循环检查在存在的情况下几乎立刻触发,中位天数仅为1天。
如图1所示,错误检查是异常值。拥有错误检查的代理中,不到一半的代理曾经触发过错误警报,而那些触发了警报的代理,第一次触发的中位天数为42天,大约为六周。
当我们查看每个代理第一次触发的警报时,错误警报只在约1%的代理中位列前几。质量警报和令牌警报分别在38%的代理中位列前几。
这就是“漂移”论点的核心。当代理产生出错误检查能够识别的内容时,它通常已经持续数周给出更差的答案、消耗更多的令牌或运行得更慢。以错误率作为起点的监控系统关注的是最后发生变化的部分,却忽略了那些已经悄然累积的负面后果。
大多数问题会反复出现
第二个模式是持续性。对于触发警报的代理,我们统计了每种类型的监控在多少个不同的天数中触发了警报。
图2:根据每种监控类型触发警报的独立天数,代理问题的持续性。图片由作者提供。数据来源:109个生产AI代理的聚合遥测数据。
对于每种监控类型,大多数触发警报的代理在三个或更多的不同天数中触发了警报。一次性警报是少数:质量评估为16%,令牌消耗为20%,延迟和错误分别为约三分之一。失控循环是最持久的:拥有循环警报的代理中,78%的代理在三个或更多的不同天数中触发了循环警报,中位天数为九天。
这里有一个需要注意的限制:某些监控可以在同一持续条件下重新触发警报。为了减少这种影响,我们统计的是独立天数而不是警报次数,但一些看似慢性的问题实际上是长期存在的一个问题。无论如何,实际的要点是一样的:大多数代理的问题不是通过一次性的修复就能解决的,而将每个警报视为孤立事件会掩盖这一现实。
成本、质量和速度是同步变化的
如果代理是漂移而不是崩溃,那么这些信号应该同步变化。令牌消耗是一个很好的测试点,根据我们的分析,这一理论成立。
大约四分之三的拥有令牌检查的代理触发了至少一次令牌异常,而且几乎所有这些异常都是增加:不到3%是减少。
为了了解在令牌使用量激增时还发生了哪些其他情况,我们对每个出现令牌激增的代理的当天进行了分析,并查找了附近是否有其他警报:在激增当天及其前后两天内同一代理上,或在同一家公司其他代理上当天内是否有警报。然后,我们将这些情况与这些代理在其他所有日子的情况进行了比较。
图3:令牌激增期间伴随警告标志的出现频率,与普通运营日相比。图片由作者提供。数据来源:109个生产AI代理的聚合遥测数据。
在92%的激增日中,至少有一个其他警告标志在附近出现,而普通日中这一比例为48%。最常见的伴随警告是质量或行为警报,例如评估分数下降或工具被错误调用,这些情况在58%的激增日中出现,而在其他日中仅占19%。延迟和错误警报与激增的关联最强,激增日中出现的可能性是其他日的3.4倍,循环警报则为2.8倍。在三分之一的情况下,同一家公司的其他代理在同一时间也出现了激增,这表明存在共同的原因,例如流量激增或模型更改。
这些发现并不能证明任何单个激增的具体原因。但它们符合漂移模式:当代理开始表现出不同的行为时,成本、质量和速度往往会同时发生变化,而只监控其中一项的检查只能看到变化的一小部分。
循环存在于工具调用中,但很少有团队关注那里
失控的循环值得单独讨论,因为它们既常见又缺乏监控。大约有同样多的公司报告了循环警报,与报告错误率警报的公司数量相当。72%的循环警报涉及工具和SQL调用:代理重复运行相同的查询、重试失败的工具或重复规划相同的步骤。
然而,大多数团队设置的时间检查实际上并没有关注这些地方。在有延迟或时间限制检查的代理中,84%的时间检查是针对端到端运行的,只有18%的时间检查是针对单个工具调用的。五分之四的循环监控代理在其工具调用上根本没有时间检查。当循环导致运行变慢时,团队可以看到运行时间变长,但无法确定是哪个具体的工具卡住了。
令牌支出也存在同样的盲点。在样本中的令牌检查中,62%的检查监控整个运行、跟踪或对话,另外24%的检查监控每日或每小时的总量。只有8%的检查与特定的工具、步骤或跨度相关。这使得近十分之九的代理虽然有令牌检查可以显示支出增加,但无法确定是哪个步骤消耗了令牌。
团队监控中治理方面的缺口
在样本中的所有代理中,图4展示了至少拥有一种每种类型检查的代理所占的比例。
图4:监控覆盖情况的分解,显示至少拥有一种每种类型检查的代理所占的比例。图片由作者提供。数据来源:109个生产AI代理的聚合遥测数据。
输出质量评估是最常见的检查,其次是令牌支出、延迟和错误。轨迹检查和验证规则较为少见,而治理和安全检查(如提示注入、PII泄露、超出范围的请求、政策违规)是最薄弱的一层,不到十分之一的代理进行了这些检查。
有两个需要注意的地方:这些分类来源于监控名称,因此如果治理检查使用的是通用名称,就可能被遗漏,而且这些数据只是下限。此外,这些检查中很大一部分是在监控供应商的帮助下设置的,因此覆盖率部分反映了产品默认设置,而不仅仅是团队的选择。即使考虑到这两点,质量监控和治理监控之间的差距仍然很大。
团队正在使用 AI 来监控 AI
还有一个模式特别突出。在客户自行构建的监控中,有 57% 是通过在聊天界面中向 AI 描述他们想要的内容来编写的,而不是手动配置。团队已经在使用 AI 来决定他们应监控的 AI 内容。这使得快速添加检查变得容易,但这也意味着需要重新审视这些检查实际上衡量的是什么,因为很多风险都隐藏在容易被忽视的步骤和类别中。
当团队要求 LLM 生成检查时,LLM 自然会默认关注输出质量、准确性和语气。它很少会建议查找工具调用延迟循环、数据新鲜度陷阱或未明确提示的情况下查找提示注入。AI 使得监控的启动变得容易,但它往往也会复制我们自身的盲点。
如果你运行代理,这意味着什么
这些见解对运行和监控生产代理的团队有一些影响。
不要依赖错误率,因为它们是最后一个发出信号的指标。首先应设置输出质量评估、令牌消耗和延迟监控,因为这些指标在代理开始偏离正常状态时会提供早期的预警信号。
不要将每个警报视为独立的工单。代理的问题往往一起发生并反复出现。在几周内查看代理的所有警报,包括成本、质量、速度和循环,可以揭示出单个警报流所隐藏的模式。
关注工具调用。循环现象很常见、持续时间长,并且集中在工具和 SQL 调用上。应单独记录每个工具调用的时间,统计运行过程中重复调用的次数,并将令牌计数与它们所属的步骤进行标记,而不是仅仅依赖运行级别的总计来了解性能。
努力缩小治理差距。安全性和策略检查通常不会默认出现。决定每个代理需要关注哪些风险(如 PII、注入、范围),并明确添加相应的检查,否则你可能会有代理访问和共享不应被允许的内容。
检查上述模式是否适用于你。回顾你过去几个月的警报,提出两个问题:对于一个新的代理,哪种类型的检查最容易首先触发?同一个代理重复触发相同检查的频率如何?如果错误检查最先触发,而质量检查几乎从未触发,那么要么你的代理异常稳定,要么你的质量检查过于宽松,无法检测到偏离。
局限性
- 相关性和暴露,而非原因。这些是警报模式,而非对代理行为的审计。警报是阈值的突破,而非确认的失败。
- 覆盖范围不均。代理通常有多个质量评估,但只有一个错误检查,因此质量检查有更多机会触发。这在一定程度上夸大了质量数据,但这并不能解释为什么大多数错误检查从未触发。
- 谁设置了这些检查。数据来自一个监控平台的客户,该平台或其员工设置了超过一半的监控,这些监控可能是自动设置的,也可能是在客户加入时设置的。默认阈值,尤其是针对错误检查的阈值,可能设置得较为保守,这会让错误看起来比实际情况更轻微。
- 重复报警。某些检查可能会每天为同一个持续存在的状况生成一个新的警报。将不同天数的警报分开统计可以减轻,但无法消除这种对重复次数统计的影响。
- 集中度和小规模群体。延迟和循环警报主要集中在少数几家公司,而轨迹和验证检查所覆盖的代理数量太少,无法单独进行报告。
结论
这些数据最明确地说明了生产代理的一个特点,即它们很少像传统软件那样出现故障。故障的表现形式是逐渐偏离预期——回答质量下降、延迟增加、成本缓慢上升——而不是突然的错误。当警报确实出现时,它们可能在原始问题发生几天甚至几周后才到达,导致问题逐渐恶化并渗透到整个系统中。此外,这些警报往往具有重复性,因此将每个警报视为独立事件可能会掩盖真正的问题。
为了明确说明这些数据及其局限性,有一些事情是它能够展示的,也有一些是它无法展示的。例如,这些数据来自那些已经选择使用商业平台监控其代理的团队,这很可能会使我们的样本偏向于那些拥有大规模、复杂部署的组织。此外,我们只能看到监控器配置为捕捉的问题。我们无法知道有多少代理的偏离现象尚未被发现,也无法区分真正的故障和可能过于敏感的阈值。这些是每个独特案例的细微差别,需要熟悉部署情况的工程师来判断。此外,许多团队已经使用现有的应用程序监控工具来捕捉更明显的错误,这可能会影响这些数据中较为安静的错误读数。
即使有这些限制,这些无声偏离的模式仍然值得采取行动,而且这样做并不需要专门的产品。
团队可以通过使用 OpenTelemetry 跟踪、开源评估框架以及在自己的数据仓库中对跟踪数据进行查询,来实现很多目标。更进一步,一些最有效的措施甚至与监控无关。这些措施包括对工具重试次数和每次运行的步骤数设置硬性上限、实施每次运行的令牌预算、基于真实的生产流量构建回归测试集,以及确保对采样输出进行人工审查。此外,更多的检查并不一定更好;每个警报都需要工程师的注意,而一个嘈杂的设置会导致警报疲劳,这是非常现实的后果。
在设计阶段采取预防措施,结合生产环境中的监控和检测,效果很好。无论使用什么工具,都要考虑到那些可能影响代理的较为安静的故障来源——你的系统和产品会因此变得更好。
披露:我是 Monte Carlo 的联合创始人兼首席执行官。本文中的数据是来自 Monte Carlo 客户的聚合和匿名化遥测数据。