Datadog Brings Production Experimentation to AI Agent Observability

TL;DR · AI 摘要
Datadog推出在线实验功能,使AI代理可在真实生产流量中评估模型、提示和工具改进,提升可观测性。
核心要点
- 在线实验通过真实生产流量对比代理版本,弥补预定义数据集的不足。
- 结合延迟、错误率等指标,验证模型改进的实际效果。
- Feature Flags控制流量分配,支持渐进式发布降低风险。
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- AI代理可观测性
- 在线实验
- 生产流量指标对比
- Feature Flags流量控制
- 评估整合
- 延迟/错误率追踪
- 成本与性能平衡
金句 / Highlights
值得收藏与分享的关键句。
在线实验通过真实生产流量对比代理版本,弥补预定义数据集的不足。
结合延迟、错误率等指标,验证模型改进的实际效果。
Feature Flags控制流量分配,支持渐进式发布降低风险。
Datadog 将生产环境实验引入 AI 代理可观测性 - InfoQ
InfoQ 首页 News Datadog 将生产环境实验引入 AI 代理可观测性
DevOps
护栏而非门禁:如何在不阻碍开发者的情况下治理 AI 工具支出(12 月 10 日网络研讨会)
Datadog 将生产环境实验引入 AI 代理可观测性
2026 年 11 月 17 日 3 分钟阅读
by
- Craig Risi
#### 关注我们
Youtube
232K 粉丝
26K 粉丝
新
RSS
19K 读者
X
57.1k 粉丝
21K 点赞
Bluesky
收听本文 -
0:00
音频准备就绪
您的浏览器不支持音频元素。
正常
1.25x
1.5x
喜欢
新下拉阅读列表
- 阅读列表
Datadog 通过引入在线实验功能扩展其代理可观测性平台,使工程团队能够将 AI 代理版本与真实生产流量进行对比,而不仅仅依赖预定义的评估数据集。该功能将代理评估分数与操作指标(如延迟、令牌消耗、执行成本和错误)结合,帮助团队判断模型、提示、检索策略或工具的更改是否真正提升了代理性能。
这一公告解决了代理开发中日益增长的挑战:在受控测试中表现更好的更改,在面对不可预测的用户请求时可能会有显著不同的表现。Datadog 的方法将受控实验、生产遥测和执行追踪结合在一起,为团队提供结果和背后行为的双重证据。
离线评估仍然是代理开发的重要组成部分。团队可以将不同版本与预定义数据集进行对比,评估响应并识别已知的回归问题,然后再部署。
然而,这些评估的代表性仅取决于背后的数据库和评分标准。新的用户工作流程、意外请求和工具响应的变化可能会暴露现有测试用例从未预料到的弱点。
在线实验通过将代理行为与真实用户交互进行对比来解决这一限制。团队可以通过在控制版本和修改版本之间随机分配生产流量进行对比,减少用户请求差异的影响。
这提供了代理在实际工作负载下表现的更真实视角,同时帮助团队识别最终应纳入离线回归数据集的新场景。
Datadog 将其代理可观测性评估器与实验功能集成,使评估分数能够与传统操作指标进行对比。
团队可以测量响应质量、准确性和完整性,同时跟踪执行时间、令牌消耗、预估成本和工作流错误。功能标志管理流量分配,让工程师可以在全面推出前,先向一小部分用户暴露更改。
这一点很重要,因为改进通常伴随着权衡。更便宜的模型可能需要更多重试,而改进的检索策略可能会提高证据质量但增加执行时间。
Datadog 还将实验结果与单个代理追踪关联。工程师可以检查工具调用、提供的参数和返回结果,以理解特定变体为何表现不同。
根据文章内容,实验将 GPT-5.6 Luna 与 GPT-6 Luna 进行对比,流量在两者之间平均分配。基于大语言模型的评估器从 1 到 5 对调查质量进行评分,考虑因素包括准确性、完整性以及结论是否基于可用证据。
他们声称结果显示,较新模型的预估成本降低了 44.3%,而质量评分分别保持在 3.84 和 3.86,差距很小。
然而,运营结果揭示了潜在问题。较新模型在执行时长和工作流错误方面预估有所增加,尽管置信区间过于宽泛,无法确定明确的回归趋势。
检查追踪记录发现,较新模型更频繁地提供无效工具参数,通常在重试后恢复。这种行为在整体质量评分中并未充分显现。
Datadog 借助这一发现,在推进模型变更前改进了工具处理方式。失败的调用还为额外的离线回归测试提供了候选案例。
Datadog 并非唯一尝试解决这一挑战的企业。LangSmith 和 Langfuse 等工具提供智能体追踪和评估功能,而 LaunchDarkly 等实验平台支持受控特性发布。Datadog 的方法将其现有可观测性生态系统中的这些关注点连接起来,将评估结果直接关联到生产实验和执行证据。
Datadog 更广泛的主张是,线上实验可以在生产行为与开发测试之间建立反馈循环。意外故障会成为新的回归测试案例,而后续实验则能验证变更是否真正解决了问题。
重要的转变在于,从询问智能体是否通过预定义评估,转向验证其在真实条件下的表现是否更优。对于智能体工程而言,生产环境实验可能与传统软件测试一样重要。
作者简介
关于作者
每位作者的主要信息框
#### Craig Risi
显示更多
显示更少
#### 本内容属于 DevOps 主题
##### 相关主题:
- DevOps
- AI、机器学习与数据工程
- 可观测性
- AIOps
- 人工智能
- AI 代码代理
- 相关编辑内容
- 相关赞助商
- 相关赞助商 2026 年 12 月 15–16 日。探讨资深从业者如何在生产环境中运行智能体、评估、模型服务和 AI 协助工程,包括哪些失败了以及发生了什么变化。立即注册
InfoQ 新闻通讯
每周五汇总 InfoQ 上一周的内容,每 Tuesday 发送。加入超过 250,000 名资深开发者的社区。查看示例
我们保护您的隐私。