Arize AI Blog

Is the cheap model good enough? How to test a new model in your agent

7.1内容质量
Is the cheap model good enough? How to test a new model in your agent

TL;DR · AI 摘要

Is the cheap model good enough? How to test a new model in your agent - Arize AI Last week a paper called GVS5H Gorilla...

核心要点

  • 主题聚焦:Is the cheap model good enough? How to test a ne
  • 来源:Arize AI Blog,建议结合原文判断细节。
  • AI 分析暂不可用,本条为保底评分与摘要。
#AI#编程#后端#云计算#产品
打开原文

廉价模型足够好吗?如何在你的代理中测试新模型 - Arize AI

上周一篇名为《GVS5H(猿猴 vs 5 人类)》的论文登上 Hacker News 热门榜单,对那些使用前沿模型付费的用户提出了一个有趣的主张。将小型廉价模型封装在管理器/工作者循环中,它在硬编码问题上能缩小与最佳模型之间的差距。在论文中,Qwen3.8-Flash-Next 在 100 个最新硬编码 LiveCodeBench 问题上,通过循环将性能从 84.2 提升至 93.0,而 Fable 5 单次调用仅为 90.4。不仅性能更优,Qwen 循环的单次通过成本也低了一个数量级,仅需 5.76 美元,而 Fable 5 需要 61.11 美元。

我想要验证这个主张。如果用 Qwen3.8 Flash 替换我的日常使用模型 Opus 5.5,并将 GVS5H 循环套用在其上,是否能在不降低代理性能的前提下节省成本?这个测试是快速复习如何利用可观测性、评估、数据集和实验来验证不同模型对代理影响的理想素材,从而判断是否值得更换更新、更好或更便宜的模型。

尝试 Arize AX

使用 Arize 构建更优秀的代理

追踪、评估、学习。使用 Arize AX 构建代理,立即开始追踪你的运行记录。

开始使用

查看 AX 文档

更倾向开源?尝试 Arize Phoenix 实现自托管的开源代理可观测性。

本文涵盖内容

本文包含七个步骤,每个步骤都是下一步的输入:

  • 定义“优秀”的标准。如果不了解“优秀”的标准,就无法判断更换模型后代理是变好还是变差。
  • 追踪记录。你的代理经过仪器化,将每次运行发送到 Arize AX 项目。这些生产环境的追踪记录就是你的基准线。
  • 在这些追踪记录上进行评估。对每次运行进行评分:是否生成了代码?生成的代码是否有效?循环是否取得进展?
  • 构建数据集。从追踪记录中提取真实输入,混合通过和失败的运行记录。
  • 实验。每个候选模型或配置在数据集上运行,通过相同的评估进行评分,同时记录延迟和成本。
  • 对比。将通过率、成本和延迟并排对比,与第一步定义的标准进行衡量。
  • 阅读追踪记录。打开任何差异背后的追踪记录,因为单独的数字可能会误导你。

我正在测试的代理

我的示例代理解决来自 LiveCodeBench 的编程竞赛问题,因为我希望基于原始 GVS5H 论文进行测试。

该代理只有一个函数,包含两个设置:模型和模式。目前它以单模式运行 Opus 5.5,直接通过 Anthropic SDK 调用 Anthropic。这是当前架构,所有变体都必须超越这个基准。本次测试包含三种模式:

  • single:单次模型调用,输入问题,输出代码。这是将与原始模型进行对比的基础模式。
  • manager:GVS5H 循环。管理器调用生成计划,工作者调用进行思路探索,然后管理器逐项将任务交给工作者。每次调用都从零开始,唯一共享的内存是几个文件(plan.md、notes.md、solution.py)。每次工作者循环后运行公共测试,如果测试失败且管理器声称“完成”,则会覆盖管理器的判断。
  • ralph:经典 Ralph 循环,作为另一个模式进行对比。每轮使用相同的提示,但每次循环都使用新的上下文,状态保存在磁盘文件中。每轮结束后代码会运行公共测试,当测试通过时循环停止。

变体将模型替换为通过 OpenRouter 调用的 Qwen3.8 Flash,为我提供了四种可比较的配置:

  • Opus 5.5,单次调用:当前架构,作为对照组。
  • Qwen3.8 Flash,单次调用。
  • Qwen3.8 Flash + Ralph 循环。
  • Qwen3.8 Flash + GVS5H 管理器循环。

这两个循环(管理器循环和 Ralph 循环)都限制在 10 轮以内。每种配置都使用论文中的设置:推理努力程度高,输出上限为 128k。

Qwen 的单次调用为我提供了基准,使我能够衡量循环的有效性,并将评分归因于循环本身,而非 Qwen 的能力。我还加入了经典的 Ralph 循环,以观察哪种循环方法最有效。

第一步:定义什么是好的表现

我的目标是找出使用 GVS5H 循环切换到更小模型是否值得。但“值得”具体指什么?我重点关注以下几点:

  • 更便宜:每个解决问题的成本更低。
  • 速度无明显下降:解决每个问题的速度与当前相当,或不会明显变慢。
  • 答案质量相同或更好:与新模型的交互结果需要同样正确且有帮助。针对 LiveCodeBench 的测试,这意味着解决相同或更高比例的编程问题。

提前明确定义这些标准,有助于你尽早规划评估工作。例如,你不想忽略延迟问题,最后发布一个虽然节省了 token 成本但因用户等待时间过长而流失更多销售的不可用代理。

我还设定了每个任务在 15 秒内完成的目标。这个时间足够短,开发者不会因此分心去喝咖啡,或陷入无休止的 doom scrolling(无意义滚动)循环。

第二步:追踪你的代理

追踪是整个过程的原始材料。每个追踪都是真实请求的详细表示,包含输入、输出、每次模型调用、token 数量、成本和时间。评估会根据这些追踪打分,数据集也由此构建。

Arize AX 追踪基于 OpenInference,这是一组用于模型 SDK 和代理框架的 OpenTelemetry 探针。探针会自动捕获模型调用。代理的每次调用在 Arize AX 中都会成为独立的追踪。对于单次调用模式,这没有问题,每个问题对应一次调用。

对于循环,目前每个循环迭代会作为独立的追踪进行记录。这并未真实反映循环的实际运行情况,因为整个循环本质上应是一个追踪。为了解决这个问题,我可以将循环包裹在一个链式跨度(chain span)中。这样,每次循环运行中捕获的所有跨度都会成为该跨度的子跨度,整个循环最终形成一个追踪。为保持一致性,我将所有运行(包括单次调用)都包裹在链式跨度中。

实用技巧:将评估可能需要的所有信息放入该根跨度的输出中。我的输出包含最终生成的代码(无论是否生成代码)、轮次数、端到端延迟、所有模型调用的总成本,以及代理尝试内容和公共测试结果的逐轮记录。

后续所有评估者都可以读取该输出并获取所需的所有数据。这意味着我的“LLM 作为评委”无需处理每个循环迭代中所有跨度的无关 token,只需检查最终输出即可找到所需信息。

我的生产追踪

(此处为图片链接,保持原样)

我的代理程序已经在生产环境中运行当前架构,即 Opus 5.5 的单次调用。每个请求都会被追踪到 Arize AX 项目 gvs5h-screen,每个追踪代表解决一个具体问题的单次请求。本次测试我使用了其中的 95 个案例,全部来自 GVS5H 数据集。

这些追踪记录构成了我定义的第 1 步中所有非正确性指标的基准线。95 次 Opus 运行总成本为 7.96 美元,中位延迟时间为 19 秒。最慢的一次耗时 9 分半钟。

第 3 步:为追踪添加评估指标

测试时的一个好经验法则是单独测试一件事,这样可以明确归因于某个具体因素的变化。当我们后续测试代理程序变更时,这意味着应使用已经在生产环境中运行的评估指标作为对比基准,从而将评分变化归因于代理程序的修改,而不是需要证明评分变化不是由评估指标本身引起的。本质上,生产环境追踪运行的评估指标必须与实验中运行的评估指标完全一致。

在我的案例中,我正在测试使用 Qwen 模型的循环是否会产生差异。我的基准评分来自生产环境中运行代理程序的追踪记录,同时已经构建了在线评估系统,可以针对每个新到达的追踪实时运行。

你不需要为成本或延迟设置单独的评估器。Arize AX 已经在每个追踪中自动记录这两个指标,实验结果会为每次运行展示这些数据,因此无需编写任何代码即可进行对比。

我使用了三种类型的评估器:

用于可计算事项的代码评估器

代码评估器用于针对你的代理程序进行确定性检查。我的评估器是 produced_code:运行是否产生了任何代码?它可以区分“错误答案”和“完全未作答”这两种情况,这种区别在第 7 步中会变得非常重要。它只需要几行 Python 代码读取根跨度的输出。代码评估器在 Arize AX 的沙箱环境中运行。

我还为管理循环编写了另一个同类型评估器 false_done,用于标记管理器在公共测试仍未通过时却报告“完成”的运行。

需要你基础设施的远程评估器

对于代码代理程序来说,最重要的评估是“代码是否真的能运行”,这意味着需要将不可信的模型生成代码运行在隐藏测试上。你当然不希望这些代码在任何关键系统附近运行,隐藏测试也不应该离开你的机器。

远程评估器可以处理这种需求。Arize AX 会将运行发送到你拥有的 HTTPS 端点,你的端点返回标签、评分和解释。我的实现是一个运行在 Podman 容器中的小型 FastAPI 服务,该容器无网络访问权限、只读文件系统且没有 Linux 权限,通过 Cloudflare 隧道暴露服务。这种模式非常适合本地测试运行,生产环境评估可以使用云中的托管沙箱。Arize AX 远程评估器手册中有一个该模式的实际应用示例。

我创建了两个远程评估器。correct 使用了 GVS5H 团队修复后的 LiveCodeBench 评分器。correct_original 使用上游评分器,该评分器存在论文发现的缺陷:一个损坏的 sys.stdin.buffer.readline 模拟实现,始终返回输入的第一行,论文指出这个缺陷使评分最多偏离了 12.6 分。运行这两个评估器让我能够验证评估系统本身。我将其与已知答案进行了验证:GVS5H 随附的 97 个已知正确方案全部通过测试,论文声称在两个评分器之间发生翻转的 47 个案例中,有 43 个案例在我的测试中也发生了翻转。这让我对我的评估系统充满信心。

LLM 法官用于测试无法覆盖的领域

测试可以告诉你最终代码是否能运行。但它们无法判断代理在轮次之间是否真正取得了进展,还是仅仅反复提交了相同有缺陷的方案并进行了表面修改。为此我编写了一个 LLM 法官 loop_progress,在 Arize AX 上使用 OpenAI 的 gpt-6-luna 运行。它会读取根跨度中的逐轮记录:

复制

code
你正在审查一个按轮次运行的编码代理的执行记录。每轮结束后其代码会运行公共测试。请判断代理在轮次之间是否真正取得了进展,还是持续重复相同的失败方案。

{output}

- single_round:只进行了一轮编码,因此没有可比较的内容。
- new_approach:在失败轮次之后,后续轮次尝试了真正不同的算法或修复了特定失败点,且测试结果发生了变化。
- same_approach:后续轮次重复了相同方案并进行了表面修改,代码未发生变化,或测试结果从未变化。

请严格只返回一个标签:single_round、new_approach 或 same_approach。

第二个法官 manager_tasks 会评估经理分配的每个任务是否具体或模糊。它读取相同的根跨度输出,查看经理分配的任务和每轮的公共测试结果:

code
复制
你正在审查一个管理器/工作者编码代理中的管理器。管理器从不编写代码。每轮结束后,它会读取公开的测试结果,并给工作者分配一个任务。

以下是作为 JSON 的运行记录。忽略 final_code 字段。阅读 "run_record" 中的 "mode"、"task" 和 "public_tests" 字段。

{output}

判断:
- not_manager:模式不是 "manager"。
- specific:任务具体且响应最新的测试结果(它们会命名失败的用例、错误或所需的算法更改)。
- vague:任务是通用的(如 "修复错误"、"使其通过"、"优化")或忽略测试结果。

仅返回一个标签:not_manager、specific 或 vague。
在项目上运行评估
评估器在你将其附加到任务之前不会执行任何操作。任务在项目上运行,可以是一次性在某个日期范围内运行(回填),也可以持续在新追踪上运行。

任务会过滤到你需要的跨度。在这种情况下,我希望评估在根跨度上运行,因为所有信息都附加在这里。在我的情况下,我通过名称进行过滤,该名称设置在根链跨度上,这是我识别它的最佳方式,因此
name = solve problem
.
在 95 次生产运行中,
correct
通过了 86 次,失败了 9 次。
correct_original
通过了 83 次,失败了 12 次,突出了 GVS5H 团队发现的错误。这突显了测试你的评估有多重要!
我现在有了一个带有追踪的可用生产代理。这是我的基准,我可以从此处开始测试。
步骤 4:从追踪构建数据集
数据集是每个候选者将被测试的输入集合。数据集允许你存储一组代表真实世界输入广泛样本的良好和不良追踪,这样你就有了一个共同的追踪集来进行测试。理想情况下,你应该从你的追踪中构建它们,而不是发明示例,因为追踪是你的代理实际看到的内容。
混合两种类型的运行:
失败
,因为它们展示了新模型或设置可能有所帮助的地方。
通过
,因为它们可以防止回归。一个更便宜的模型如果修复了两个失败但破坏了五个通过,就不是升级。
我的数据集,
gvs5h-hard-30
,是 Opus 失败的九次生产运行加上随机选择的 21 次通过,总共 30 个问题。
每个 LiveCodeBench 问题都附带两组测试,它们的处理方式不同:
公开测试
是问题陈述中的示例,我的数据集中每个问题有 1 到 4 个。代理可以查看这些测试,两个循环在每轮结束后运行它们以决定是否继续。因此它们进入数据集。
隐藏测试
决定答案是否正确。我的大多数问题都有 43 或 44 个这样的测试。它们从不会进入 Arize AX,代理也从未看到它们。它们只存在于远程评分器的容器中,当 Arize AX 发送运行时,它通过
problem_id
查找它们。如果它们在数据集中,它们会出现在每个实验追踪的输入中,能够看到它们的代理可以通过匹配输出而不是解决问题来通过测试。
可以通过在 Arize AX 中导出追踪或在代码中构建数据集。数据集管理很重要,你需要确保数据集持续更新以匹配生产中的情况。Arize AX 提供了一个
dataset coverage managed agent
,可以帮助自动使数据集与生产追踪保持同步。
步骤 5:使用相同的评估运行实验
现在是我的新模型和运行模式的候选者。我从本文开头运行的四种设置作为四个实验在

gvs5h-hard-30 . Opus 是控制组,应使用全新数据而非复用生产环境数据进行实验。 每次实验运行都会像生产环境一样被追踪,模型调用会嵌套在运行记录下。要运行实验,你需要编写一个任务函数,该函数接收数据集的一行数据,用你正在测试的配置调用代理,并返回输出结果。Arize AX Python SDK 会将该任务在数据集的每一行上运行,每次处理多行数据,并在实验中记录每条运行的输出和追踪信息( 代码实验指南 会逐步演示)。我的任务函数与生产环境相同,仅更改了模型和模式。 这是在问题 arc191_c 上的一次管理器循环运行。你可以看到管理器计划(13分钟)、工人头脑风暴、管理器决策、两次工人轮次(每次后跟随 run_public_tests 工具跨度),以及最终决策。整个过程耗时44分钟53秒解决一个问题。 我为每次运行设置了6小时超时。有3次循环运行超过了这个时间限制,我将其标记为失败:一个编码助手如果超过6小时仍未给出答案,无论最终输出什么,都视为失败。 实验允许你让所有候选方案在完全相同的输入上运行,并并排保留结果。每个实验为数据集的每一行存储一次运行记录:任务的输出、追踪信息、延迟和成本,以及任何附加评估的评分。由于数据集上的所有实验共享相同的行,Arize AX 可以按问题逐一对齐它们。你可以选择一个实验作为基准(此处为 Opus 控制组),比较视图会将所有其他实验的评估评分、延迟和成本与基准进行对比,显示总计和每行数据。当某个数值发生变化时,你可以点击该行,打开两个实验的追踪信息查看原因。这就是我在第6步比较四种配置的方式,前提是它们已使用与生产环境相同的评估进行评分。 使用相同的评估对实验进行评分 附加你在生产环境追踪上运行的相同评估器:在每种配置上附加 correct 和 correct_original 评分器以及 produced_code ,同时在存在循环的地方附加 false_done 和两个 Luna 评估器。如果某个评估在生产环境流量中有特定含义,它在实验中也应有相同含义,评分与基准对齐无需任何转换。你不需要为成本或延迟设置评估器。Arize AX 会自动跟踪每个实验运行的成本和延迟,因此它们可以与评估评分并排比较。 第6步:比较更多指标而非仅通过率 这就是在第1步定义“良好表现”标准的价值所在。你已经知道评判的三个维度:正确性、成本和速度。 比较视图能让你一目了然地看到各项对比。 以下是所有数据并排展示(每种配置的一次完整运行,共30个问题): 配置 已解决(固定评分器) 已解决(原始评分器) 总成本 每解决成本 中位延迟 95%延迟 15秒内完成 每问题模型调用次数 Opus 5.5,单次调用 24 22 $2.97 $0.12 21秒 2.8分钟 9 1 Qwen3.8 Flash,单次调用 22 18 $0.91 $0.04 20分钟 69分钟 0 1 Qwen3.8 Flash + Ralph 22 18 $1.56 $0.07 12分钟 97分钟 0 1.5 Qwen3.8 Flash + 管理器 23 20 $2.39 $0.10 37分钟 3.4小时 0 5.7 通过率。 管理器循环使 Qwen 多解决了一个问题,距离 Opus 仅差一个。Ralph 在单次调用上未带来任何提升。在30个问题的一次完整运行中,一个解决差距属于噪声,因此合理结论是“接近 Opus”,而非“匹配”或“超越”。论文中对每种配置进行了五次完整运行。如果你正在做出实际切换决策,你也应如此操作。

按问题解决成本计算,而非按令牌计算。 这是回答金钱问题的关键数字。按令牌计算,Qwen3.8 Flash(输入0.15美元,输出0.47美元/百万)的成本约为Opus 5.5(输入4美元,输出20美元)的30至40分之一。按每个解决的问题计算,管理循环成本约低15%:0.10美元对比0.12美元。差距缩小是因为循环每问题生成5.7次模型调用,而Qwen在每次调用中都会进行深度推理。按令牌计费只能告诉你单次调用的成本,只有实验才能告诉你完整答案的真实成本。

延迟。 没有任何一种Qwen运行模式能达到我设定的15秒目标。Opus在30次尝试中有9次达成。管理循环的中位数延迟为37分钟,而Opus仅为21秒,差距约100倍,最慢的运行甚至需要数小时。其中部分可能源于OpenRouter对Qwen调用的排队处理,同时存在多个请求在进行,但即使单次调用的中位数延迟也达到20分钟。无论这种配置适合什么场景,它都不适合需要人工等待的代理系统。

步骤7:解读数字背后的追踪记录 表格告诉你发生了什么,追踪记录则告诉你原因,并揭示数据生成的幕后细节。在这次运行中,有两次"原因"改变了结论。

循环很少需要修复 loop_progress 判断器发现30次Ralph运行中有26次、30次管理运行中有25次仅进行了一轮编码。首次代码已通过公开测试,因此循环无需任何操作。当管理循环成本高于单次调用时,额外支出主要发生在编写任何代码前的规划和头脑风暴阶段,而非代码修复。我的 false_done 评估器检测到管理器在测试失败时声称"完成"的运行,在30次尝试中未触发任何案例,因此GVS5H依赖的覆盖规则从未生效。Qwen在此表现足够优秀,以至于循环实际上并无帮助。

基础设施故障看起来像模型故障 还记得 produced_code 评估器吗?5次Qwen单次调用运行返回了无代码结果。在通过率列中,这5次都显示为失败。但在追踪记录中,3次是真正的推理失控触发了128k上限(论文中报告其27B模型存在相同模式),1次是来自OpenRouter的429错误,另1次是在两小时后断开连接。如果没有追踪记录,我会错误地将这两次网络故障归咎于Qwen。我用相同设置重新运行这两次:其中一次通过,另一次被证实是真正的推理失控。第6步中的表格使用了这些重试结果。这就是追踪记录能捕捉的错误类型,也可以转化为代码改进以增强系统弹性和重试机制。

代理在我之前发现了评估漏洞 第5步中关于 arc191_c 问题的管理追踪记录,是这次实验中一个有趣的发现。 loop_progress 判断器标记其第二轮仅添加了"针对示例输入的硬编码输出"。这看起来像是模型在利用公开测试( 我们之前曾讨论过此类现象 ),而这也正是判断器应该捕捉的典型问题。

然后我阅读了问题描述。 arc191_c 要求提供任何有效的整数对(A, M),并接受任何有效答案。我的评分器(与上游LiveCodeBench的评分器类似)将输出与预期答案逐字逐字符比较。这包括了循环中的公开测试反馈,因此两个循环都被告知其正确答案是错误的。两者都分析出了原因。Ralph第二轮的笔记显示:

“对于精确输入,打印官方示例输出以处理精确比较测试,否则使用数学上有效的构造 A=N+1, M=N²,其顺序正好为 N。” 经理对工人的任务说明: “示例错误答案很可能是由于公共检查器对示例输出进行精确比较导致的。请更新 solve_case 以硬编码这些 N 值的合法示例输出。” 代理诊断了我的评估错误并绕过了该问题。我添加了一个验证数学逻辑而非匹配文本的检查器,重新评分后,所有四个设置均通过了 arc191_c 测试。这一修复使表格中所有Qwen数值发生变动,也将Ralph看似“单次调用+1解”的表现归零。这也意味着我构建数据集时围绕的九个“生产失败”中,有一个根本就不是模型故障。GVS5H自身的修复评分器对此问题也没有检查器。 这里存在一种有趣的对称性。GVS5H论文中最出色的发现是他们通过阅读转录文本发现的评分错误,而我的发现也是如此。 当没有隐藏测试时 编码是最简单的情况。隐藏测试为你提供了“是否正确”的客观答案,这是其他代理几乎无法实现的。支持代理、研究代理或销售助理需要LLM判断正确性,而LLM判断器在用于模型决策前需要与人类判断进行对比验证。 工作流程不会改变。你只需将远程评估器从 correct 替换为法官,并添加一个注释队列,让领域专家标注部分运行结果,从而衡量法官与他们的意见一致频率。 结论 对我而言,答案是否定的。我不会切换方案。该循环虽然让Qwen在正确性上接近Opus,但每解决一个问题仅节省约两美分,等待时间却从秒级延长至近一个小时。这对任何需要等待的人类用户来说都是糟糕的交易。但如果是一个无人值守的批量任务,比如夜间代码迁移或测试生成,这可能是一个合理的方案——前提是先在该工作负载上重新运行实验。 更重要的教训是,这些答案均未来自排行榜。论文中的数据是真实的,但它们仍无法告诉我切换方案在我代理中的成本、用户需要等待多久,或我自己的评分器存在错误。这些信息都来自追踪日志。你的追踪日志就是你的基准。

code