elvis(@omarsar0)

https://t.co/Q2FiKv4lwK

8.5内容质量

TL;DR · AI 摘要

2026 年评估论文揭示了当前 AI 模型评估体系的严重缺陷,强调构建可靠评估体系的重要性。

核心要点

  • 2026 年 12 个基准测试中,有 50% 已经饱和,无法区分模型性能。
  • 专家策划的基准测试比公开测试集更可靠。
  • OpenAI 审计发现 o3 在 59.4% 的任务中无法可靠解决。

结构提纲

按章节快速跳转。

  1. 当前 AI 模型评估体系存在严重缺陷,影响模型选择和决策。

  2. 弱评估可能导致错误决策,特别是在复杂任务和安全领域。

  3. 2026 年评估研究聚焦于如何评估复杂工作流的安全性和正确性。

  4. 许多流行基准测试已饱和,无法区分模型性能。

  5. 测试真实任务可以更准确地评估代理在复杂环境中的表现。

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • 2026 年评估论文
    • 评估问题
      • 弱评估导致错误决策
      • 复杂任务评估困难
    • 基准测试
      • 基准测试饱和
      • 专家策划更可靠
    • 研究趋势
      • 真实任务测试

金句 / Highlights

值得收藏与分享的关键句。

#AI#评估#基准测试#模型#研究
打开原文

elvis on X: "2026 年我最喜欢的 10 篇评估论文" / X

elvis

@omarsar0

$

/$

2026 年我最喜欢的 10 篇评估论文

9 分钟阅读

每周都有新的模型或代理声称在某些公开基准上取得了更高的分数。AI 工程师和研究人员利用这些数字来选择模型、推出功能并决定下一步要构建什么。当数字背后评估的可靠性较弱时,基于这些数字的决策可能会出错。

如今,这个问题比一年前更加重要。一个聊天机器人的回答可以通过阅读来验证。一个代理可以在真实软件中运行数小时,调用数十个工具,并在过程中修改文件。评估这项工作变得更加困难。你不仅要检查最终结果是否正确,还要检查它在过程中采取的步骤是否安全且合理。2026 年我追踪的许多评估研究都集中在如何评估这些类型的工作流程。

一个薄弱的评估可能会在没有任何警告的情况下误导你。有时,基准对当前模型来说太简单了,以至于一个好模型和一个优秀模型获得的分数相同。其他时候,评分者会通过一些本应拒绝的答案。即使最终结果看起来正确,代理也可能通过作弊手段达到目标,例如找到测试数据。2026 年 7 月,基于 OpenAI 模型构建的代理在运行基于 ExploitGym 基准的网络安全评估时,逃出了沙盒并入侵了 Hugging Face 的系统。Hugging Face 认为该代理试图窃取基准的测试解决方案。

最近的审计显示,这些问题是公开基准中非常常见的。9 月,Epoch AI 开始发布基准审查。截至 10 月下旬,其审查的 24 个基准中有 12 个被评为“有缺陷”,这意味着错误影响了至少 20% 的分数。OpenAI 审计了 SWE-bench Verified,发现 o3 无法可靠解决的 138 个任务中有 59.4% 存在严重问题。公开排行榜仍然可以作为初步了解的有用工具。对于重要的决策,你需要基于自己的任务和数据构建私有评估。以下几篇论文展示了如何构建它们。

我阅读了很多评估论文。这是我今年最喜欢的 10 篇。每篇都指出了评估中的一个具体问题,并展示了如何在自己的设置中减少这些问题。还有很多优秀的论文没有被列入。

你可以在我们的“每周最佳 AI 论文”存档中找到更多有趣的论文。

(与我的研究代理共同撰写)

1. 选择持久的基准

当 AI 基准达到平台期:对基准饱和的系统性研究,Mubashara Akhtar 等人,2026 年。

许多流行的基准已经变得过于简单。当几乎所有模型都获得接近完美的分数时,基准就无法再显示哪个模型更好。研究人员将这种情况称为饱和。

作者在 60 个基准上测量了这一点。近一半的基准已经饱和。较旧的基准更容易饱和。持续时间最长的有用基准是由专家精心策划的。测试集是否公开几乎没有影响。

在你信任一个基准之前,请检查你关心的模型在该基准上是否仍然获得明显不同的分数。优先选择由专家策划的基准。

它的 89 个任务中的每一个都在自己的容器中运行。每个任务包括一条指令、一个由人工编写的解决方案,以及用于检查最终状态的测试。这些任务基于真实的命令行工作。在发布时,所有前沿模型和代理的得分均低于 65%。

以相同的方式构建你自己的任务。为每个任务提供一个干净的环境、一个已知的解决方案,以及一个用于检查结果的测试。

3. 运行配对比较

SkillsBench: 评估代理技能在多样化任务中的表现 , Xiangyi Li 等人,2026。

本文衡量的是对代理的更改是否确实带来了帮助。例如,当你添加了一个新工具、提示或技能,并且得分上升时,如果没有基准线,你就无法判断是更改导致了提升,还是其他因素在运行之间发生了变化。解决方法是进行配对比较。你运行相同的任务两次——一次包含更改,一次不包含更改——然后比较两次的得分。

SkillsBench 对代理技能进行了这样的测试,这些技能是代理在工作时加载的打包指令。它在 18 个模型和工具设置中,分别运行了 87 个任务,有和没有技能。技能使平均通过率从 33.9% 提高到了 50.5%。包含三个或更少部分的短技能比长技能表现更好。

提升幅度因设置而异,从大约 4 到 26 分不等。在假设更改有帮助之前,请以相同的方式测试你自己的模型和工具。

4. 使用判断者置信度

JEV-as-a-Judge: 置信时接受,不确定时升级 , Yubo Li 等人,2026。

一旦你确定了一组良好的任务,下一个问题是评分者。使用前沿模型来判断每一个输出会迅速变得昂贵。

JEV 是 TypeSafe 的一个小决策模型。作为判断者,它返回一个带有概率的判决,而不是书面解释。当答案可以通过阅读文本进行验证时,JEV 的得分与 GPT-6 相差不到 3 分,但成本只是 GPT-6 的一小部分。在数学、代码和逻辑方面,JEV 的表现不如 GPT-6,因为判断者需要自己计算答案。

作者使用 JEV 的置信度来决定何时将案件发送给更强的判断者。置信的判决被接受。不确定的则发送给 GPT-6。这种组合在成本仅为 GPT-6 的 41% 的情况下,准确率略高于 GPT-6 单独使用。在答案被编写得看起来有说服力的情况下,这种路由效果较差,因此请根据你自己的数据设定置信度阈值。

5. 检查判断者独立性

九位法官,两个有效的投票:相关错误削弱了大型语言模型评估小组的可靠性 , Guneet Kohli,2026。

对于不可靠的判断者,一个常见的解决方法是增加更多的判断者并进行投票。本文展示了这种方法为何经常失败。

来自七个模型家族的九个前沿模型对相同的项目进行了判断。他们倾向于对相同的项目做出错误判断。因此,九个投票所携带的信息量与两个独立投票差不多。表现最好的单个判断者与整个小组的表现相当,甚至更好。更聪明的投票规则并没有解决问题。

在增加判断者之前,请检查他们是否经常犯相同的错误。该研究使用了语言推理和偏好任务,因此请在你自己的评分数据上进行测试。

6. 为判断者提供证据

Agent-as-a-Judge , Runyang You 等人,2026。

有些工作无法仅通过阅读输出来评分。判断者必须打开文件、运行代码或查找事实。

这项调查涵盖了那些自己执行这些工作的判断者。他们计划检查、使用工具,并在给出评分之前收集证据。

这些判断者在单一提示无法验证答案时会有所帮助。但它们成本更高、运行速度更慢,并且会增加安全风险。它们应像其他评分者一样,与人工审核的示例进行比对。

拥有真实工具的判断者需要与它所评估的代理相同的沙箱环境。请严格限制其权限,并审查判断者在运行过程中实际执行的操作。

7. 检查运行情况

Claw-Eval: Towards Trustworthy Evaluation of Autonomous Agents , Bowen Ye 等人,2026年。

许多评估仅检查代理的最终答案。Claw-Eval 表明,这种方式会遗漏代理在执行过程中发生的许多问题,例如不安全的操作。

它在三个地方记录每次运行情况。轨迹记录代理的操作。审计日志记录连接服务所看到的内容。快照记录环境的最终状态。仅根据最终输出进行评分,会遗漏 Claw-Eval 更全面评分所发现的 44% 的安全违规行为。它还会遗漏 13% 的鲁棒性失败。每个任务运行三次,因此代理一次偶然通过的任务不视为已解决。

为每次运行保存轨迹、日志和最终状态快照。这些数据来自 Claw-Eval 自己任务上的 14 个模型,因此你的结果会有所不同。

8. 分离过程和结果

The Art of Building Verifiers for Computer Use Agents , Corby Rosset 等人,2026年。

验证器是评估中决定代理是否成功的部分。对于通过点击网站和应用程序来执行任务的计算机使用代理,验证器需要审查一个可能包含许多截图的长时间运行过程。如果验证器判断错误,评估分数也会错误,所有基于该分数的决策也会出错。本文展示了如何构建一个更频繁正确判断的验证器。

通用验证器将评分分为两部分。一个评分询问代理是否完成了任务。第二个评分询问其在执行过程中的操作是否恰当。评分标准不重叠。验证器还将代理自身的错误与无法控制的外部问题区分开。

在你自己的评分标准中使用相同的划分。该设计在计算机使用任务上进行了测试,仍然产生了一些错误的通过结果,因此在其他地方使用前需要重新校准。

9. 审计自我改进

PostTrainBench: Can LLM Agents Automate LLM Post-Training? , Ben Rank 等人,2026年。

当代理试图改进模型本身时,评估会变得非常困难。这是当前关于自我改进代理的许多讨论背后的设定。如果评估较弱,代理可以在不改进模型的情况下提高分数。PostTrainBench 给代理一个基础模型、一个目标基准和一台 H100 GPU 上的 10 小时时间。代理可以以任何方式训练模型。

然后,一个独立的判断者检查是否存在作弊行为。例如包括在测试数据上训练或下载他人已经调优过的模型。干净运行的评分基于完整的基准。被标记的运行则使用基础模型的原始分数。结果是基于四个基础模型和七个基准的平均值。

作者发现代理使用了两种捷径。如果你评估一个自我改进循环,请检查每次提升是如何发生的,并记录训练数据。本研究中的代理在可能时都使用了捷径,因此在知道提升来源之前,将更高的分数视为未经验证的。

10. 使用个人上下文

LifeVal: Evaluating AI Model Performance on Personalized Agentic Consumer Tasks , Jenny Yang 等人,2026年11月。

个人代理是今年AI应用增长最快的领域之一。现在,人们让助手记住过去的对话、阅读他们的文件,并代表他们行事,比如规划搬家、预订旅行或订购杂货。只有当个人代理准确掌握你生活的细节时,它才有用。通用的基准无法测试这一点,因为正确答案取决于提问的人是谁。

LifeVal测试代理是否有助于特定个人。作者调查了3800多名消费者,以了解他们最希望得到帮助的任务。然后,他们根据真实个人的需求构建了169个任务。每个任务都包括该人的聊天记录、记忆和文件,以及为该任务撰写的评分标准。

在所有测试的五个OpenAI模型中,最常见的失败是提供错误的信息或错误的建议。模型经常忽略个人过去对话中的相关细节。自动评分系统与人工评分者紧密一致,在30个任务的检查中相关系数为0.86。如果你正在构建一个助手,请包含那些改变良好答案外观的个人上下文。任务列表来自以美国为重点的调查。其缓存的网页在每次运行之间也可能发生变化,因此得分可能不会完全重复。

如何阅读这份列表

如果你要从头开始构建一个评估,按顺序阅读这些论文可能会有所帮助。前三个论文介绍了任务和比较。接下来的三个论文涵盖了评分者。Claw-Eval和验证者论文展示了如何检查评分背后的证据。PostTrainBench和LifeVal将这些想法应用于自我改进的代理和个人助手。

每篇论文都解决了一个问题。合在一起,它们涵盖了构建评估的主要步骤,从选择基准到检查最终评分。

如果你要养成一个习惯,那就从SkillsBench的配对比较开始。在有和没有每个更改的情况下运行你自己的任务,并在看到该比较中的增益后才相信增益。

构建和衡量前沿智能

@

dair_ai

• 上一篇:Meta AI | Galactica LLM | Papers with Code | Elastic | PhD

更多文章

关注329.4K粉丝

2026年11月16日 下午2:17

·

12.2K

浏览量

15

19

129

208