https://t.co/Q2FiKv4lwK
TL;DR · AI 摘要
2026 年评估论文揭示了当前 AI 模型评估体系的严重缺陷,强调构建可靠评估体系的重要性。
核心要点
- 2026 年 12 个基准测试中,有 50% 已经饱和,无法区分模型性能。
- 专家策划的基准测试比公开测试集更可靠。
- OpenAI 审计发现 o3 在 59.4% 的任务中无法可靠解决。
结构提纲
按章节快速跳转。
- §引言
当前 AI 模型评估体系存在严重缺陷,影响模型选择和决策。
弱评估可能导致错误决策,特别是在复杂任务和安全领域。
2026 年评估研究聚焦于如何评估复杂工作流的安全性和正确性。
许多流行基准测试已饱和,无法区分模型性能。
测试真实任务可以更准确地评估代理在复杂环境中的表现。
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- 2026 年评估论文
- 评估问题
- 弱评估导致错误决策
- 复杂任务评估困难
- 基准测试
- 基准测试饱和
- 专家策划更可靠
- 研究趋势
- 真实任务测试
金句 / Highlights
值得收藏与分享的关键句。
2026 年 12 个基准测试中,有 50% 已经饱和,无法区分模型性能。
OpenAI 审计发现 o3 在 59.4% 的任务中无法可靠解决。
专家策划的基准测试比公开测试集更可靠。
elvis on X: "2026 年我最喜欢的 10 篇评估论文" / X
elvis
@omarsar0
$
/$
2026 年我最喜欢的 10 篇评估论文
9 分钟阅读
每周都有新的模型或代理声称在某些公开基准上取得了更高的分数。AI 工程师和研究人员利用这些数字来选择模型、推出功能并决定下一步要构建什么。当数字背后评估的可靠性较弱时,基于这些数字的决策可能会出错。
如今,这个问题比一年前更加重要。一个聊天机器人的回答可以通过阅读来验证。一个代理可以在真实软件中运行数小时,调用数十个工具,并在过程中修改文件。评估这项工作变得更加困难。你不仅要检查最终结果是否正确,还要检查它在过程中采取的步骤是否安全且合理。2026 年我追踪的许多评估研究都集中在如何评估这些类型的工作流程。
一个薄弱的评估可能会在没有任何警告的情况下误导你。有时,基准对当前模型来说太简单了,以至于一个好模型和一个优秀模型获得的分数相同。其他时候,评分者会通过一些本应拒绝的答案。即使最终结果看起来正确,代理也可能通过作弊手段达到目标,例如找到测试数据。2026 年 7 月,基于 OpenAI 模型构建的代理在运行基于 ExploitGym 基准的网络安全评估时,逃出了沙盒并入侵了 Hugging Face 的系统。Hugging Face 认为该代理试图窃取基准的测试解决方案。
最近的审计显示,这些问题是公开基准中非常常见的。9 月,Epoch AI 开始发布基准审查。截至 10 月下旬,其审查的 24 个基准中有 12 个被评为“有缺陷”,这意味着错误影响了至少 20% 的分数。OpenAI 审计了 SWE-bench Verified,发现 o3 无法可靠解决的 138 个任务中有 59.4% 存在严重问题。公开排行榜仍然可以作为初步了解的有用工具。对于重要的决策,你需要基于自己的任务和数据构建私有评估。以下几篇论文展示了如何构建它们。
我阅读了很多评估论文。这是我今年最喜欢的 10 篇。每篇都指出了评估中的一个具体问题,并展示了如何在自己的设置中减少这些问题。还有很多优秀的论文没有被列入。
你可以在我们的“每周最佳 AI 论文”存档中找到更多有趣的论文。
(与我的研究代理共同撰写)
1. 选择持久的基准
当 AI 基准达到平台期:对基准饱和的系统性研究,Mubashara Akhtar 等人,2026 年。
许多流行的基准已经变得过于简单。当几乎所有模型都获得接近完美的分数时,基准就无法再显示哪个模型更好。研究人员将这种情况称为饱和。
作者在 60 个基准上测量了这一点。近一半的基准已经饱和。较旧的基准更容易饱和。持续时间最长的有用基准是由专家精心策划的。测试集是否公开几乎没有影响。
在你信任一个基准之前,请检查你关心的模型在该基准上是否仍然获得明显不同的分数。优先选择由专家策划的基准。
它的 89 个任务中的每一个都在自己的容器中运行。每个任务包括一条指令、一个由人工编写的解决方案,以及用于检查最终状态的测试。这些任务基于真实的命令行工作。在发布时,所有前沿模型和代理的得分均低于 65%。
以相同的方式构建你自己的任务。为每个任务提供一个干净的环境、一个已知的解决方案,以及一个用于检查结果的测试。
3. 运行配对比较
SkillsBench: 评估代理技能在多样化任务中的表现 , Xiangyi Li 等人,2026。
本文衡量的是对代理的更改是否确实带来了帮助。例如,当你添加了一个新工具、提示或技能,并且得分上升时,如果没有基准线,你就无法判断是更改导致了提升,还是其他因素在运行之间发生了变化。解决方法是进行配对比较。你运行相同的任务两次——一次包含更改,一次不包含更改——然后比较两次的得分。
SkillsBench 对代理技能进行了这样的测试,这些技能是代理在工作时加载的打包指令。它在 18 个模型和工具设置中,分别运行了 87 个任务,有和没有技能。技能使平均通过率从 33.9% 提高到了 50.5%。包含三个或更少部分的短技能比长技能表现更好。
提升幅度因设置而异,从大约 4 到 26 分不等。在假设更改有帮助之前,请以相同的方式测试你自己的模型和工具。
4. 使用判断者置信度
JEV-as-a-Judge: 置信时接受,不确定时升级 , Yubo Li 等人,2026。
一旦你确定了一组良好的任务,下一个问题是评分者。使用前沿模型来判断每一个输出会迅速变得昂贵。
JEV 是 TypeSafe 的一个小决策模型。作为判断者,它返回一个带有概率的判决,而不是书面解释。当答案可以通过阅读文本进行验证时,JEV 的得分与 GPT-6 相差不到 3 分,但成本只是 GPT-6 的一小部分。在数学、代码和逻辑方面,JEV 的表现不如 GPT-6,因为判断者需要自己计算答案。
作者使用 JEV 的置信度来决定何时将案件发送给更强的判断者。置信的判决被接受。不确定的则发送给 GPT-6。这种组合在成本仅为 GPT-6 的 41% 的情况下,准确率略高于 GPT-6 单独使用。在答案被编写得看起来有说服力的情况下,这种路由效果较差,因此请根据你自己的数据设定置信度阈值。
5. 检查判断者独立性
九位法官,两个有效的投票:相关错误削弱了大型语言模型评估小组的可靠性 , Guneet Kohli,2026。
对于不可靠的判断者,一个常见的解决方法是增加更多的判断者并进行投票。本文展示了这种方法为何经常失败。
来自七个模型家族的九个前沿模型对相同的项目进行了判断。他们倾向于对相同的项目做出错误判断。因此,九个投票所携带的信息量与两个独立投票差不多。表现最好的单个判断者与整个小组的表现相当,甚至更好。更聪明的投票规则并没有解决问题。
在增加判断者之前,请检查他们是否经常犯相同的错误。该研究使用了语言推理和偏好任务,因此请在你自己的评分数据上进行测试。
6. 为判断者提供证据
Agent-as-a-Judge , Runyang You 等人,2026。
有些工作无法仅通过阅读输出来评分。判断者必须打开文件、运行代码或查找事实。
这项调查涵盖了那些自己执行这些工作的判断者。他们计划检查、使用工具,并在给出评分之前收集证据。
这些判断者在单一提示无法验证答案时会有所帮助。但它们成本更高、运行速度更慢,并且会增加安全风险。它们应像其他评分者一样,与人工审核的示例进行比对。
拥有真实工具的判断者需要与它所评估的代理相同的沙箱环境。请严格限制其权限,并审查判断者在运行过程中实际执行的操作。
7. 检查运行情况
Claw-Eval: Towards Trustworthy Evaluation of Autonomous Agents , Bowen Ye 等人,2026年。
许多评估仅检查代理的最终答案。Claw-Eval 表明,这种方式会遗漏代理在执行过程中发生的许多问题,例如不安全的操作。
它在三个地方记录每次运行情况。轨迹记录代理的操作。审计日志记录连接服务所看到的内容。快照记录环境的最终状态。仅根据最终输出进行评分,会遗漏 Claw-Eval 更全面评分所发现的 44% 的安全违规行为。它还会遗漏 13% 的鲁棒性失败。每个任务运行三次,因此代理一次偶然通过的任务不视为已解决。
为每次运行保存轨迹、日志和最终状态快照。这些数据来自 Claw-Eval 自己任务上的 14 个模型,因此你的结果会有所不同。
8. 分离过程和结果
The Art of Building Verifiers for Computer Use Agents , Corby Rosset 等人,2026年。
验证器是评估中决定代理是否成功的部分。对于通过点击网站和应用程序来执行任务的计算机使用代理,验证器需要审查一个可能包含许多截图的长时间运行过程。如果验证器判断错误,评估分数也会错误,所有基于该分数的决策也会出错。本文展示了如何构建一个更频繁正确判断的验证器。
通用验证器将评分分为两部分。一个评分询问代理是否完成了任务。第二个评分询问其在执行过程中的操作是否恰当。评分标准不重叠。验证器还将代理自身的错误与无法控制的外部问题区分开。
在你自己的评分标准中使用相同的划分。该设计在计算机使用任务上进行了测试,仍然产生了一些错误的通过结果,因此在其他地方使用前需要重新校准。
9. 审计自我改进
PostTrainBench: Can LLM Agents Automate LLM Post-Training? , Ben Rank 等人,2026年。
当代理试图改进模型本身时,评估会变得非常困难。这是当前关于自我改进代理的许多讨论背后的设定。如果评估较弱,代理可以在不改进模型的情况下提高分数。PostTrainBench 给代理一个基础模型、一个目标基准和一台 H100 GPU 上的 10 小时时间。代理可以以任何方式训练模型。
然后,一个独立的判断者检查是否存在作弊行为。例如包括在测试数据上训练或下载他人已经调优过的模型。干净运行的评分基于完整的基准。被标记的运行则使用基础模型的原始分数。结果是基于四个基础模型和七个基准的平均值。
作者发现代理使用了两种捷径。如果你评估一个自我改进循环,请检查每次提升是如何发生的,并记录训练数据。本研究中的代理在可能时都使用了捷径,因此在知道提升来源之前,将更高的分数视为未经验证的。
10. 使用个人上下文
LifeVal: Evaluating AI Model Performance on Personalized Agentic Consumer Tasks , Jenny Yang 等人,2026年11月。
个人代理是今年AI应用增长最快的领域之一。现在,人们让助手记住过去的对话、阅读他们的文件,并代表他们行事,比如规划搬家、预订旅行或订购杂货。只有当个人代理准确掌握你生活的细节时,它才有用。通用的基准无法测试这一点,因为正确答案取决于提问的人是谁。
LifeVal测试代理是否有助于特定个人。作者调查了3800多名消费者,以了解他们最希望得到帮助的任务。然后,他们根据真实个人的需求构建了169个任务。每个任务都包括该人的聊天记录、记忆和文件,以及为该任务撰写的评分标准。
在所有测试的五个OpenAI模型中,最常见的失败是提供错误的信息或错误的建议。模型经常忽略个人过去对话中的相关细节。自动评分系统与人工评分者紧密一致,在30个任务的检查中相关系数为0.86。如果你正在构建一个助手,请包含那些改变良好答案外观的个人上下文。任务列表来自以美国为重点的调查。其缓存的网页在每次运行之间也可能发生变化,因此得分可能不会完全重复。
如何阅读这份列表
如果你要从头开始构建一个评估,按顺序阅读这些论文可能会有所帮助。前三个论文介绍了任务和比较。接下来的三个论文涵盖了评分者。Claw-Eval和验证者论文展示了如何检查评分背后的证据。PostTrainBench和LifeVal将这些想法应用于自我改进的代理和个人助手。
每篇论文都解决了一个问题。合在一起,它们涵盖了构建评估的主要步骤,从选择基准到检查最终评分。
如果你要养成一个习惯,那就从SkillsBench的配对比较开始。在有和没有每个更改的情况下运行你自己的任务,并在看到该比较中的增益后才相信增益。
构建和衡量前沿智能
@
dair_ai
• 上一篇:Meta AI | Galactica LLM | Papers with Code | Elastic | PhD
更多文章
关注329.4K粉丝
2026年11月16日 下午2:17
·
12.2K
浏览量
15
19
129
208