meng shao(@shao__meng)

TensorTonic「从第一性原理讲清评测」:同一模型换评分和配套,排行榜结论就可能翻转 来自 @TensorTonic 的分享,作者先读了 Anthropic、OpenAI 和 Google D...

8.5内容质量
TensorTonic「从第一性原理讲清评测」:同一模型换评分和配套,排行榜结论就可能翻转

来自 @TensorTonic 的分享,作者先读了 Anthropic、OpenAI 和 Google D...

TL;DR · AI 摘要

模型评测结果可能因评分标准和配套工具变化而翻转,评测应关注真实结果而非预设路径。

核心要点

  • 同一模型在不同评分标准下得分可能相差极大,如 Claude Opus 4.5 从 42% 提升至 95%。
  • 模型输出不稳定,需多次运行并关注 pass@k 和 pass^k 指标。
  • 评测应关注完整记录而非仅最终结果,避免评分器误判合理答案。

结构提纲

按章节快速跳转。

  1. 文章指出模型评测结果可能因评分标准和配套工具变化而翻转。

  2. 同一模型在不同评分标准和配套工具下得分差异显著,如 Claude Opus 4.5 得分从 42% 提升至 95%。

  3. 模型输出不稳定,需多次运行并关注 pass@k 和 pass^k 指标以评估性能。

  4. 评测应关注完整记录而非仅最终结果,避免评分器误判合理答案。

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • 模型评测的挑战
    • 评分标准与配套工具的影响
      • 同一模型得分可能因评分标准变化而翻转
      • 配套工具改进可显著提升模型得分
    • 模型输出的不稳定性
      • 需多次运行模型以评估性能
      • pass@k 与 pass^k 指标用于衡量模型稳定性
    • 评测应关注完整记录
      • 仅看最终结果可能误判模型性能
      • 完整记录可区分模型错误与评分器误判

金句 / Highlights

值得收藏与分享的关键句。

  • 同一套 Claude Opus 4.5 起初只有 42%;换更宽松的运行框架,并修正过严评分、含糊说明和无法复现的题目后,到了 95%。

    — 文章正文

    ⬇︎ 下载 PNG𝕏 分享到 X
  • 模型输出不稳定,只跑一次意义不大。pass@k 是 k 次里至少成功一次的概率,适合可以多试几次再留下能过测试的补丁。

    — 文章正文

    ⬇︎ 下载 PNG𝕏 分享到 X
  • 评测应关注完整记录而非仅最终结果,避免评分器误判合理答案。

    — 文章正文

    ⬇︎ 下载 PNG𝕏 分享到 X
#模型评测#AI#TensorTonic#Anthropic#OpenAI
打开原文

meng shao on X: "TensorTonic「从第一性原理讲清评测」:同一模型换评分和配套,排行榜结论就可能翻转 来自 @TensorTonic 的分享,作者先读了 Anthropic、OpenAI 和 Google DeepMind 的公开文章再写下看法,起草和核对数字时用了 AI。 评的是模型和配套一起 文中借用 Anthropic 今年 1 月的说法:完整记录是过程,结果是结束后的真实状态,两者经常对不上。订票助手可以说“已经订好了”,数据库里却没有订单;只看最后一句话,就会放过说谎的系统。评一个“智能体”,评的其实是模型加上它的配套(工具、提示词和循环),配套变好,… / X

meng shao

@shao__meng

$

/$

Show translation

TensorTonic「从第一性原理讲清评测」:同一模型换评分和配套,排行榜结论就可能翻转 来自

@TensorTonic

的分享,作者先读了 Anthropic、OpenAI 和 Google DeepMind 的公开文章再写下看法,起草和核对数字时用了 AI。 评的是模型和配套一起 文中借用 Anthropic 今年 1 月的说法:完整记录是过程,结果是结束后的真实状态,两者经常对不上。订票助手可以说“已经订好了”,数据库里却没有订单;只看最后一句话,就会放过说谎的系统。评一个“智能体”,评的其实是模型加上它的配套(工具、提示词和循环),配套变好,分数同样会动。因此应当评真正要紧的结果,而不是预定路径。 CORE-Bench 上,同一套 Claude Opus 4.5 起初只有 42%;换更宽松的运行框架,并修正过严评分、含糊说明和无法复现的题目后,到了 95%。更细的过程是,换到 Claude Code 后先到约 78%,再修评分才到 95%。框架变化本身就占了很大一块。 多跑几次,还要看误差和规则 模型输出不稳定,只跑一次意义不大。pass@k 是 k 次里至少成功一次的概率,适合可以多试几次再留下能过测试的补丁;pass^k 是 k 次全成功的概率,更适合直接面向用户的场景。单次成功率 75%、跑 3 次时,前者大约 98%,后者大约 42%。排行榜还常省略误差:500 道题、得分 80%,95% 区间大约在 76.5% 到 83.5%;另一模型得 82%,单看这两个数字还分不出谁更好。 OpenAI 写过,多数基准只分对错,猜永远比说“我不知道”更划算。GPT-5 系统卡在 SimpleQA 上的数字是:旧的 o4-mini 只在 1% 的题上弃答,答对 24%,答错 75%;gpt-5-thinking-mini 弃答 52%,答对 22%,答错只有 26%。只看准确率,旧模型还略高一点,错得却大约是后者的三倍。分数只告诉你失败有多频繁,只有完整记录能分清,是模型错了,还是评分器把合理答案判错了。

TensorTonic

15h

Article

Evals Explained, From First Principles

Whenever any frontier lab says its new model is better at coding, it means the model scored higher on some set of coding tasks graded in some particular way. When you change those tasks or infact, the

4:29 AM · Nov 16, 2026

·

887

Views

13

12

6