AI Will(@FinanceYF5)

别再看那40个 AI 基准测试了,真正该问的是:agent 能不能真的把活干完? Palisade Research 的 Jeff Ladish 说,对他来说最大的跳跃发生在 Fable 前后:他从...

8.5内容质量

TL;DR · AI 摘要

文章指出,当前AI评估应从40个基准测试转向实际工作能力,Anthropic的Fable模型显著提升了agent的实用性。

核心要点

  • Anthropic的Fable模型使工程师从偶尔使用agent变为每日依赖
  • AI评估应聚焦真实工作完成度而非基准测试指标
  • METR方法通过长周期任务验证AI实际生产力

结构提纲

按章节快速跳转。

  1. 批判当前AI基准测试的局限性,提出新评估方向

  2. ·Fable模型的突破

    Anthropic新模型使agent使用频率提升至每日必需

  3. 从40个基准测试转向真实工作完成度验证

  4. Palisade Research通过METR方法测试AI生产力

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • AI评估范式转变
    • 旧方法
      • 40个基准测试
      • METR长周期任务
    • 新方向
      • Fable模型验证
      • 实际工作完成度

金句 / Highlights

值得收藏与分享的关键句。

  • Fable之前和之后,对我来说差别巨大。我从有时候用agent,变成了每天都在用。

    — Jeff Ladish原话

    ⬇︎ 下载 PNG𝕏 分享到 X
  • 我们怎么回到那个世界:基准主要就是拿真实的、有经济价值的工作,看AI能不能自主完成

    — 第3段

    ⬇︎ 下载 PNG𝕏 分享到 X
  • 过去衡量AI能力主要是METR请软件工程师来做长周期任务

    — 第4段

    ⬇︎ 下载 PNG𝕏 分享到 X
#AI评估#Anthropic#Agent#Fable模型
打开原文

AI Will on X: "别再看那40个 AI 基准测试了,真正该问的是:agent 能不能真的把活干完? Palisade Research 的 Jeff Ladish 说,对他来说最大的跳跃发生在 Fable 前后:他从偶尔用 agent,变成了每天都在用。 Jeff Ladish 的原话是:“Fable 之前和之后,对我来说差别巨大。我从有时候用 agent,变成了每天都在用。” Fable 是 Anthropic 今年6月发布的模型。 他想看到的是:“带我们去 Anthropic 看看,当一个 Anthropic 工程师是什么感觉?他们每天用多少个 agent?实际是什么… / X

AI Will

@FinanceYF5

Show translation

别再看那40个 AI 基准测试了,真正该问的是:agent 能不能真的把活干完? Palisade Research 的 Jeff Ladish 说,对他来说最大的跳跃发生在 Fable 前后:他从偶尔用 agent,变成了每天都在用。 Jeff Ladish 的原话是:“Fable 之前和之后,对我来说差别巨大。我从有时候用 agent,变成了每天都在用。” Fable 是 Anthropic 今年6月发布的模型。 他想看到的是:“带我们去 Anthropic 看看,当一个 Anthropic 工程师是什么感觉?他们每天用多少个 agent?实际是什么样子?” 他还提到,过去衡量 AI 能力,主要是 METR 请软件工程师来做长周期任务,“而不是让你去看这40个基准测试。问题就是:AI 能不能自主把活干完?这是我最在乎的。” “我们怎么回到那个世界:基准主要就是拿真实的、有经济价值的工作,看 AI 能不能自主完成。”

$

00:00

/$

4:17 AM · Nov 6, 2026

·

4,430

Views

32

1

15

4