Ethan Mollick(@emollick)

As a side note, a couple years ago, making this benchmark & analysis would’ve taken a considerable amount of time in STATA, likely several days, and making it look this nice would have been quite a while as well. This was like 4 prompts to Fable 5.2

7.0内容质量

TL;DR · AI 摘要

AI模型进步速度远超评估工具,多数基准测试已过时,需更新评估方法。

核心要点

  • 63%的AI基准测试自2023年以来已被超越。
  • Fable 5.2模型仅需4次提示即可完成复杂分析。
  • AI进步速度超过评估工具的更新速度。

结构提纲

按章节快速跳转。

  1. 作者指出AI模型进步速度远超评估工具的更新速度。

  2. AI模型的进步速度远超评估工具的更新速度,导致多数基准测试已过时。

  3. ›Fable 5.2模型的效率

    Fable 5.2模型仅需4次提示即可完成复杂分析,效率显著提升。

  4. 自2023年以来,63%的AI基准测试已被超越,饱和现象逐年加剧。

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • AI模型进步与评估工具的差距
    • AI模型进步速度
      • Fable 5.2模型的高效率
      • AI进步速度超过评估工具
    • 基准测试饱和现象
      • 63%的基准测试已被超越
      • 饱和现象逐年加剧

金句 / Highlights

值得收藏与分享的关键句。

#AI#基准测试#Fable#模型评估
打开原文

Ethan Mollick 在 X 上的发言: "顺便提一下,几年前,要完成这个基准测试和分析在 STATA 中可能需要花费相当多的时间,大概需要几天,而要让它看起来这么漂亮也需要相当长的时间。这在 Fable 5.2 中只需要大约 4 个提示。" / X

Ethan Mollick

@emollick

$

/$

顺便提一下,几年前,要完成这个基准测试和分析在 STATA 中可能需要花费相当多的时间,大概需要几天,而要让它看起来这么漂亮也需要相当长的时间。这在 Fable 5.2 中只需要大约 4 个提示。

11小时前

AI 的进步速度比我们的测量手段更快。我匆忙搭建了 SatBench,用于衡量主要 AI 基准测试达到饱和(即被超越)的速度。自 2023 年以来,Labs 引用的 173 个基准测试中,有 63% 已经饱和。每年,饱和的速度都在加快。

2026 年 11 月 15 日 上午 4:27

·

16.1K

浏览量

83

2

148

27