Ethan Mollick(@emollick)
As a side note, a couple years ago, making this benchmark & analysis would’ve taken a considerable amount of time in STATA, likely several days, and making it look this nice would have been quite a while as well. This was like 4 prompts to Fable 5.2
7.0内容质量
TL;DR · AI 摘要
AI模型进步速度远超评估工具,多数基准测试已过时,需更新评估方法。
核心要点
- 63%的AI基准测试自2023年以来已被超越。
- Fable 5.2模型仅需4次提示即可完成复杂分析。
- AI进步速度超过评估工具的更新速度。
结构提纲
按章节快速跳转。
- §引言
作者指出AI模型进步速度远超评估工具的更新速度。
AI模型的进步速度远超评估工具的更新速度,导致多数基准测试已过时。
Fable 5.2模型仅需4次提示即可完成复杂分析,效率显著提升。
自2023年以来,63%的AI基准测试已被超越,饱和现象逐年加剧。
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- AI模型进步与评估工具的差距
- AI模型进步速度
- Fable 5.2模型的高效率
- AI进步速度超过评估工具
- 基准测试饱和现象
- 63%的基准测试已被超越
- 饱和现象逐年加剧
金句 / Highlights
值得收藏与分享的关键句。
AI is getting better faster than our measurements are.
Of 173 benchmarks cited by the Labs since 2023, 63% are now saturated.
This was like 4 prompts to Fable 5.2.
#AI#基准测试#Fable#模型评估
打开原文Ethan Mollick 在 X 上的发言: "顺便提一下,几年前,要完成这个基准测试和分析在 STATA 中可能需要花费相当多的时间,大概需要几天,而要让它看起来这么漂亮也需要相当长的时间。这在 Fable 5.2 中只需要大约 4 个提示。" / X
@emollick
$
/$
顺便提一下,几年前,要完成这个基准测试和分析在 STATA 中可能需要花费相当多的时间,大概需要几天,而要让它看起来这么漂亮也需要相当长的时间。这在 Fable 5.2 中只需要大约 4 个提示。
11小时前
AI 的进步速度比我们的测量手段更快。我匆忙搭建了 SatBench,用于衡量主要 AI 基准测试达到饱和(即被超越)的速度。自 2023 年以来,Labs 引用的 173 个基准测试中,有 63% 已经饱和。每年,饱和的速度都在加快。
2026 年 11 月 15 日 上午 4:27
·
16.1K
浏览量
83
2
148
27