Suhail(@Suhail)
I’ve always wanted to do this test but never can get around to it. Glad someone did it!
7.0内容质量

TL;DR · AI 摘要
MaxxBench测试揭示模型在工程问题上的性能差异,微小输入变化导致23个百分点的得分差距。
核心要点
- MaxxBench包含89个DeepSWE任务,通过指令/代码微调生成
- 模型在DeepSWE基准上74%得分时,微小变化导致23pp差异
- 测试显示模型对文件名大小写等细节高度敏感
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- MaxxBench测试分析
- 测试方法
- 89个DeepSWE任务生成
- 指令/代码微调
- 关键发现
- 74%基准得分
- 23pp性能差距
- 文件名大小写敏感
金句 / Highlights
值得收藏与分享的关键句。
Same engineering problem, slightly different requirement. Models clustered around 74% on DeepSWE end up 23 pp apart.
Introducing MaxxBench: 89 DeepSWE tasks with small changes to the instructions or starting code
Nice DeepSWE score! Does it survive a lowercase filename?
#AI测试#模型评估#DeepSWE#MaxxBench
打开原文Suhail on X: "我一直想做这个测试,但一直没机会。很高兴有人做了!" / X
Suhail
@Suhail
我一直想做这个测试,但一直没机会。很高兴有人做了!
@loresjpg
11月7日
不错的 DeepSWE 分数!小写文件名是否会影响其表现?介绍 MaxxBench:89 个 DeepSWE 任务,对指令或初始代码进行小幅修改。相同的工程问题,略有不同的要求。在 DeepSWE 上得分集中在 74% 的模型,最终相差 23 个百分点。很好
2026 年 11 月 7 日 下午 4:35
·
14.2K
次浏览
9
1
63
21