Suhail(@Suhail)

I’ve always wanted to do this test but never can get around to it. Glad someone did it!

7.0内容质量
I’ve always wanted to do this test but never can get around to it. Glad someone did it!

TL;DR · AI 摘要

MaxxBench测试揭示模型在工程问题上的性能差异,微小输入变化导致23个百分点的得分差距。

核心要点

  • MaxxBench包含89个DeepSWE任务,通过指令/代码微调生成
  • 模型在DeepSWE基准上74%得分时,微小变化导致23pp差异
  • 测试显示模型对文件名大小写等细节高度敏感

结构提纲

按章节快速跳转。

  1. 作者赞赏他人完成长期想做的测试,引出MaxxBench项目

  2. 通过89个DeepSWE任务微调指令/代码生成测试集

  3. 模型在基准测试74%得分时,微小变化导致23个百分点差异

  4. 模型对文件名大小写等细节表现高度敏感

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • MaxxBench测试分析
    • 测试方法
      • 89个DeepSWE任务生成
      • 指令/代码微调
    • 关键发现
      • 74%基准得分
      • 23pp性能差距
      • 文件名大小写敏感

金句 / Highlights

值得收藏与分享的关键句。

#AI测试#模型评估#DeepSWE#MaxxBench
打开原文

Suhail on X: "我一直想做这个测试,但一直没机会。很高兴有人做了!" / X

Suhail

@Suhail

我一直想做这个测试,但一直没机会。很高兴有人做了!

Justin Lo

@loresjpg

11月7日

不错的 DeepSWE 分数!小写文件名是否会影响其表现?介绍 MaxxBench:89 个 DeepSWE 任务,对指令或初始代码进行小幅修改。相同的工程问题,略有不同的要求。在 DeepSWE 上得分集中在 74% 的模型,最终相差 23 个百分点。很好

2026 年 11 月 7 日 下午 4:35

·

14.2K

次浏览

9

1

63

21