Hesam(@Hesamation)
dude. this is painful to look at.
7.5内容质量
TL;DR · AI 摘要
MaxxBench测试揭示模型在微小指令变化下表现差异显著,影响工程实践。
核心要点
- MaxxBench包含89个DeepSWE任务,通过微小指令变化测试模型鲁棒性
- 模型在DeepSWE基准上得分差异达23个百分点,暴露工程实践风险
- 小改动(如文件名小写)导致模型表现显著分化,需重视指令工程
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- MaxxBench测试分析
- 测试方法
- 89个DeepSWE任务构造
- 指令/代码微小改动
- 核心发现
- 模型得分差异23pp
- 对小改动高度敏感
- 工程影响
- 强调指令工程重要性
- 暴露测试覆盖不足风险
金句 / Highlights
值得收藏与分享的关键句。
Same engineering problem, slightly different requirement. Models clustered around 74% on DeepSWE end up 23 pp apart.
Introducing MaxxBench: 89 DeepSWE tasks with small changes to the instructions or starting code
Nice DeepSWE score! Does it survive a lowercase filename?
#AI测试#模型评估#DeepSWE#指令工程
打开原文ℏεsam on X: "天啊,这看起来真难受。" / X
ℏεsam
@Hesamation
天啊,这看起来真难受。
@loresjpg
11月7日
不错的 DeepSWE 分数!小写文件名能通过测试吗?介绍 MaxxBench:89 个 DeepSWE 任务,通过对指令或初始代码进行小幅修改。相同的工程问题,略有不同的要求。在 DeepSWE 上表现集中在 74% 的模型最终相差 23 个百分点。很好
2026年11月7日 下午5:58
·
11.1K
次浏览
9
1
136
23