转推 Justin Lo：DeepSWE 分数不错！但改个小写文件名还能 hold 住吗？介绍 MaxxBench：89 个 DeepSWE 任务，仅对指令或初始代码做了微小改动。同样是工程问题，要求略有不同。在 DeepSWE 上扎堆在 74% 左右的模型，最终拉开了 23 个百分点的差距。是真会写代码，还是只会刷 DeepSWE？🧵
MaxxBench 对 89 个 DeepSWE 任务做了重跑，仅对指令或初始代码做了微小改动——同样的工程问题，要求略有不同——结果发现，在 DeepSWE 上扎堆在 74% 左右的模型，最终拉开了 23 个百分点的差距。这一由 Andrej Karpathy 转发的结果表明，DeepSWE 分数反映的可能更多是针对该基准的应试能力，而非通用编程能力。它的重要性在于，让人在选模型时重新思考：头条编程基准排名到底有多可信。
报道来源
- Andrej Karpathy2026-11-07 01:36