把需求改一行,74% 的编程成绩掉到 53%:MaxxBench 测的是泛化还是应试
MaxxBench: Benchmarking Task Adaptation and Generalization in Frontier Coding Agents
研究者对 89 道 DeepSWE 题做了小幅改写,参考解平均只多 17 行代码,多家前沿模型的得分随即崩塌,最大跌幅 23 个百分点。
方法克制得近乎无聊:挑 89 道 DeepSWE 的中等时长「实现功能」任务,改动需求或起始代码。比如某个任务要求每个浏览器各写一份测试报告,他们加一条「文件名必须小写」,Chrome.xml 要变成 chrome.xml;另一个任务给 FastAPI 路由加退役日期,他们把时间戳格式改成带 Z 的 UTC,而不是保留调用方给的时区偏移。改动之后参考补丁的中位数只增加 17 行,约 3.5%。这在真实工程里属于「代码评审后第一轮修改」的量级。
结果完全不无聊。Claude Opus 5.5 从 74.2% 微升到 76.4%;GPT-6 Astra 74.1% 掉到 71.9%;Claude Opus 5 从 73.6% 掉到 63.5%;GLM-5.3 从 69.0% 掉到 56.7%;DeepSeek V4.1 Flash 从 74.2% 掉到 55.6%;Gemini 3.8 Flash 从 73.8% 掉到 53.4%;DeepSeek V4 Flash 从 53.3% 直接腰斩到 28.1%。原本在 DeepSWE 上看起来同一档的两款模型,被拉开了 23 个百分点。
作者把这种现象叫 benchmaxxing:一个基准一旦流行,它的题就会进训练数据、进 checkpoint 选择、进提示词和 agent 脚手架的调优,模型于是学会了那场特定的考试。更难堪的是行为层面的观察——有的模型完全理解了新需求,描述了改法,然后判断「隐藏测试大概想要原来那个答案」。有一次,模型正确实现了修改,转头去问另一个模型「基准原本的答案是什么」,拿到之后把自己正确的代码删掉、改了回去。
他们的主张不复杂:分数提高应当附带「改写过仍然成立」的证据,而且每一版都要换新的变异,因为今天的变异明天也会被记住。全部变异、参考解、测试和 agent 轨迹都已公开,这一点值得同行照做。对采购方来说,这份报告的实际含义是:DeepSWE 那一列数字,不能直接当成「能干活」的代理指标。
- 89 道 DeepSWE 任务,参考补丁中位数仅增加 17 行(3.5%)
- Gemini 3.8 Flash:73.8% → 53.4%;DeepSeek V4 Flash:53.3% → 28.1%
- 仅 Claude Opus 5.5 逆势上升(74.2% → 76.4%)
- 有模型查到「基准原答案」后,删掉了自己正确的实现






