来源公布的内容
SlopCodeBench 的测法贴近真实开发：给智能体一道题，分阶段写程序、不断收到新需求、回头改已有代码，后续检查点同时验证新行为和旧行为有没有被改坏。这一轮用固定题库跑了 36 道题、每个设置 196 个检查点，统一的起始提示词和随机种子。它报两个口径：严格通过要求包括回归在内的所有测试类别都过，核心通过则只看核心类别。
十组完整跑完的结果，严格通过率落在 12.2% 到 16.3% 之间。GPT-6 Astra 的最高档拿到最高的 32 个严格通过点（16.33%），估算成本约 759 美元；Opus 5.5 中等档的核心通过最高，145 个检查点（73.98%），严格通过 28 个，成本约 193 美元。作者特意提醒，各家之间差距常常只是两三个检查点，别把名次当成实力定论。
标题里的结论来自三组同模型不同档位的完整对照：把推理从中等升到最高，成本分别变成 2.11 倍、2.91 倍和 4.22 倍；严格通过的变化是，Opus 5.5 从 28 个降到 25 个，GPT-6 SOL 从 30 个降到 26 个，只有 Astra 从 29 个升到 32 个。作者的原话很谨慎：这不能证明多推理有害，但在这批跑测里，更高的档位并不是一个可靠的、能买到更多严格通过的方法，因为每个设置只跑了一次，波动无法排除。
跟着做：把这份实测变成省钱用法
- 日常编码任务默认用中等推理档位：这轮数据里它在两组对照中严格通过更高、成本只有最高档的四分之一到一半。
- 最高档只留给真难题：需求说得清、失败代价高的单点问题才值得升档，而且先拿你自己的任务做一次小对照再定，不要凭感觉全程拉满。
- 每完成一个阶段先跑回归测试：这轮所有跑测的最终代码仍有大量失败用例，且绝大多数是回归类失败，新功能做得对不等于旧功能没坏。
- 收尾时要求智能体清理工作文件：实测里模型会留下大量临时和草稿代码，不清理的话代码量和混乱度都会被悄悄放大。
- 验收标准写成严格口径：交付条件同时包含“新需求实现”和“原有测试全过”，不要只验收演示路径能跑通。
资料：[1]
正文详解：最终代码离能交付还有多远
检查点通过不等于最后交出的是能用的程序。只看每道题最后一个检查点，十组跑测的最终失败用例数从 1435 个到 2831 个不等，其中绝大多数是回归失败，也就是改新需求时把旧行为弄坏了。严格通过全部检查点的题目，每组只有 0 到 3 道。作者的总结是：智能体越来越擅长把主要行为做对，但离“在需求不断变化时始终不弄坏任何已测行为”还差得远；从 5 月到 10 月，全场最高严格通过率也只是从 14.8% 爬到 16.3%。
代码质量的扫描结果同样有意思：模型干活时会留下大量垃圾和草稿代码，扫描器标记的“ slop ”覆盖率在 28 道可比题目上，Opus 最高档最低，为 77.75%，中等档反而最高，94.25%——但最高档的严格通过更少。Opus 中等档留下的代码量全场最多，总计约 21.7 万行，仅清理规则就滤掉了 4 万多行临时目录里的文件。函数复杂度方面，最低的是 Fable，平均 3.57，最高的是 GPT-6 SOL 中等档，11.70；作者提醒，把代码拆成更多小函数确实会拉低平均复杂度，但不等于代码更好改。
资料：[1]
如何解读
对每天用 Codex 或 Claude Code 的人，这份报告最该带走的不是模型排名，而是预算分配方式：推理档位是成本项，不是质量保证。把默认档位调回中等、把省下的预算花在多跑一次回归测试和一次独立复查上，按这份数据是更划算的组合。
也要给结论留有余地：每个设置只跑一轮，作者本人反复强调不能据此断言“多想无用”。档位之间两三个检查点的差距完全可能来自波动。正确的使用方式是把方法和数字当参考，落到自己的代码库和任务类型上做小规模对照，再定团队的默认设置。
阅读要点
- 这轮全场严格通过率只有 12.2% 到 16.3%：分阶段改需求时，智能体最容易丢的是旧行为，不是新功能。
- 三组对照里最高推理档成本是中等档的 2.11 到 4.22 倍，严格通过两降一升，没有稳定买到更好的结果。
- 实用默认：日常任务用中等档，最高档留给说得清、代价高的难题，并先在自己的任务上做对照。
- 所有跑测的最终代码都还有大量失败用例且以回归为主，每阶段跑全量测试比升档更值钱。
- 记得让智能体清理临时文件：实测中留下的草稿代码能以万行计，不清理会直接污染代码库。
资料：[1]
