SWE-Bench Pro V2发布 修复或剔除480项任务以防刷分

Soham Dan、Jeff Da、Daniel Yue Zhang等作者在arXiv发表论文，推出编码智能体基准SWE-Bench Pro的修订公开版V2。作者称，随着智能体能力提升，它们会触及早期智能体未曾涉及的任务问题，并以原评测框架未预料的方式与环境交互。团队通过智能体审计、专家裁定和盲测重新实现，修复或剔除了731项任务中的480项，23名合同工程师为此投入404小时，每条修订指令均由另一名工程师仅凭文本解题验证。新协议将网络访问限制在模型端点，并在干净容器中重新评分每个补丁，防止智能体检索上游修复或因补丁外改动得分。论文称，在642项V2任务上前沿智能体解决率最高达99.4%，51项任务的Hard子集上各系统得分分布于52.9%至98.0%。