写代码这件事被量化之后:读懂 SWE-bench 与编码 Agent 评测

目录

热点引入:编码能力被量化到新高度

2026 年 6 月,Anthropic 发布 Claude Fable 5,其 SWE-bench 得分达到 80.3%,把"AI 写代码能力"的量化数字推到了一个新高度。每隔一段时间,我们就能看到类似的新闻:某某模型又刷新了 SWE-bench 纪录,百分比逼近甚至超越人类工程师的某个区间。

但作为一线工程师,看到这些数字时不妨多问一句:80% 到底意味着什么?它意味着我团队里 80% 的活可以交给它了吗? 答案远没有这么简单。理解 SWE-bench 的构造方式与局限,是避免被榜单误导的第一步。

技术原理:SWE-bench 是怎么造出来的

SWE-bench 的巧妙之处在于它不用人工编题,而是从真实世界取材:

  1. 从热门开源 GitHub 仓库里挑出一个真实的 issue(通常是 bug 报告或功能请求)。
  2. 找到修复这个 issue 的对应 PR,把 PR 的代码改动作为"标准答案补丁"(gold patch)。
  3. 把仓库回退到 PR 之前的状态,把 issue 文本作为任务描述交给模型。
  4. 模型需要产出一个补丁(diff),应用到仓库上。
  5. 判定标准不是文本相似度,而是跑测试:应用补丁后,原本失败的测试(FAIL_TO_PASS)是否通过,原本通过的测试(PASS_TO_PASS)是否仍然通过。

这种设计的价值在于它贴近代真实开发:模型面对的是真实的、语气各异的 issue 和陌生的代码库,而不是精心构造的玩具题。测试驱动判定也让结果客观、可自动复现。

常见变体与难度差异

  • SWE-bench Verified:从原版中人工筛选出描述清晰、测试可靠、环境可复现的子集,Noise 更少,因此分数通常更高。它衡量的是"干净任务"上的能力。
  • SWE-bench Lite:更小的子集,便于快速评测,但覆盖面有限。
  • SWE-bench Pro / 更难变体:任务更贴近企业真实复杂度,涉及更大的代码库、更模糊的描述和更长的修改链,分数往往显著低于 Verified。

因此对比分数时必须看清是哪个子集——在 Verified 上 80% 和在更难变体上的表现,可能差距很大。

实操:本地最小评测骨架

下面给出一个最小评测骨架,演示核心步骤:准备仓库、构造任务、应用补丁、跑测试。真实系统还要处理容器隔离与环境依赖,这里聚焦主干逻辑。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
import subprocess
from pathlib import Path

REPO = Path("./target_repo")

def git(*args):
    return subprocess.run(
        ["git", "-C", str(REPO), *args],
        check=True, capture_output=True, text=True,
    ).stdout.strip()

def prepare(base_commit):
    """回退到任务基线,清理工作区。"""
    git("reset", "--hard", base_commit)
    git("clean", "-fd")

def apply_patch(patch_text):
    """应用模型产出的补丁。"""
    p = subprocess.run(
        ["git", "-C", str(REPO), "apply", "-"],
        input=patch_text, capture_output=True, text=True,
    )
    if p.returncode != 0:
        raise RuntimeError(f"补丁应用失败: {p.stderr}")

接下来跑测试并判定结果:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
def run_tests(test_cmd, fail_to_pass, pass_to_pass):
    """返回 (resolved, 详情)。仅当所有目标测试通过且原有测试未回归才算成功。"""
    result = subprocess.run(
        test_cmd, shell=True, cwd=REPO,
        capture_output=True, text=True,
    )
    out = result.stdout + result.stderr
    f2p_ok = all(t in out and "FAILED" not in out for t in fail_to_pass)
    p2p_ok = all(t in out for t in pass_to_pass)
    return f2p_ok and p2p_ok, {"f2p": f2p_ok, "p2p": p2p_ok}

# 评测一个任务
prepare("a1b2c3d")
apply_patch(model_patch)
resolved, detail = run_tests(
    "pytest -q tests/test_issue_42.py",
    fail_to_pass=["test_issue_42"],
    pass_to_pass=["test_existing_behavior"],
)
print("SOLVED" if resolved else "UNSOLVED", detail)

要点:必须在干净容器里跑,避免模型看到测试答案或污染环境;补丁应用失败要单独归类,不能简单算作"没解决"。

评测为什么这么难

  • 数据污染:仓库和 issue 都是公开的,模型训练时很可能见过这些代码与修复方案。成绩里有多少是真能力、多少是记忆,很难剥离。
  • 过拟合榜单:厂商针对 benchmark 做定向优化、反复调参,分数上涨未必代表通用能力同步提升。
  • 测试覆盖不全:测试通过不等于问题真正解决。可能存在补丁"骗过"测试、引入回归或留下隐患的情况,而测试没覆盖到。
  • 环境噪音:依赖版本、构建失败等工程问题会污染结果,Verified 子集正是为降低这类噪音而存在。

如何正确看待 benchmark 分数

建议建立一套自己的判断方法论:

  1. 把分数当信号,不当承诺。它说明模型"在这类任务上有潜力",不代表在你的代码库上能达到同样水平。
  2. 建私有评测集。从自己团队的真实 issue 中脱敏抽样,构造内部 benchmark,这才是与你业务最相关的度量。
  3. 关注失败模式而非只看通过率。看它错在哪——是看不懂需求,还是改错了文件,还是引入了回归,这比一个百分比更有指导价值。
  4. 区分能力与生产力。分数衡量的是单任务解决成功率,不包含理解团队规范、沟通协作、长期维护等真实工作要素。

小结

SWE-bench 把"写代码"这件模糊的事变成了可测量的工程问题,这是巨大进步——测试驱动的客观判定、真实取材的任务设计都值得肯定。但 80.3% 这样的数字更适合作为横向比较与趋势观察的坐标,而不是"可以替代多少工程师"的换算系数。数据污染、榜单过拟合和测试覆盖的局限提醒我们:分数不等于生产力。真正可靠的评估,永远来自你自己的代码库和真实任务。