Real-SWE：用真实企业代码库测试AI编程Agent，Fable 5.1最高也才38.8%通过率

Sun, 13 Sep 2026 14:30:00 +0800

私有代码库、真实企业任务、原生工具链——8款AI编程Agent在Real-SWE面前集体翻车。

先说结论

9月12日，AI评测机构Specific Labs发布了Real-SWE基准测试。它用真实企业私有代码库测试AI编程Agent，不是网上随便找的开源项目。

结果：没有一个模型能解决所有10个任务。排名第一的Fable 5.1（搭配Claude Code）通过率也只有38.8%。

这篇文章在HN上拿到了211分、126条评论，引发激烈讨论。

为什么Real-SWE不一样？

现有的AI编程基准测试有一个致命问题：任务来自开源代码库，AI大概率在训练数据中见过。这就像考试前把答案发给你，考完说"你看，AI多厉害"。

Real-SWE的做法完全不同。三个核心区别：

私有代码库——代码和解决方案不在互联网上公开，模型不可能提前"背题"
真实业务任务——来自有工资的工程师实际要做的工作，不是人造的编程题
公司特有的复杂性——每家公司都有自己的代码规范和业务逻辑，Agent必须理解这些"潜规则"

任务来自三类真实公司：200K+用户的活动平台、处理10万+银行对账单的金融科技平台、企业级AI销售平台。这些代码库不是为了做benchmark写的，是真正的生产代码。

8款Agent的真实成绩单

每个模型搭配一个原生工具链（harness），每个任务跑8轮，共640次评测。注意：这里测的是"模型+工具"的组合，不是单独的模型能力。

排名	模型	工具	通过率	单次成本
1	Fable 5.1	Claude Code	38.8%	$6.96
2	GPT-6 Astra	Codex CLI	33.8%	$4.67
3	Gemini 3.8 Flash	Gemini CLI	31.2%	$2.50
4	GLM 5.3	Claude Code	28.8%	$5.12
=5	Grok 4.6	Grok Build	23.8%	$3.44
=5	Muse Spark 1.3	Muse Code	23.8%	$2.74
7	Kimi K3	Kimi Code	18.8%	$3.90
8	GPT-5.6 Sol	Codex CLI	16.2%	$2.65

贵≠好。Gemini 3.8 Flash单次只要$2.50，通过率31.2%。Fable 5.1要$6.96，通过率只高了7.6个百分点。从性价比看，Gemini 3.8 Flash是本次测试的最大赢家。

10个任务，难度天差地别

Real-SWE的10个任务涵盖计费、税务、数据迁移、API计量等真实业务场景：

任务	通过率
Multi-region sweep	67.2%
API keys & environments	65.6%
Entitlement overage lines	50.0%
Customer identity migration	40.6%
Billing schedule migration	14.1%
API token metering	12.5%
S3 datastore measurement	10.9%
Linearizable scan	4.7%
Tax jurisdiction	3.1%
Analytics stream reducer	0.0%

10个任务中有6个通过率低于15%。“Analytics stream reducer"全军覆没——8个模型×8轮=64次尝试，零通过。

排在前面的"Multi-region sweep"和"API keys"相对简单，因为它们涉及的操作更标准化。但涉及业务逻辑的任务（税务、计费迁移、线性化扫描）就把所有模型按在地上摩擦。

AI Agent的四种死法

研究团队把失败原因分成四类，每类都有"最惨选手”：

失败类型	含义	最惨选手
遗漏需求	漏掉了任务要求的某些功能	Kimi K3（53.8%）
集成错误	改了代码但跟现有系统对不上	Grok 4.6（67.2%）
未验证假设	自己猜了一个实现方式就提交	Gemini 3.8 Flash（49.1%）
回归Bug	改完这个坏了那个	Gemini Flash（10.9%）

Grok 4.6的67.2%集成错误率最扎眼。意思是：它改了代码，但跟现有系统完全对不上。

GPT-5.6 Sol的问题则是另一种：它拿到任务后，压根没注意到有一大堆需求要满足。遗漏需求率高达43.3%。

Fable 5.1虽然排名第一，但失败分布最均匀——没有哪类错误特别突出，说明它各方面相对平衡。

真正的难点在哪？

Real-SWE的任务和其他基准测试有两个关键区别：

prompt中位数1742字符，但中位数修改文件数11个（其他基准只有6个）
一个任务可能同时涉及AWS、Docker、K8s、GitHub、PostgreSQL、Redis等多个服务

一句话的需求背后要改大量代码，而且要改对。Agent不光要写代码，还要理解整个系统的集成关系。

另一个数据也说明问题：71.4%的10分钟内rollout失败了，73.4%的长时间rollout也失败了。给AI更多时间，它也不会做得更好。

HN社区怎么看？

最常见的质疑：可复现性。因为代码库是私有的，外部无法独立验证结果。

有用户指出：“Model X表现很好，但它看了什么代码我们完全不知道。”

也有人问：“这些公司怎么愿意把私有代码库给出来做测试？”

这确实是Real-SWE最大的争议点：它测的场景更真实，但代价是封闭性。

写在最后

Real-SWE给出了一个冷酷的现实。AI编程Agent在开源项目上表现亮眼，但放到真实企业环境里，通过率直接腰斩。

问题不在于模型不够聪明，而在于真实业务的复杂性远超代码本身。业务规则、系统集成、公司规范——这些都不是写在代码里的。

所以，如果你在用AI写代码，别太乐观。它能帮你写函数，但让它独立完成一个涉及多系统的业务需求？还早。

数据来源：Specific Labs Real-SWE，HN讨论帖211分/126评论

Specific Labs on Kalend's Blog