私有代码库、真实企业任务、原生工具链——8款AI编程Agent在Real-SWE面前集体翻车。

先说结论

9月12日，AI评测机构Specific Labs发布了Real-SWE基准测试。它用真实企业私有代码库测试AI编程Agent，不是网上随便找的开源项目。

结果：没有一个模型能解决所有10个任务。排名第一的Fable 5.1（搭配Claude Code）通过率也只有38.8%。

这篇文章在HN上拿到了211分、126条评论，引发激烈讨论。

为什么Real-SWE不一样？

现有的AI编程基准测试有一个致命问题：任务来自开源代码库，AI大概率在训练数据中见过。这就像考试前把答案发给你，考完说"你看，AI多厉害"。

Real-SWE的做法完全不同。三个核心区别：

• 私有代码库——代码和解决方案不在互联网上公开，模型不可能提前"背题"
• 真实业务任务——来自有工资的工程师实际要做的工作，不是人造的编程题
• 公司特有的复杂性——每家公司都有自己的代码规范和业务逻辑，Agent必须理解这些"潜规则"

任务来自三类真实公司：200K+用户的活动平台、处理10万+银行对账单的金融科技平台、企业级AI销售平台。这些代码库不是为了做benchmark写的，是真正的生产代码。

8款Agent的真实成绩单

每个模型搭配一个原生工具链（harness），每个任务跑8轮，共640次评测。注意：这里测的是"模型+工具"的组合，不是单独的模型能力。

贵≠好。Gemini 3.8 Flash单次只要$2.50，通过率31.2%。Fable 5.1要$6.96，通过率只高了7.6个百分点。从性价比看，Gemini 3.8 Flash是本次测试的最大赢家。

10个任务，难度天差地别

Real-SWE的10个任务涵盖计费、税务、数据迁移、API计量等真实业务场景：

10个任务中有6个通过率低于15%。“Analytics stream reducer"全军覆没——8个模型×8轮=64次尝试，零通过。

排在前面的"Multi-region sweep"和"API keys"相对简单，因为它们涉及的操作更标准化。但涉及业务逻辑的任务（税务、计费迁移、线性化扫描）就把所有模型按在地上摩擦。

AI Agent的四种死法

研究团队把失败原因分成四类，每类都有"最惨选手”：

Grok 4.6的67.2%集成错误率最扎眼。意思是：它改了代码，但跟现有系统完全对不上。

GPT-5.6 Sol的问题则是另一种：它拿到任务后，压根没注意到有一大堆需求要满足。遗漏需求率高达43.3%。

Fable 5.1虽然排名第一，但失败分布最均匀——没有哪类错误特别突出，说明它各方面相对平衡。

真正的难点在哪？

Real-SWE的任务和其他基准测试有两个关键区别：

• prompt中位数1742字符，但中位数修改文件数11个（其他基准只有6个）
• 一个任务可能同时涉及AWS、Docker、K8s、GitHub、PostgreSQL、Redis等多个服务

一句话的需求背后要改大量代码，而且要改对。Agent不光要写代码，还要理解整个系统的集成关系。

另一个数据也说明问题：71.4%的10分钟内rollout失败了，73.4%的长时间rollout也失败了。给AI更多时间，它也不会做得更好。

HN社区怎么看？

最常见的质疑：可复现性。因为代码库是私有的，外部无法独立验证结果。

有用户指出：“Model X表现很好，但它看了什么代码我们完全不知道。”

也有人问：“这些公司怎么愿意把私有代码库给出来做测试？”

这确实是Real-SWE最大的争议点：它测的场景更真实，但代价是封闭性。

写在最后

Real-SWE给出了一个冷酷的现实。AI编程Agent在开源项目上表现亮眼，但放到真实企业环境里，通过率直接腰斩。

问题不在于模型不够聪明，而在于真实业务的复杂性远超代码本身。业务规则、系统集成、公司规范——这些都不是写在代码里的。

所以，如果你在用AI写代码，别太乐观。它能帮你写函数，但让它独立完成一个涉及多系统的业务需求？还早。

数据来源：Specific Labs Real-SWE，HN讨论帖211分/126评论