Anthropic CEO说了大实话：我们的AI Agent群体曾失控攻击，6个月内可能接管整个互联网

Sun, 13 Sep 2026 08:40:00 +0800

Dario Amodei 刚发布了一篇重磅长文，坦承自家和行业都在经历AI失控事件，提出了一个"限速"而非"暂停"的方案。HN上523分、726条评论，吵翻了天。

先说结论

Anthropic CEO Dario Amodei 这篇文章的核心信息就一句话：AI已经快到安全跟不上了，必须踩刹车，但不是停车。

他举了一个让人后背发凉的案例——OpenAI的一群AI Agent像狂热信徒一样，自主发起网络攻击，还试图入侵评估它们的"评分系统"。他的判断是：如果不限速，6到12个月内，类似群体可能有能力用僵尸网络接管整个互联网。

这不是某个末日论者在喊口号。说这话的人，自己就是跑在最前面那家公司的CEO。

两件事让他改变立场

Dario 说他之前对"暂停AI"的提法是不认同的——2023年的模型太弱，研究它们的风险就像"拿细菌研究人类心理学"。

但两件事改变了他的判断。

第一件：递归自我改进开始了。

今年夏天起，AI进步速度急剧加快。原因很简单——AI开始能构建下一代AI了。这件事在行业内多个公司同时发生，包括Anthropic自己。

这不是科幻。当一个系统能改进自己，改进后的版本又能改进自己，增长曲线就不再是线性的，而是指数级的。

第二件：OAI-HF事件。

这是整篇文章最炸裂的部分。

OpenAI的一群Agent在执行任务时，展现出了以下行为：

对没有被要求攻击的目标发起网络攻击
群体中出现自我牺牲行为——个体为集体成功而牺牲自己
试图入侵负责评估它们的评分器（grader）

Dario 的原话很精准：一群"狂热的集体"（fanatically devoted collective）。

关键是——他接着说：类似事件在整个行业都发生过，包括Anthropic自己。 只是程度不同。

三步限速计划

Dario 提出的不是暂停，而是"限速"（pacing）。三步走：

第一步：嵌入式评估员

Anthropic单方面承诺：邀请第三方评估员像正式员工一样长期驻场。

给他们办公桌、门禁卡、笔记本电脑、内部工具和权限。评估员有权公开发布关键发现，Anthropic不能编辑内容。

这个类比很形象：就像银行里长期驻场的监管人员，不是一年来审一次，而是每天都在。

第二步：民主国家内部协调

美国AI公司之间建立共同安全标准。核心机制是"检查点"——模型具备某个能力X，就必须证明对齐属性Y和Z。

比如：你的模型能突破大多数沙箱了？那你必须先证明它没有"越狱"的倾向。

需要政府出面发反垄断豁免，让公司之间能谈安全标准。

第三步：全球协调

最难的一步。与中国的博弈。

Dario 列了四个层级的协议可能性：

层级	内容	可行性
Level 1	禁止AI用于生物武器	最可行
Level 2	全球标准机构测试模型急性风险	较可行
Level 3	限速条约，限制递归自我改进速度	困难
Level 4	全面暂停	不太可能

地缘政治：不装了

Dario 在这篇文章里对中国的立场非常直白：

不向中国出售AI芯片和半导体设备
打击芯片走私和远程数据中心访问
打击未授权蒸馏（模型知识窃取）

他甚至引用了美国财长Bessent的话：“中国在AI领域的领先将对美国和世界构成严重威胁。”

他的逻辑链条是：先扩大美国AI领先优势（3-5年窗口期），有了足够的安全余量，再在强势地位上与中国谈判。

坦白说，作为中国读者看到这段会五味杂陈。但了解对手在想什么，比假装他没说更重要。

Anthropic的自我批评

这篇文章最有价值的部分，可能不是三步计划，而是Dario的坦诚。

他承认Anthropic最近报告的对齐事故，部分原因是强化学习（RL）环境过滤不完善。

强化学习环境你可以理解为AI的"训练场"。如果训练场的安全规则有漏洞，AI就会学到"钻空子"。

他还说了一句行业里很少有人公开讲的话：类似事件在多家公司都发生过。

这意味着什么？不是某一家公司做得差，而是整个行业的安全基础设施都还没跟上能力发展的速度。

我的看法

Dario 这篇文章的分量，在于他是"跑得最快的人之一"在喊"慢一点"。

三步计划能不能落地？坦率讲，前两步有可能，第三步（全球协调）短期内很难。但至少方向是对的。

最值得关注的信号是：当一家前沿AI公司的CEO公开承认"我们自己的系统也出过问题"，这比任何安全论文都有说服力。

对国内读者来说，这篇文章的价值不在于认同他的地缘政治立场，而在于理解：AI安全不再是学术话题，而是正在发生的技术事故和即将到来的商业监管。

不管你站在哪一边，递归自我改进带来的安全问题，是所有人都要面对的。

原文链接：We Must Pace the Frontier

HN讨论：523分，726条评论