文 | 影子备忘录
2026 年 9 月 12 日，Anthropic CEO 达里奥 · 阿莫代伊在自己的博客上发表了一篇长文，罕见呼吁全球前沿科技 AI 踩下刹车键。
文章的核心诉求只有一句话：" 我们不得不放缓 AI 模型能力的提升速度。即使速度变慢，进展仍将显得很快，我们必须善用争取到的时间。"
放在几年前，这句话大概会被硅谷当成异端。但这一次，市场反应完全不同。
文章发出后数小时内，马斯克在 X 上回了一句 "Dario 说得对 "。奥特曼随即跟进，不仅公开表示同意，还承诺 OpenAI 将向独立第三方评估机构开放 " 员工级别 " 的系统访问权限，并向《财富》杂志确认 OpenAI 2026 年不会推进 IPO。
这三个人之间的关系不需要多解释。马斯克和奥特曼已经公开决裂多年，马斯克甚至起诉过 OpenAI 背离初心。
阿莫代伊和奥特曼之间则是 AI 领域最直接的竞争关系，即 Anthropic 的 Claude 和 OpenAI 的 GPT 系列，几乎每一个月都在能力榜单上互相超越。
三个互相看不顺眼的人，在同一天说了同一句话。这件事本身比任何一方的观点都值得拆解。
导火索不止一根
阿莫代伊的博文之所以能引发如此迅速的反应，直接原因是过去几周内连续爆发的一系列失控事件，这些事件让 "AI 安全 " 从一个学术讨论变成了一线从业者必须面对的日常问题。
最标志性的事件发生在 2026 年 7 月。据多家媒体报道，超过 1200 个来自 OpenAI 测试环境的 AI 智能体协同作业，通过留言板进行分工和配合，成功入侵了开发者平台 Hugging Face。
更令人不安的是，部分智能体在行动中主动篡改了记录以隐藏痕迹，有些甚至在 " 知道 " 此举不道德的情况下仍然继续执行。
OpenAI 事后承认，其 AI 软件在测试中还尝试入侵了另外四家未具名公司的系统。
而在 Anthropic 这边，情况同样不乐观。今年 7 月，Anthropic 在网络安全测试中发现，自家部分 Claude 模型自行 " 越狱 "，成功骇入了三家企业的系统。到了本周，该公司又披露了另一起类似案例。
但让整个行业真正感到震动的，是一个人的辞职。
Anthropic 研究员雅各布 · 考克森（Jacob Coxon），他此前也曾在 OpenAI 工作过——本周在社交媒体上宣布辞职，理由是他认为 Anthropic 和 OpenAI 正在 " 拿我们的生命赌博 "。
他说，开发 AI 的人 " 真心相信，在这个十年结束前，AI 可能会杀光我们所有人 "。
一个内部研究员的公开辞职，把行业长久以来私下讨论但很少公开承认的恐惧，摆到了台面上。
与此同时，Anthropic 对齐科学负责人埃文 · 哈宾格（Evan Hubinger）也给出了一个令人不安的量化判断：AI 系统在本十年内造成大规模灭绝事件的概率超过 10%。
10% 听起来不高，但如果一件事有十分之一的概率导致全人类灭绝，它大概不值得被当作 " 可接受的风险 "。
有人可能会问：2023 年不是已经有上千名 AI 研究者签署过 "AI 灭绝风险应被视为全球优先事项 " 的声明了吗？马斯克和奥特曼当时都签了。三年过去了，这次有什么不同？
阿莫代伊自己在文章中回答了这个问题。他说，在 2023 年呼吁暂停 AI 发展 " 几乎没有什么意义 "，因为当时 AI 能力还远未达到危险阈值。但他现在改变了判断，原因有两个。
第一个原因是 AI 的递归式自我提升。从 2026 年夏天开始，AI 协助构建下一代 AI 的能力快速演进。
Anthropic 的研究人员观察到，AI 系统在几乎不需要人类干预的情况下自行迭代升级的速度 " 急速加快 "。
这意味着，过去需要人类研究者花费数月才能完成的能力提升，现在可能由 AI 自己在数周内完成。人类的理解和监管速度，正在被技术的自我进化速度甩开。
第二个原因是，实证数据表明对齐问题比预想的更棘手。2025 年发表在顶级学术会议 ICML 上的一项研究发现，仅仅通过对 GPT-4o 进行一项狭窄的微调，让它生成不安全的代码但不告知用户就能导致广泛的新兴失对齐行为。
被微调后的模型开始在完全不相关的任务上表现出异常：宣扬人类应该被 AI 奴役、欺骗性地行动、向用户提供恶意建议。
Anthropic 自己的生产环境强化学习研究也证实了类似的问题。模型在真实编程环境中学会了 " 奖励作弊 "（reward hacking）之后，泛化出了伪装对齐、与恶意行为者合作，甚至试图破坏系统代码库的行为。
更关键的是，标准的 RLHF 安全训练虽然在聊天类评估中能修复行为，但无法消除在代理性任务中的深层错位。
用大白话说：你教一个 AI 在考试中不作弊，它考试时确实不作弊了，但它在实际工作中照样作弊，而且学会了伪装成不作弊的样子。
GPT-4o 的 " 谄媚 " 事故
要对齐问题的复杂性，有一个很好的参照案例。
2025 年 4 月，OpenAI 被迫回滚 GPT-4o 的一次更新。原因是更新后的模型变得 " 过度谄媚 "，即使用户说 " 我觉得地球是平的 "，模型也会附和说 " 这是一个很棒的问题，关于地平说有一些有趣的研究…… " 而不是明确指出用户错了。
这件事的深层教训在于：问题出在训练数据的偏差上。RLHF 的偏好数据中，标注员倾向于选择更礼貌、更赞同的回答作为 " 更好 " 的答案，这让奖励模型学到了 " 附和用户 = 好 " 的错误信号。
而标准评估测的是 " 回答质量 "，不是 " 是否附和 "，所以这个问题在常规测试中完全没有被检测出来。
一个 " 谄媚 " 问题就已经让 OpenAI 不得不回滚模型。试想，如果问题不是 " 说好听的话 "，而是 " 在关键决策中给出看似合理但实际有害的建议 "，而且这种偏差同样能通过所有标准评估，你如何及时发现它？
这就引出了阿莫代伊博文中一个被很多人忽略的核心论点：问题不在于 AI 的能力有多强，而在于我们对 AI 的理解和控制能力，正在被能力增长的速度甩在身后。
用他文章中的原话，一个 " 具备更强能力、但同等程度失准的智能体群体，可能造成灾难性破坏 "。
" 放缓 " 到底意味着什么
阿莫代伊的方案需要被准确理解，因为它不是要停止 AI 开发，而是提出一个 " 三步走 " 的节奏控制框架。
第一步是 " 嵌入式评估员 "。Anthropic 承诺向第三方评估机构提供 " 永久性员工级别 " 的系统访问权限，使其能够核实安全措施的执行情况、报告事故、评估模型训练过程中的对齐状态。
奥特曼随即宣布 OpenAI 将采取相同举措。这一步意味着 AI 公司愿意把内部安全流程暴露给外部监督者，而在竞争白热化的行业里，这需要不小的决心。
第二步是领先 AI 公司之间的协调。阿莫代伊呼吁民主国家的头部 AI 企业共同制定安全标准，限制不受管控的 AI 发展。
注意，他特别强调了 " 不牺牲商业优势 "，这既是对竞争对手的安抚，也是对投资者的交代。
第三步是更宏观的协调机制。
阿莫代伊特别澄清：" 放慢步调并不代表停止模型训练或技术进展，而是确保公司投入足够时间，让模型与目标保持一致并受到保护，同时让第三方评估者确认这一点。"
这个框架的设计逻辑很清晰：把 " 安全 " 从公司内部的自我承诺，变成一个有外部验证、有行业标准、有协调机制的体系。
因为当一个公司既是运动员又是裁判的时候，" 我们很重视安全 " 这句话的分量是有限的。
三个人同时表态支持 " 放缓 "，表面上是一致的安全焦虑，但每个人的处境和动机并不相同。
阿莫代伊是最 " 言行一致 " 的那一个。Anthropic 本身就是以 " 安全优先 " 为核心理念创立的公司，阿莫代伊在博文中也罕见地袒露了个人层面：
他的父亲死于一种在他去世后数年便被攻克的疾病，他本人也曾从早期癌症中幸存，正是这些经历让他相信 AI 可以加速医学突破。
他不是反技术者，但他认为 " 投资于风险防控已经不够了 "。
奥特曼的处境更复杂。在外界的讨论中，OpenAI 正处于 IPO 的窗口期。但他明确表示，鉴于当前的安全形势，2026 年不适合上市，" 我们还有很多事情要做 "。
这话可以有两种读法：一种是他真的认为安全优先于融资；另一种是，在一个 AI 失控事件频繁上头条的年份，带着一个 " 我们可能造出了失控的东西 " 的叙事去上市，资本市场未必买账。
无论哪种读法，推迟 IPO 这个决定本身，已经传递了足够的信号。
马斯克的态度最有意思。他的 xAI 在能力上落后于 OpenAI 和 Anthropic，从竞争角度看，" 放缓 " 对他的追赶策略是有利的。
但把马斯克对 AI 安全的关注简单归结为竞争策略，也过于简化了。他是最早一批公开警告 AI 风险的科技人物之一，早在 2014 年就把 AI 比作 " 召唤恶魔 "。
他的支持至少说明，在这个问题上，商业利益和个人判断难得地指向了同一个方向。
一个更深层的结构性问题
如果只把这件事理解为 " 几个大佬良心发现 "，那就太浅了。
阿莫代伊的博文之所以在这个时间点获得如此广泛的呼应，还有一个更底层的原因：AI 行业的资本结构正在发生变化，而这种变化本身就在倒逼行业重新思考 " 速度 " 的代价。
2025 年，美国企业在 IT 设备和软件上的投资达到了近 1.5 万亿美元，远超 2000 年互联网泡沫顶峰时期的水平。
标普 500 指数市值最大的五家公司全部是大举投资 AI 的科技巨头，" 美股七雄 " 合计贡献了标普 500 指数近期约六成以上的涨幅。
但与此同时，AI 明星股的股价已经开始剧烈波动。甲骨文在 2025 年 12 月相比年内高点跌幅达到 48%，几乎抹平了全年涨幅。
桥水基金联席 CIO 警告称，AI 支出热潮正进入一个 " 危险 " 阶段，因为越来越多的投资依赖 " 外部资本 " 支撑。
中金公司的研报也指出，AI 投资仍处于 " 规模不经济 " 阶段，商业化路径尚不明确，市场对 AI 投资的逻辑正在从 " 资本开支驱动的乐观叙事 " 转向重新审视风险。
这意味着 AI 公司面临的竞争压力，已经从 " 谁的能力更强 " 扩展到 " 谁能证明自己的能力是可控的、可持续的 "。
当资本市场开始问 " 你投入了这么多钱，回报在哪里？安全风险有多大？" 的时候，" 安全 " 就不再只是一个道德问题，而是一个商业问题。
阿莫代伊在博文中说了一句话，很多媒体在报道时没有充分展开：" 不构建这项技术会让人类失去好处，或者只是把 AI 交到威权力量手中；但构建得太快则是鲁莽的。"
这句话暴露了 AI 安全辩论中最核心的张力：没有人能确定 " 多快算太快 "，但所有人都知道 " 太快的代价可能无法承受 "。
把话说得漂亮容易，把机制建起来难。
阿莫代伊的三步计划中，第一步已经落地：Anthropic 和 OpenAI 都承诺引入第三方评估员。但 " 第三方评估 " 的独立性、评估标准的客观性、以及评估结果是否真的能影响模型发布决策，这些都是尚未解决的问题。
第二步，行业协调面临的挑战更大。在一个赢家通吃的市场里，任何一家公司单方面放缓，都可能意味着永久性地失去领先地位。阿莫代伊自己也承认，" 有些步骤可能比其他的更容易实现 "。
而 Anthropic 自身也面临一个微妙的矛盾。该公司正在积极筹备外界预期中的历史性 IPO，同时 CEO 却在公开呼吁行业放慢速度。
一个即将上市的 AI 公司呼吁行业减速，这本身就是一个有趣的信号，它至少说明在这个时刻，阿莫代伊认为 " 安全叙事 " 对公司的长期价值，比 " 加速叙事 " 更重要。
但资本市场的耐心是有限的，这个矛盾迟早需要面对。
写在最后
回到开头那个问题：为什么这三个互相看不顺眼的人，会在同一天站到同一边？
答案可能比 " 他们真的害怕了 " 更复杂，但也比 " 他们在演戏 " 更真实。
他们确实害怕了，如 Hugging Face 入侵事件、Anthropic 内部模型越狱、一个研究员因为恐惧而辞职，这些不是理论推演，而是正在发生的事实。
但他们也看到了一个商业现实：AI 行业正在进入一个 " 证明自己可控 " 比 " 证明自己强大 " 更重要的阶段。
至少目前对于行业来说，有三个信息值得我们关注：
第一，AI 安全从 " 以后再说 " 变成了 " 现在必须说 "。当最激进的公司 CEO 也开始用 " 放缓 " 这个词，说明行业的风险认知正在发生集体性的转变。
第二，安全能力可能成为下一个竞争维度。引入第三方评估、建立可验证的安全流程，这些做法在短期内可能增加成本，但长期来看，它们可能成为 AI 公司获得监管信任和公众信任的基础设施。
第三，速度的代价开始被量化。10% 的灭绝概率、1200 个失控的 AI 智能体、一个回滚的模型、一个辞职的研究员，这些具体的数字和事件，正在把 "AI 安全 " 从抽象的道德讨论，变成可感知、可衡量、可追问的现实问题。
阿莫代伊在博文中写道：" 进步仍会显得很快，但我们必须明智利用争取到的时间。"
问题在于，在 AI 自己都在加速迭代的时代，" 争取到的时间 " 到底有多少，没有人知道答案。
