曾先后在这两家公司担任研究员的 Jacob Coxon，辞职后在 X 网站上发帖称，他辞职是因为担心 Anthropic 和 OpenAI 是在 " 拿我们的生命做赌注 "。他说，开发人工智能的人 " 真心相信，到本十年末（2030 年），人工智能可能会毁灭我们所有人 "。
" 不要低估这项技术的力量，" 他写道：" 这些很快就会成为超人般的系统，它们可以入侵任何系统，一夜之间彻底改变任何领域，并获得真正的权力和资源。"
Coxon 的帖子浏览量超过 7000 万次，并引起了业内研究人员的共鸣。他们担忧递归式自我改进（RSI），即 AI 系统能够在无人干预的情况下设计和开发其后续版本。尽管 RSI 目前尚未实现，但包括 Anthropic 和 OpenAI 在内的多家公司警告称，这将使人类更容易失去对这些系统的控制。
Coxon 写道：" 两家公司都没有采取负责任的行动。它们正竞相研发自我提升的超级智能。"
Anthropic 对齐科学负责人 Evan Hubinger 后来也在 X 上发表的一篇文章中响应了 Coxon 的可怕预警。他表示，目前 AI 模型本身的风险较低，真正担忧的是通过递归自我改进产生超级智能。
"Coxon 说得对——我们确实真心相信人工智能可能会毁灭所有人类！我个人认为，未来十年内，这种情况发生的概率会超过 10%。"Hubinger 写道，" 我相信人智公司正在尽最大努力，但我们目前还没有解决超级智能协同问题的方案，而且显然也没有走上正轨。"
尽管这种担忧有些极端，但人工智能可能导致人类灭绝或其他灾难性事件的担忧在该研究领域并非新鲜事。
例如，2023 年，包括 OpenAI 首席执行官 Sam Altman 和 Anthropic 首席执行官 Dario Amodei 在内的多位知名人工智能研究人员和高管签署了一份声明，指出 " 降低人工智能导致人类灭绝的风险应该与应对其他社会规模的风险（例如流行病和核战争）一样，成为全球优先事项。"
一些专家甚至使用简写 p ( doom ) 来估计人工智能可能带来的严重后果的概率。p ( doom ) 指的是 "AI 导致人类灭绝或文明崩溃的概率 " ，是硅谷 AI 圈流行的风险估算值，没有官方标准，完全靠个人主观判断。这个数字没有统一算法，仅代表个人对 AI 风险的焦虑程度。
Anthropic 首席执行官 Dario Amodei ：10% – 25%
图灵奖得主 Geoffrey Hinton ：10% – 20%（也曾说过 40%）
OpenAI 前临时首席执行官 Emmett Shear ：5% – 50%
MIT 教授 Max Tegmark ：超过 90%
监管方向仍模糊
随着 Anthropic 和 OpenAI 两家公司不断推出日益先进的模型，并朝着可能具有历史意义的首次公开募股（IPO）迈进，许多研究人员呼吁各方协调一致地放缓人工智能的发展速度。 一些国会议员已经采取措施，试图应对人工智能的快速发展，但对于如何监管这项技术，目前还没有明确的共识。
今年 7 月，加州共和党众议员 Jay Obernolte 和马萨诸塞州民主党众议员 Lori Trahan 共同提出了一项名为《前沿法案》（FRONTIER Act）的议案，旨在建立一个监管高级人工智能模型部署的框架。
本月初，佛蒙特州独立参议员伯尼 · 桑德斯和德克萨斯州民主党众议员 Greg Casar 又提出了一项名为《禁止人工智能超级智能法案》（Ban Artificial Superintelligence Act）的议案，该议案拟暂时中止高级人工智能的开发，直至联邦政府制定出安全规则。这两项议案都引发了不同的反响。
" 安全研究人员纷纷辞职，强大的 AI 模型正从实验室里涌现，而企业却依然竞相推进，"Trahan 周三在 X 网站上发表的一篇文章中写道。" 国会早就应该不再袖手旁观，履行其职责了。"
