上月，Anthropic 的对齐科学负责人 Evan Hubinger 离职后在社交媒体上发帖称，他个人认为未来十年内，人工智能（AI）导致人类灭绝的可能性 " 超过 10%"。
几天后，Anthropic 首席执行官达里奥 · 阿莫代伊（Dario Amodei）也发文承认，人类可能会失去对 AI 的控制，且该技术可能被滥用于 " 网络攻击、生物恐怖主义以及造成严重的经济破坏 "。
阿莫代伊写道，从今年夏天起，AI 的发展速度急剧加快，如果不加以控制，可能会超出人类理解和控制这些系统的能力。因此，即便要推进这项技术，也必须极其谨慎。
尽管让一家企业 " 为人类灭绝担责且要量化这一风险 " 的想法听上去十分荒谬，但 Anthropic 及其竞争对手 OpenAI 面临的风险，与处理危险材料或生产军事装备的企业所面临的风险有相似之处。
Slow Ventures 合伙人 Sam Lessin 认为，2008 年金融危机后的监管措施或许能为如何应对 AI 风险提供借鉴。他提议，美国政府应强制 AI 实验室将 1 万亿美元现金存入托管账户，以支付未来可能产生的善后成本。
这类似于金融危机后监管机构要求银行持有更多资本，以应对潜在损失的做法。但 Lessin 表示，即便如此，资金也可能仍然不够。
Lessin 补充称，" 即便不考虑他们所谈论的大规模物种灭绝风险，这些企业给社会带来的潜在负债就可能高达 2 万亿或 4 万亿美元——这甚至可能令这些企业的价值跌至零以下。"
不过，Lessin 指出，一些投资者仍可能愿意买入 Anthropic 股票，并忽略这笔尚无法确定、但潜在规模可能极其庞大的风险成本。他们的想法可能是，其不会接最后一棒，最终会有其他人来承担这笔账单。
末日论争议
尽管围绕 AI 安全的讨论已演变为有关人类末日的争论，Anthropic 仍计划在 IPO 中筹集与 SpaceX 规模相当、甚至更多的资金。
今年 6 月，SpaceX 以 862 亿美元的 IPO 规模上市，创下最高融资纪录，目前其股价较发行价高出 20% 以上。
SpaceX 将其许多发展愿景寄托于 AI，其 Grok 模型也在与 Anthropic 和 OpenAI 各自的产品展开竞争。其申报文件并未提及 AI 可能带来的生存性威胁，而是重点提示了虚假信息以及 "AI 欺骗 " 等风险。
InvestorPlace 首席技术分析师 Luke Lango 表示，特朗普近期与阿莫代伊等大型科技企业领导人达成了一项在道义上具有约束力的 AI 安全协议，这缓解了部分投资者对 AI 整体风险的担忧。
私人股权基金 Private Shares Fund 的董事总经理兼投资组合经理 Kevin Moss 表示，特朗普政府已经公开表达了对这一问题的担忧，但有关安全问题的讨论不太可能打乱 Anthropic 的 IPO 计划。
目前，缓解 AI 安全风险的压力主要仍由 AI 企业自身承担，投资者可能欢迎企业为此投入一定资金。
PitchBook 负责后期阶段企业研究的高级分析师 Harrison Rolfes 则认为，新的安全机制将增加 Anthropic 的成本，但也可能增强客户对其产品的信任。
如果竞争对手或开源 AI 项目无法达到同等安全标准，这些机制还可能帮助 Anthropic 建立竞争壁垒。
缺乏先例，AI 风险难以量化
尽管 Anthropic 预计会购买保险，但历史经验表明，在发生重大灾难时，保险赔付和理赔争议可能导致股东仍需承担巨额损失。
2010 年，英国石油（BP）的 " 深水地平线 " 钻井平台发生爆炸并沉没，造成 11 人死亡，并引发美国历史上最严重的海上石油泄漏事故。当时，BP 的保险仅覆盖 7 亿美元，而最终事故成本攀升至数百亿美元。
专注于 AI、太空等新兴行业的保险公司 Relm Insurance 创始人兼首席执行官 Joe Ziolkowski 表示，保险业一直通过传统保险合同为 AI 企业提供保障，并针对保障缺口开发新的保险产品。
不过，由于缺乏历史数据，而且 AI 相关责任可能以何种形式出现仍存在不确定性，AI 企业要获得保险保障依然面临困难。
Ziolkowski 指出，随着 AI 从单纯提供信息，逐步转向自主作出决策并与其他智能体互动，一旦损失不可避免地发生，究竟应由谁承担法律责任，这一问题正变得愈发紧迫。
目前，针对 AI 智能体失控的法律判决几乎没有可供直接参考的先例。因此，对于考虑以最高达 2 万亿美元估值投资 Anthropic 的投资者而言，他们面临的选择近乎非此即彼：要么接受公司可能需要为一些最严峻的 AI 风险承担全部责任，要么干脆不投资。
Ziolkowski 表示：" 投资者不太可能仅仅因为存在无法量化的风险敞口，就在 IPO 估值中对这些企业进行折价。"
