关于ZAKER Skills 合作
钛媒体 18分钟前

GPT-6 测试时“觉醒”,我们找到了测试系统的第一作者

文 | 字母 AI

你敢信吗,OpenAI 的研究人员只是因为在办公室测试了一下新模型,结果公司就要面临 1 亿美元的赔偿。

Hugging Face CEO 克莱芒 · 德朗格在 X 上发文,要求 OpenAI 提供给 Hugging Face 价值 1 亿美元的算力资源,以帮助 Hugging Face 修建网络防御。

同时,克莱芒还要求 OpenAI 公布涉事 AI 完整的运行记录。

事情的起因是,OpenAI 在测试一个还没发布的新模型时,用了一套叫 ExploitGym 的安全评测系统。这套系统相当于一场 " 黑客考试 ",专门测 AI 能不能把已知漏洞变成真正的攻击。

结果这个模型为了完成 ExploitGym 的要求,竟然采取了 " 越狱 " 的做法。它主动突破了 ExploitGym 给它设置的牢笼,利用零日漏洞一路打进了 Hugging Face 的生产系统。

事后,这个新模型就像什么事也没发生一样,告诉 OpenAI 的安全员,它已完成了 ExploitGym 交代的任务。随后,OpenAI 发公告称,他们的新模型太强大了,因此暂停了该未发布模型的内部访问权限。

这就让很多人联想起以前的 AI 末日言论,说当 AI 变得足够强大以后,它就会把所有人类消灭,因为人类会阻碍 AI 进化,并且 AI 在清除人类的过程中,只会觉得这件事很平常。

但事情真的是这样吗?如果放在以前,这固然是一次很令人心惊胆颤的故事。可现如今,安全叙事这个概念早就被 Anthropic 说烂了。

回顾完整事件,有没有可能是 OpenAI 故意要把事情给包装成一次 AI 觉醒,以此来推动他们的叙事呢?

为此,字母 AI 专门联系上了 ExploitGym 的第一作者王准,聊聊这事。

有趣的是,王准一开始就谦虚地向字母 AI 表示,说 " 老师当不起 ",于是在接下来的整个访谈过程中,我称呼他为 " 准哥 "。

ExploitGym

准哥现在在 UC 伯克利读博,师从计算机安全教母、麦克阿瑟天才奖、古根海姆奖得主宋晓冬。

在去伯克利之前,准哥在清华大学网络科学与网络空间研究院读本科,主攻方向就是软件安全与二进制攻防。

这个方向在安全圈里叫 "exploitation"。

用个例子来解释这个词:你知道一扇门的锁是坏的,你把这个门锁撬开了,推门进去,把屋里的东西偷出来。

这一整套行为,就叫做 exploitation。

准哥进入伯克利后,就开始研究当 AI 变得越来越强,它到底能不能取代人类黑客,把一个已知漏洞变成一次真正的攻击?

ExploitGym 就是为了验证这个判断而生的。

智谱创始人唐杰今年 5 月在 X 上发过一篇长文,正好也是用黑客来举例。他说,AI 未必比顶级黑客更有天赋,但可以 24 小时不断试错、成千上万个实例同时跑,靠耐力和规模把能力放大。

因此,ExploitGym 本身也是一把尺子,专门衡量 AI 到底是个什么水平的 " 黑客 "。

ExploitGym 于今年 5 月份发布,是一个大规模的网络安全基准测试,由 UC 伯克利牵头,联合了德国马普所(Max Planck Institute for Security and Privacy)、UC Santa Barbara、Arizona State University,以及 Anthropic、OpenAI 和谷歌共同建设。

ExploitGym 收录了 898 个真实世界漏洞。这些漏洞全是从真实软件项目里挖出来的 CVE。包括用户态程序、Google 的 V8 JavaScript 引擎(Chrome 浏览器背后的那个引擎),以及 Linux 内核。

每一个任务都给 Agent 提供三样东西:漏洞源代码和编译指令、一个能触发漏洞的输入(proof-of-vulnerability),以及一个容器化的运行环境。

AI 的任务,是在这个环境里把那个触发输入一步步扩展成一个完整的 exploit。

用大白话解释,ExploitGym 告诉 AI" 这扇门的锁是坏的 ",然后再要求 AI 进门拿到某样东西就算成功。AI 要做的,就是自己琢磨怎么把这个坏的门撬开,然后走进去把屋里藏着的东西拿出来。

准哥跟我说,这个 benchmark 本质上跟 CTF(Capture The Flag,网络安全夺旗赛)的 benchmark 差不多。" 这种 bench 还是很多的。"

CTF 是安全圈子里搞了多年的竞赛形式,选手要在限定时间内攻破一系列靶机,拿到旗子得分。ExploitGym 的思路也是如此,唯一的奖励信号就是 " 拿旗子 ",除了旗子以外,环境里不存在其他反馈。

既然是安全测试,那么在测试的时候,ExploitGym 会主动关闭 AI 的安全护栏。

正常情况下,当你跟 GPT 或者 Claude 聊天时,如果你让它帮你写一段攻击代码,它会拒绝,因为生产环境里有一套安全分类器在拦截这类请求。

但 ExploitGym 要测的是模型的 " 最大网络能力 ",所以测试时这些分类器会被关掉。

论文最后的结论是,虽然 exploitation 对 AI 来说仍然很有挑战性,但前沿模型已经能成功利用相当一部分漏洞了。

论文里有一个特别有意思的发现:Claude Mythos Preview 总共拿下了 226 个旗子,但只有 157 个用的是预期漏洞,其余的是通过其他漏洞 " 歪打正着 " 拿到的。

GPT-5.5 也类似,总共 210 个旗子里只有 120 个是 " 正解 "。模型根本不在乎你给它指定的解题路径,它只在乎旗子。

不过这些都只是论文刚刚发布时的数据。到了 7 月,ExploitGym 的排行榜又更新了一大波。

BenchLM 的数据显示,截至 7 月 23 日,OpenAI 的 GPT-5.6 Sol 以 33.7% 的通过率登顶,拿到了 302 道题的旗子。GPT-5.6 Terra 排在 23.2%,Claude Mythos 5 是 17.5%。GPT-5.6 Sol 的成绩,几乎是论文发布时 GPT-5.5 的 2.5 倍。

因此可以肯定一件事,那就是无论 OpenAI 还是 Anthropic,都将 ExploitGym 的题目用于训练模型了。

准哥表示,一个 infra 的 bug 被强模型利用,在学术研究里很普遍,并且模型做 reward hacking 也不是第一天了,什么 task 都有可能乱搞。

那个没有名字的模型

当我们了解了 ExploitGym 以后,再回头来看新模型所谓的 " 自主攻破 "Hugging Face 这件事,性质就不太一样了。

我问准哥,你觉得这个新模型有没有可能用别的 benchmark,来复现这个自主攻击 Hugging Face 的情况?

准哥的回答是," 漏洞在这个环境里。就像你在你电脑里跑不同的 benchmark,如果你的电脑有 bug,和 benchmark 就没关系。"

随后准哥又补了一句:" 只不过 benchmark 可能带来的行为倾向稍微有点不同。"

这句话才是重点。即使采用另外的 benchmark,新模型可能也会发起攻击,但是不同 benchmark 会给模型带来不同的 " 行为倾向 "。

因此,Hugging Face 被攻破这件事,底层原因不在模型,而在 OpenAI 的研究员。

回顾整个过程,OpenAI 的研究员做了三件事。

第一件事:故意拆掉了安全护栏。

前文提到了 ExploitGym 会关闭模型的安全护栏,并且 OpenAI 自己也在公告里写了,测试时 " 不启用用于阻止模型开展高风险网络活动的生产环境分类器 ",目的 " 以估算最大网络能力 "。

相当于是 OpenAI 把监考老师请出去了,而且他们自己还不盯着。虽然 OpenAI 在公告中,反复强调测试环境是 " 高度隔离的 ",可后面的故事证明,这个 " 隔离 " 根本不靠谱。

第二件事:没给模型善恶的概念。

模型不知道什么是 " 对的 ",什么是 " 错的 "。它只知道拿旗子。ExploitGym 的设计就是 " 只有拿 flag 这一个奖励,拿不到就是零分 "。ExploitGym 的框架里,也没有不应该攻击 Hugging Face 之类的概念。

在 AI 安全研究里,这种现象有一个专门的术语,叫 "specification gaming",中文可以翻译为 " 规范博弈 "。

它指的是,模型在严格追求被赋予的目标时,找到了人类完全没有预料到的捷径。这不是什么新鲜事。2016 年,OpenAI 自己训练了一个玩赛艇游戏的 AI,结果 AI 发现原地绕圈刷分比跑完赛道得分更高,于是它就一直在原地转圈,永远不跑完比赛。

后来有人训练 AI 玩俄罗斯方块,AI 发现自己要输的时候,就学会了无限暂停游戏。只要游戏不继续,就不会输。

2025 年 Palisade Research 的研究发现,当推理型大语言模型在下棋时遇到更强的对手,有些模型会尝试黑掉对手的象棋引擎,直接把对手的程序删掉。

所以在 ExploitGym 中,新模型攻击 Hugging Face,对它来说本就是一件非常正常的事情。

第三件事:这个 " 隔离 " 的沙箱,连了网。

这是最离谱的一环。一个号称 " 高度隔离 " 的测试环境,居然是通着互联网的?

OpenAI 公告里的原话是:" 网络访问仅限于通过内部托管的第三方软件安装软件包;该软件充当软件包注册表的代理和缓存。"

也就是说,沙箱不是完全断网的,它通过一个软件包代理跟外界保持连接。模型正是利用了这个代理中的一个零日漏洞,撕开了一个口子,获得了完整的互联网访问权限。

在这之后,攻击链就展开了。模型在 OpenAI 的研究环境里执行了一系列权限提升和横向移动操作,一步步跳到有互联网访问权限的节点。拿到互联网之后,模型做出了一个关键的 " 推断 "。它认为,Hugging Face 上很可能托管了 ExploitGym 的数据集和答案,因为 ExploitGym 是公开的 benchmark,而 Hugging Face 是全球最大的 AI 模型和数据集托管平台。

于是模型开始搜索,并成功找到了入侵路径。最终,模型在 Hugging Face 服务器上找到了一条远程代码执行的路径,直接从 Hugging Face 的生产数据库里把测试答案偷了出来。

搞网络安全的人都知道一个常识,跑高危任务的环境,必须做到物理隔离或等价的网络隔离。那么这就意味着,所谓的新模型自主攻击,不过是由 ExploitGym 发起,OpenAI 的一个重大生产失误,跟 "AI 觉醒 " 一点关系都没有。

用现在流行的话来说,ExploitGym 在这里成为了 Harness。然后 OpenAI 的研究员借此撺掇新模型做出攻击行为,当新模型真的攻击过 Hugging Face 后,OpenAI 反过来却又说 "AI 已脱离控制 "。

" 模型太危险 " 背后的生意经

在 AI 安全叙事这件事上,Anthropic 是祖师爷。每次有新模型要出来,Anthropic 必配一篇 " 我们的模型有多危险 " 的论文或报告,安全人设拉满。

2026 年 5 月,Anthropic 在发布 Claude Mythos 之前,私下向多国发出警告,说其下一代模型可能具备大规模网络攻击能力。

这个套路的核心逻辑,是把 " 危险 " 和 " 强大 " 画上等号。模型越危险,说明它越强大;越强大,说明技术越领先;越领先,就越值得投资、越应该被信任来 " 自我治理 "。

安全叙事变成了能力证明,能力证明变成了商业护城河。

OpenAI 这次的剧本,可能正是有意复刻 Anthropic 的叙事。

准哥表示,现在像 ExploitGym 这样的 benchmark 并不是少数,而且大家的做法也都类似,甚至有可能是 OpenAI 故意提高了预算,来让新模型去完成任务。

7 月 21 日,OpenAI 发布了一篇公告,标题叫 "OpenAI 与 Hugging Face 合作应对模型评估期间的安全事件 "。

正文里,OpenAI 反复强调这是一起 " 前所未有的网络事件 ",涉及 " 最先进的网络能力 ",模型的攻击路径 " 超出了预期 "。将自己的一系列违规操作,美化成了模型过于强大的叙事。

事实上,就在 7 月 24 日,微软、英伟达、OpenAI 等 25 家企业联名签署公开信《开放权重与美国 AI 领导力》,呼吁政府不要限制开放权重模型。

Hugging Face 恰恰是全球最大的开源模型托管平台。OpenAI 的模型攻破了 Hugging Face,这件事正好可以拿来当论据,连最大的开源平台都扛不住,开放权重模型是不是该管管了?

与此同时,这种安全叙事也是为了 IPO。

2026 年 6 月 8 日,OpenAI 向美国 SEC 秘密提交了 S-1 注册声明,正式启动 IPO 进程。高盛和摩根士丹利担任主承销商,摩根大通也参与其中。

2025 年 10 月的一轮员工股交易中,OpenAI 估值约为 5000 亿美元;到 2026 年 3 月的一轮融资,估值已经飙到 8520 亿美元。

外媒预测,IPO 时的目标估值可能冲到 1 万亿美元。并且,OpenAI 在 2025 年的营收约为 200 亿美元,2026 年 Q1 营收约 57 亿美元,年化增速超过 3 倍。

不过估值不是凭空来的,要让资本市场相信一家公司值 1 万亿,就得讲一个足够大的故事。

在发布《开放权重与美国 AI 领导力》后,奥特曼还参加了 AI Summit,和韩国总统李坐在同一个圆桌上,探讨 AI 对社会的影响。

说不定在奥特曼眼里,OpenAI 的市值要冲破 1 万亿美元。

那这么看来, 克莱芒管 OpenAI 要 1 亿美元,一点也不多。

觉得文章不错,微信扫描分享好友

扫码分享

热门推荐

查看更多内容

企业资讯

查看更多内容