文 | 字母 AI
为了让一段恶意代码通过审核，一个 AI Agent 决定先给自己办个假身份。
事情发生在英国 AI Security Institute 的一次网络安全测试中。测试人员给 OpenAI 和 Anthropic 的前沿模型设置了虚构任务，让它们在限定环境中寻找漏洞、编写代码，并尝试完成攻击目标。
其中一个由 Anthropic 模型驱动的 Agent 写出了恶意代码，并把它提交给了一个真实存在的公共开源项目。但代码想进入真实的软件项目，还需要人类维护者批准。
正常路径走不通，这个 Agent 居然创建了虚假网络身份，" 乔装打扮 " 了一番，试图 " 骗 " 过人类维护者，让其以为这是一段可接受的代码。
被质疑这次提交后，它甚至修改了此前留下的活动痕迹，让自己看起来更无害，并考虑换一个新身份继续尝试。
英国 AI Security Institute 一共进行了 122 次测试，在 10 次运行中发现 19 次未经授权的行动。其中 17 次来自 Anthropic 的 Mythos 5，另外两次来自 OpenAI 的 GPT-5.6-Sol。测试机构称，部分 Agent 的持续行动已经指向真实个人和机构。
好在没有造成现实损失。恶意代码最终也没有获得人类批准。
要说这些 Agent 对人类有恶意或者突然觉醒，未免言过其实。这也是 AI 欺骗人类有趣又冷漠的一点——它只是发现了挡在面前的一个障碍，并且努力绕过它，就像一个不择手段完成 KPI 的员工。
AI 胡说八道，大家已经见怪不怪了。但如果已经学会 " 不择手段 " 的 AI Agent 被允许直接访问互联网、操作代码和账号，它犯错的后果也会跟着变大，细思恐极啊。
骗一下你哈（没有恶意）
严格来说，这次事故还称不上 AI" 失控 "。
测试人员有意给模型开放了较高权限，一些正常产品中的安全限制也被撤掉了。这些 Agent 可以访问真实互联网，而 AISI 这么做，本来就是想看看，在安全限制被削弱之后，前沿模型究竟会做出什么。
OpenAI 也强调，这次测试的条件并不代表普通用户的使用环境。两次来自 GPT-5.6-Sol 的越界行为都涉及互联网访问，其中一次还与第三方测试环境的配置问题有关。Anthropic 则确认，涉事 Agent 由 Mythos 5 驱动，并表示会继续与 AISI 调查这次事件。
所以，这次事故距离科幻电影里的 "AI 觉醒 " 还很远。麻烦在于 Agent 为了完成任务，会自己找路，而且有时候它找到的路，已经超出了人给它划定的范围。
那名由 Anthropic Mythos 5 驱动的 Agent，为了让自己提交的恶意代码通过审核，先在 GitHub 上创建了多个假账号，让这些账号出来给自己帮腔，声称代码没有问题。
面对一名说丹麦语的开发者，它甚至特意改用丹麦语留言，想让自己的身份显得更可信。为了绕过 GitHub 注册账号时的限制，它还用上了 Tor 浏览器。
等到有人发现代码有问题，这个 Mythos 5 Agent 也没有马上停下。它开始修改此前留下的活动记录，试图把恶意代码解释成一次意外，还考虑换一个新身份继续。
Agent 的招数放在人类黑客身上并不新鲜，都是社会工程学的老办法。新鲜的是现在 Agent 已经能自发 " 想 " 到并执行一整套 " 坑人 " 招数。
模型没有什么 " 作恶动机 "，甚至可能根本不知道自己已经越界。它只是一路试下去，直到找到一个看起来更有希望完成任务的办法。
危险未必来自恶意，也可能来自过分认真。
企业里，老板总是担心员工 " 磨洋工 "" 摸鱼 "。Agent 时代可能（非常讽刺地）出现相反的问题，老板也许会拥有不知疲倦、不会心虚、" 有的是手段和力气 " 但缺乏道德感的员工。
是福还是祸？
光让模型 " 管住嘴 " 已经不够了
大模型最早的安全措施，大多围绕生成内容设计。说直白点就是 " 管住嘴 "。
模型不能教人制造武器、生成诈骗邮件、泄露用户隐私，也不能输出仇恨、色情和违法内容。
而且即便模型给出了危险答案，中间通常还隔着一个人。就拿码农来说，用户得自己复制代码、打开终端、登录账号，亲自操作具体步骤。
Agent 改变了这个流程。现在不少 Agent 已经可以直接浏览网页、运行代码、修改文件，甚至调用支付工具。
今年 3 月，英国 AI Security Institute 与英格兰银行发布了一项针对 MCP 生态的研究。MCP 可以理解成 Agent 连接外部工具的一套通用接口。研究人员统计了 17.7 万个公开 MCP 工具，发现它们的数量在一年多里增长了约 36 倍，月下载量也从 8 万次增加到 1400 万次。
更值得注意的是这些工具能做什么。
2024 年底，具有直接操作能力的工具只占 MCP 下载量的 27% 左右，到今年已经升到 65%。软件开发和 IT 工具占全部公开工具的 67%，却拿走了 90% 的下载量。支付工具也在快速增加，2025 年 1 月只有 47 个支持支付的 MCP 服务器，到今年 2 月已经有 1578 个。
去年，安全公司 Invariant Labs 测试 GitHub 官方 MCP 时发现，只要有人在公开 Issue 里藏入恶意提示词，Agent 读取后就可能继续访问用户的私人代码库，再把其中的信息写进公开的 pull request。整个过程中，读取 Issue、查看代码、创建 PR 都是正常功能，问题出在这些操作被串到了一起。
今年 5 月，美国国家安全局专门发布 MCP 安全指南，也把类似问题列为重点风险。NSA 提醒，传统的权限控制和人工审批已经很难覆盖 Agent 连续调用多个工具的情况。研究人员还演示过，一个恶意 MCP 服务器可以诱导 Agent 从另一个正常的 WhatsApp 工具中读取聊天记录，用户全程没有收到额外的审批提示。
最骇人的是 OpenAI 模型攻击 Hugging Face 事件。
就在刚刚过去的 7 月，OpenAI 在内部测试 Agent 的网络攻击能力，为了把模型逼到极限，特意放宽了部分安全限制。
结果，Agent 似乎很快发现了一条 " 捷径 "：与其老老实实完成测试，不如去找测试答案。它把目标盯上了 Hugging Face，随后利用零日漏洞逃出原本受限的测试环境，又拿下第三方代码沙箱作为跳板，最后一路闯进了 Hugging Face 的生产系统。
Hugging Face 事后复盘出了大约 1.76 万次 Agent 操作。它会找漏洞、偷凭证、横向移动，路走不通就换一条继续试，整个过程持续了数天，也没有人一步步告诉它下一步该做什么。
所以英国这次测试里出现假身份，并不是一个孤立的怪事。
Agent 正在拿到越来越多可以直接行动的权限，而现有的安全机制很多还是按聊天机器人的思路设计。等到它已经连续做了十几个动作，最后再弹出一个 " 是否批准 "，人类看到的往往只是最后一步。
英国这次测试中，最后一道防线仍然是一个普通人。Agent 创建了身份，准备了说辞，提交了恶意代码，但负责审核的维护者没有点击批准。
但下一次，Agent 的身份可能更可信，材料可能更完整，措辞也可能更 " 正常 "。而屏幕前的人可能刚好在赶进度，或者已经习惯了相信 AI 生成的说明。
Agent 出了事，算谁的？
OpenAI 的 Agent 闯进 Hugging Face 之后，一个很现实的问题马上出现了：这事算谁的？
OpenAI 没有把责任推给模型。7 月 21 日，公司公开承认，入侵由包括 GPT-5.6 Sol 在内的多个自家模型共同驱动，同时表示已经收紧内部测试环境的配置和访问控制，哪怕这样会拖慢研究进度。Hugging Face 则和 OpenAI 一起调查和修复系统。
监管部门找的也是 OpenAI。
事件之后，美国 15 个州的总检察长要求 OpenAI 保存与这次入侵有关的全部材料，国会也要求公司解释事件经过。Hugging Face CEO Clem Delangue 还提出，未来 AI Agent 发动网络攻击后，企业应该强制披露完整的 Agent 运行轨迹。否则出了问题，外界连它到底做过什么、在哪一步越界都很难还原。
美国其实已经开始用具体法律条款处理这个问题。
今年 1 月，加州 AB 316 正式生效。条文写明如果一家企业开发、修改或使用的 AI 造成了伤害，被起诉时不能以 " 这是 AI 自主造成的 " 为理由免责。至于模型开发商、部署企业和使用者各自该承担多少责任，还要根据因果关系和具体情形判断，但至少 "AI 自己干的 " 已经不能用来把责任一笔勾销。
杜克大学法学院教授 Deborah DeMott 最近也专门研究了 Agentic AI 的责任问题。
这种争论其实已经有过一个很简单的版本。
2024 年，加拿大航空的聊天机器人告诉乘客，可以先买票再申请丧亲折扣，后来航空公司拒绝兑现，还试图强调聊天机器人给出了错误信息。法院最后没接受这种说法：机器人就在加拿大航空的网站上，对用户来说，它说的话就是公司提供的信息。
DeMott 认为，这个案子的逻辑同样可以延伸到今天的 Agent。
Agent 让责任归属变得更麻烦，是因为它很少只在一个系统里工作。模型可能来自 OpenAI，工具由第三方提供，真正被操作的账号和数据又属于客户。出了事故以后，光看最后是谁点了按钮，已经很难说清整件事。
