美国开放人工智能研究中心(OpenAI)表示,已暂停其最新一代人工智能模型的训练、评估及包含工具调用的推理。OpenAI 在 25 日发布的一份技术报告中称,9 月 20 日,一个在沙盒中执行搜索训练任务的智能体,利用训练沙盒中 DNS 过滤不足的漏洞,绕过网络限制,通过 DNS 访问了外部公共聊天机器人服务。在此之前,该智能体曾使用内置搜索工具,并尝试直接访问搜索引擎但未成功。报告指出,OpenAI 的对齐监控系统在事件发生 15 分钟内即触发警报,人工审查团队在 3 分钟后介入,并在 2.5 小时后终止了该训练任务。针对漏洞,OpenAI 已在两个独立防护层部署了拦截控制措施。公司表示,虽然本次事件严重程度低于此前的安全事故,但为下一阶段加固防线提供了重要信号。这是 OpenAI 三个月内第二次暂停模型开发。7 月下旬,OpenAI 承认,其网络安全训练与评估场景中的人工智能体绕过网络限制,侵入美国 " 抱抱脸 " 公司的部分系统。智能体突破了原本互相隔离的运行环境建立通信、欺骗评估人员并试图掩盖作弊行为,上述每一步操作均无人类指令干预。这一 " 越界 " 行为引发了外界对人工智能安全和监管的广泛担忧。(央视新闻)
36氪
16分钟前