关于ZAKER Skills 合作
财联社-深度 14分钟前

OpenAI 即将发布“最强模型”:首款突破网络安全关键阈值,但能力料受到限制

财联社 9 月 2 日讯(编辑 黄君芝)OpenAI 周二表示,其即将推出的下一代人工智能模型 Astra,是首款突破其 " 关键 " 网络安全能力阈值的产品。

该公司表示,Astra 能够发现此前未知的安全漏洞,并在无需人类指导的情况下加以利用,这意味着该模型属于其所谓的 " 准备框架 " 中最先进的类别。OpenAI 表示,仍计划 " 尽快 " 发布 Astra,但其网络安全功能的访问权限将受到更多限制。

OpenA 于 2023 年推出了其 " 准备框架 ",作为其 " 跟踪和应对可能带来严重危害新风险的先进 AI 能力 " 的方法。在去年对该框架的更新中,公司界定了 " 高 " 能力阈值(模型可能放大现有的严重危害途径)和 " 关键 " 能力阈值(模型可能引入前所未有的严重危害新途径)。

OpenAI 周二在一篇博客文章中进一步表示,将 " 很快 " 发布这款人工智能模型,但并未透露具体时间。文章还指出,该模型最初执行高级网络安全相关任务的能力将仅限于部分测试人员。之后,该公司将通过其 Daybreak Blue 计划,向更多用户开放访问权限,用于防御性网络安全工作。

Daybreak Blue 计划允许经批准的测试人员使用其功能最强大的模型,并配合专为网络安全工作设计的安全措施。

该公司曾在 8 月份表示,由于发现 Astra 模型在网络安全任务方面具有显著能力,因此暂停了 Astra 模型的一些内部研发工作,以便增添更严格的安全措施。

据业内人士此前透露,Astra 被 OpenAI 定位于下一个主要人工智能模型,不仅网络安全方面相当出色,其可以支持多个智能体长期协同工作以解决复杂问题,例如可以调度多个智能体协同完成数学证明;还能直接操控桌面软件,处理 PPT 制作、财务审核、杂乱数据集分析等复杂工作。

加强安全防护,防止被滥用

周二,OpenAI 表示,他们认为该模型已达到 " 关键网络安全阈值 ",这意味着它能够在无需人工干预的情况下识别和开发 " 零日漏洞 "。该公司表示,已加强 Astra 模型的安全防护措施,以防止其被滥用,尤其是在网络安全相关活动中。

这些安全措施包括监控大模型在内部部署期间是否存在未经授权的行为,并自动停止潜在的未经授权的活动。

" 我们将在发布时的模型系统卡中分享更多关于安全、安保和对齐测试及评估的细节," 该公司补充道。

8 月下旬,OpenAI 发布报告称,本可以更早采取行动,阻止其人工智能模型在 7 月份对 Hugging Face Inc. 发起的一次意外攻击。这起 " 史无前例 " 的事件,以及近期发生的其他几起网络安全漏洞事件,引发了人们对人工智能失控的担忧。这也促使一些科技界和政府领导人再次呼吁限制这项技术。

尽管 Astra 模型并未参与 Hugging Face 事件,该公司仍决定推迟 Astra 的部分开发。OpenAI 周二表示,该公司利用从该事件中学到的经验,为该模型添加了更强大的防护措施,以训练它拒绝回应 " 有害的网络请求 "。

在加强和测试了各项保护措施后,该公司认为 Astra 模型的安全保障措施 " 已充分降低了在我们准备框架下发布可能带来的严重危害风险 "。

觉得文章不错,微信扫描分享好友

扫码分享

热门推荐

查看更多内容

企业资讯

查看更多内容