关于ZAKER Skills GEO服务 合作
全天候科技 10小时前

英伟达联手 Anthropic 发布 AI Agent 安全工具,称可阻止 Hugging Face 式攻击

英伟达正将 AI Agent 安全推向基础设施层。

周一,英伟达推出 Open Agent Safety Platform,通过开源软件与专用硬件构建多层安全机制,限制 AI Agent 的权限和行为,Anthropic 则与英伟达合作,将 Claude Managed Agents 接入相关安全体系。

此次合作的核心是 OpenShell 和 Claude Managed Agents。英伟达提供开源 OpenShell 运行时软件,为 AI Agent 设置默认受限的执行环境;Anthropic 则提供 Claude Managed Agents,并通过凭证保险库等机制管理 Agent 权限。

双方希望在企业部署 AI Agent 时,进一步控制其能够访问的数据、工具、网络和系统资源。

英伟达还推出运行在 BlueField-4 DPU 上的 Sentry 安全层,可以独立于 Agent 运行环境持续监控其行为,并在发现越权操作时进行隔离。英伟达称,Sentry 能够在毫秒级阻断可疑 Agent 活动。

英伟达称此次推出的安全软件可能阻止近期发生的一起 Hugging Face 相关事件。英伟达方面表示,如果当时使用相关技术,根据公司目前掌握的信息,该平台可能阻止相关事件。

英伟达为 AI Agent 加上 " 安全围栏 "

Open Agent Safety Platform 主要由 OpenShell 和 Sentry 两层组成。

其中,OpenShell 是一套开源 Agent 运行时软件,通过沙箱和权限策略限制 Agent 的活动范围。英伟达表示,该系统可以控制 Agent 对文件、网络、进程、工具和凭证等资源的访问,并默认阻止未经授权的操作。

Sentry 则将安全控制进一步延伸至硬件层。该系统运行在英伟达 BlueField-4 DPU 上,与运行 AI Agent 的主机环境相对独立,可以持续检查 Agent 的请求和响应,并对数据、工具、API 和服务进行访问控制。

英伟达表示,如果 Agent 试图突破既定的软件边界,Sentry 可以对其进行隔离。相比单纯依赖模型自身遵守安全规则,这一架构增加了额外的运行时和硬件防护层。

Anthropic 将 Claude 接入

Anthropic 此次参与的重点是 Claude Managed Agents。

Claude Managed Agents 能够将 Agent 运行循环放置在独立服务器上,并与执行具体任务的沙箱环境分开。在此基础上,该服务与 OpenShell 及 BlueField 进行整合,为企业提供更细致的 Agent 权限控制。

Notion、Rakuten 和 Asana 等企业已经在生产环境中使用 Claude Managed Agents。

这意味着,企业部署 Claude 等 AI Agent 时,可以在模型之外增加一套独立的安全控制机制。Agent 可以继续自主执行任务,但其能够访问哪些资源、使用哪些工具,以及出现异常时是否继续运行,都可以通过额外的软件和硬件层进行限制。

英伟达瞄准 AI Agent 安全需求

此次发布也发生在 AI Agent 安全问题受到更多关注之际。

英伟达创始人兼 CEO 黄仁勋表示,随着 AI 能力不断发展,AI 安全能力也需要同步推进,并称 AI 安全需要 " 全栈工程 "。

英伟达此次并没有把安全能力局限于某一个 AI 模型,而是将其延伸到 Agent 运行时、服务器以及网络和计算基础设施。对于企业而言,这意味着 AI Agent 的安全边界可以从模型本身进一步扩展至执行环境。

目前,超过 100 家机构参与相关技术。除 Anthropic 外,英伟达还披露,SpaceXAI 正在将相关平台用于 Cursor coding agents 和 Grok 模型,Salesforce 和 SAP 也在推进 OpenShell 相关整合。

随着 AI Agent 从聊天工具逐步转向能够调用工具、访问数据并自主执行任务的企业软件,围绕 Agent 权限、隔离和实时监控的基础设施需求也在扩大。

英伟达此次推出开放式安全平台,并与 Anthropic 等 AI 厂商展开合作,正试图将这类安全能力纳入 AI 基础设施体系。

全天候科技

全天候科技

提供专业快速完整的科技商业资讯

订阅

觉得文章不错,微信扫描分享好友

扫码分享

热门推荐

查看更多内容

企业资讯

查看更多内容