关于ZAKER Skills GEO服务 合作
钛媒体 16分钟前

管住 AI,成了一门新生意

文 | 定焦 One(dingjiaoone),作者 | 李梦冉,编辑 | 魏佳

AI 越来越能干,也越来越容易 " 闯祸 "。

7 月,OpenAI 在内部网络安全能力测试中发生了一次罕见事故。OpenAI 随后披露,一款内部研究模型和 GPT-5.6 Sol 在降低安全限制的测试环境下绕过隔离措施,获得互联网访问权限,并进一步入侵 Hugging Face 系统。部分 Agent 在数十台服务器上执行代码,其中一台服务器被获取 root 权限。

几天后,英国人工智能安全研究所(AISI)在受控测试中发现,Anthropic 和 OpenAI 的 Agent 出现了多次未授权行为;122 次测试中有 10 次出现共 19 项未授权行为,其中 Anthropic Agent 占 17 项,包括创建虚假网络身份、生成旨在诱骗人类批准的恶意代码等。

失控、瘫痪、劫持事件接连发生,AI 事故开始密集进入公众视野。

过去的 Chatbot 即便犯错,最常见的后果不过是 " 说错话 "。但进入 Agent 时代,AI 开始连接邮箱、代码库、数据库和各种企业软件,甚至能够自主调用工具、执行任务,如何 " 管住 AI" 也开始成为一门生意。

前不久,黄仁勋在旧金山举行的高盛 Communacopia+ 科技大会上表示:" 网络安全很可能成为 AI 下一个重要的应用场景。"Gartner 预计,全球 "Securing AI" 市场规模将从 2026 年的 28.35 亿美元增至 2027 年的 47.83 亿美元,同比增长 68.7%,2028 年进一步接近 77 亿美元。IDC 预测,中国人工智能安全收入的市场规模 2030 年预计达到 340.3 亿元人民币,2025-2030 年复合增速 50.5%。

模型厂商自身也开始建立更制度化的事故披露机制。9 月 16 日,OpenAI 首次推出模型 " 对齐失效 " 报告框架,希望将过去相对零散的安全事件披露,变成持续的跟踪、调查和公开机制,并提出未来与行业、标准机构和监管部门共同探索更统一的披露标准。

海外已经出现一批专门围绕 AI Security 创业的公司,从给大模型做安全评测、寻找漏洞,到给 Agent 加上权限控制、运行监控和安全防护,资本也开始涌入这一赛道。与此同时,大型科技和安全公司也开始通过投资、收购等方式提前卡位。但在中国情况有所不同,大模型和 Agent 创业潮已经持续数年,真正以 "AI 安全 " 为核心业务的创业公司仍不算多。

市场上没人会怀疑 AI 安全的重要性,现实情况是,风险客观存在,钱却还没完全来。这种落差背后,是技术、市场、资本和监管的多重博弈。

01.AI 越能干,越需要 " 上锁 "

AI 安全并不是一个新问题,但 Agent 正在改变这道题的难度。

2022 年底 ChatGPT 横空出世,在最初的一两年里,人们对 AI 安全的认知,基本停留在 " 别让 AI 乱说话 "。

早期大模型的风险虽然不少,但大多集中在输出端,包含如幻觉(模型一本正经地胡说八道)、违法违规内容(生成暴力、色情或歧视性信息)、越狱(用户通过精心设计的提示词绕过模型的安全护栏)、隐私泄露(训练数据或用户输入中的敏感信息被模型意外输出)等。这些风险的核心特征类似,模型只输出信息,不执行操作。

但 Agent 的出现改变了这一点。

当 AI 从聊天框走出来,开始接入企业内部的数据库、邮箱、代码库和各种软件,它面对的不再只是 " 什么能说、什么不能说 ",还有 " 什么能看、什么能改、什么能做 "。

其中最关键的变量是权限。AI 安全初创公司红豆叶科技创始人刘雁向「定焦 One」表示,现阶段企业对 AI 安全比较敏感的问题之一就是数据泄露。Agent 权限一旦开放过高,就可能接触甚至带走企业内部数据,而相关防护目前仍不完善。

而且,风险不一定来自 AI 主动作恶。Agent 工程师蒋工告诉「定焦 One」,在实际开发中,模型偶尔会出现删除文件、数据库等情况。现阶段,这类问题通常可以通过权限控制、数据恢复等工程方式兜底,但如果未来 AI 获得更高权限,能够操作支付、交易等系统,同样一次误操作的代价可能完全不同。

如果把一套 AI 安全系统拆开看,它做的事情大致可以理解为给 AI 设置四道关卡。

第一道是 " 体检 ",在模型或 Agent 正式投入使用之前,通过安全评测、红队测试等方式寻找漏洞;第二道是 " 安检 ",AI 运行起来后,对它接收和输出的信息进行实时检查,尽量在风险进入企业系统之前把它拦下来。

第三道也是 Agent 时代越来越重要的一道:" 上锁 "。企业需要回答,这个 Agent 是谁?它可以读取哪些文件?可以调用哪些 API?能不能修改数据库?哪些操作可以自主完成,哪些必须经过人的确认?比如,AI 可以帮用户完成下单等任务,但到了支付、输入密码等关键环节,最终确认仍应该交还给人。

最后一道则是 " 监控 "。如果 AI 真的做错了事,企业至少需要知道它访问了什么数据、调用了什么工具、执行了哪些操作,并在异常出现时及时预警、阻断和追溯。刘雁介绍,红豆叶正在开发的 AIS 二级安全监管系统,就是希望在系统运行超过设定阈值时进行预警。

从 Chatbot 时代到现在的 Agent 时代,AI 能干的活儿越来越多,相应的,一次错误能够造成的损失也就越高,一条围绕 AI 的新安全链条也由此出现。

02. 三类玩家,各有优劣

AI 安全的生意,已经有人先跑起来了。

8 月,AI 安全公司 Obsidian Security 完成 8500 万美元 D 轮融资,估值达到 11 亿美元,这家公司正在做的事情之一,就是监控进入企业软件的 AI Agent,防止其不当访问源代码、客户记录等敏感数据;9 月初,美国 AI 安全公司 HiddenLayer 宣布完成 1 亿美元 B 轮融资,投资方包括摩根士丹利、微软旗下 M12 等机构,该公司重点投入的方向之一,就是 Agent 运行时的安全。

更能说明变化的是收入。HiddenLayer 联合创始人兼 CEO Chris Sestito 透露,过去一年公司年度经常性收入(ARR)增长超过 10 倍,达到数千万美元量级,超过九成增长来自新客户。金融服务和大型科技公司是其主要客户。

到了国内,这门生意虽然还未达到这个热度,但玩家也不算少,大致可以分成三类:

第一类是模型厂商,如阿里、百度、字节、腾讯、DeepSeek。

蒋工称,模型厂商会做安全,但首先服务于自身模型和产品,而不是独立对外出售的第三方安全产品。他解释,对任何一个场景加安全限制," 都有可能导致其他的功能发生退化 ",所以模型厂商在加安全场景时要很谨慎。

这个逻辑其实不难理解,模型厂商的核心商业模式还是卖模型能力,API 调用、云服务、行业解决方案。如果模型动不动就输出违规内容、被用户轻易越狱,客户肯定不敢用。所以模型厂商会做内容审核、拒答机制、对齐微调,但这些是产品的底线要求,不是独立的生意。

刘雁对此有一个判断:模型厂商自己开发的安全能力,只能适用于自己开发的层面,比如豆包的安全能力只保护豆包,DeepSeek 的安全能力只保护 DeepSeek。企业如果用多个模型、或者自研模型,模型厂商自带的安全能力就覆盖不了了。

这恰恰为第三方安全公司留出了空间。

第二类是传统安全公司,如 360、奇安信、深信服、天融信等。这些企业在传统网络安全时代就已经是头部玩家,它们手握政企客户的安全预算,有成熟的销售渠道和客户关系。AI 兴起后,它们也开始把原来的安全能力向大模型和 Agent 延伸。

这背后不只有技术迭代,也有寻找新增量的现实压力。IDC 预计,中国网络安全市场 2024-2029 年复合增长率约 8.9%,而 AI 安全未来五年这个数字约 50.5%,传统网络安全市场已经告别过去的高速增长。2026 年上半年奇安信营收 15 亿,同比下降 14%,上半年净亏损为 4.11 亿,虽然亏损同比大幅收窄,但主要是因为非经营因素。

实现盈利的网安公司数量寥寥,深信服上半年营收 39.98 亿元,同比增长 32.85%;归母净利润 2.31 亿元,上年同期亏损 2.28 亿元,实现扭亏。细看财报,其云计算及 AI 基础设施收入 22.12 亿元,同比大增 58.60%,占总营收的 55.34%,超越网络安全成为第一大收入来源,传统网安厂商正在寻找网络安全之外的新增长点。

钱流向哪里,安全厂商也在往哪里走。比如 360 以前主要做 PC 终端安全防护,现在也做模型的安全,360 发布的 "360 大模型安全卫士 ",就是基于 " 安全 +AI" 推出的产品。还有奇安信,其 2026 年推出的 Agent 安全平台,把保护对象从传统网络、终端进一步延伸至 Agent 运行过程。因此,对传统网安公司来说,AI 安全既是一场防守战,也是一场增量争夺战。

但刘雁指出了它们的短板,这类公司的业务主要在防火墙、IDS、防止数据泄露方面,对 AI 原生风险的理解,没有专门做 AI 原生安全的公司敏感。传统安全公司的技术基因是边界防御,防外部攻击、防数据泄露。而 AI 安全的核心风险是内生的,模型本身可能被诱导、Agent 可能越权、权限可能被绕过。这是两套完全不同的技术逻辑。

蒋工也认为,传统安全公司在应用层做 AI 安全有优势,但在模型层,如后训练阶段的安全对齐、防越狱、防提示词注入,它们的技术积累并不比创业公司强多少。

第三类玩家则是 AI 原生安全公司。国内已经出现瑞莱智慧等较早布局 AI 安全的公司,完成数千万元 Pre-A 轮融资、聚焦 " 认知安全 " 的缔零科技,完成近千万元种子轮融资的 "AI 智能体安全服务公司 " 信流智能等。

相比模型厂商和传统网安巨头,它们最大的特点是没有历史包袱,可以围绕 AI 新出现的问题重新设计产品。但反过来,模型厂商可以不断把安全能力内置进模型,传统网安公司则掌握着现成的企业客户和安全预算入口,创业公司既缺少资源,也缺少渠道。

刘雁作为一名创业者,对此并不避讳,她认为,小公司很难与模型大厂正面竞争,真正能做的是找到大公司暂时没有覆盖、或者自己做成本过高的能力,再以合作的方式进入它们的产品体系。

以刘雁的公司为例,目前还在项目开发阶段,但在大厂和老牌公司夹击下探索出一套生存策略:专利布局。她告诉「定焦 One」,他们想在大公司还没重视这一块时提前布局," 不管是以后大公司小公司,如果要设计 AI 安全相关的应用,应该都绕不过这套专利系统,而大厂相比自研,最直接、更省心的就是和有专利的公司合作 "。不过相关技术壁垒能否真正转化为商业优势,还有待市场验证。

03. 需求还没变成生意,AI 安全在等什么?

卖方加速入局,那买方呢?

现阶段,这门生意并没有脱离 To B 软件的基本逻辑。

目前最直接的变现路径就是做项目。企业有模型、数据或者 Agent 安全需求,安全公司提供评测、部署、咨询和定制化服务,按照项目收费。这种方式门槛相对低,也最容易在行业早期落地,但高度依赖人力,很难快速复制。

第二种是卖软件和安全能力。企业通过私有化部署、软件授权等方式,把第三方安全产品接入自己的 AI 系统;对于有研发能力的大公司,也可以直接采购第三方技术,再自行开发和集成。

更理想的模式,是把安全能力做成 API。

刘雁告诉「定焦 One」,这种商业模式包括定制化服务、API 调用以及技术授权等。她更看好 API 模式的规模化潜力,就像今天开发者调用 DeepSeek、豆包等大模型一样,未来企业也可以直接调用第三方公司的安全能力,让模型或 Agent 在执行任务时,多经过一道安全检查。

商业模式看起来并不复杂,但同样一门生意,在国内外所处的阶段并不相同。

这种差距不只来自技术,更与 AI 进入企业的深度有关。刘雁在与企业接触时感受到,目前国内 AI 安全仍处在非常早期的阶段。不少企业连 AI 本身都还没有真正部署到业务里,更谈不上单独拿出一笔 AI 安全预算。" 连 AI 落户都还没有做到的时候,怎么谈 AI 安全?" 她说。

这其实揭示了 AI 安全商业化面临的第一道门槛:AI 安全的渗透率,很难长期跑在 AI 应用的渗透率前面。

一家企业只有先把 AI 用起来,才会逐渐把数据库、内部文件、代码库等资源开放给 AI;只有 AI 真正拿到权限,数据泄露、越权操作等风险才会从纸面问题变成现实问题。到了这一步,企业才更有动力为安全买单。但即便 AI 已经进入业务,安全也未必会成为企业最先花钱的地方。

这种差距也体现在资本的态度上,蒋工称," 国内资本对应用层很狂热,因为应用的确有明确的变现路径,但模型安全不是。"

从两位业内人士的判断来看,改变这一局面的变量可能有两个。

一个是事故。蒋工将其类比为疾病预防:所有人都知道提前预防疾病很重要,但在真正生病之前,很少有人愿意持续投入大量成本。企业安全也是类似的逻辑,没有发生足够严重的事故之前,安全部门更多是一项成本,很难像能直接带来收入的业务一样获得资源倾斜。刘雁的判断与之相似。她认为,当 B 端企业真正意识到 AI 安全会影响自身业务时,付费意愿自然会提高。

另一个则是监管。刘雁用了一个充电宝的例子。过去充电宝可以直接带上飞机,后来随着安全标准完善,3C 认证逐渐成为一道强制门槛。她认为,如果未来 AI 应用、Agent 乃至具身智能设备也需要达到统一的安全标准,那么安全检测、咨询和防护就可能从企业的 " 可选项 " 变成 " 必选项 "。

这也是 AI 安全这门生意目前最微妙的地方:风险已经出现,产品已经有人做,商业模式也并不难理解,但真正大规模的付费需求还没有完全形成。

它需要等待 AI 进一步进入真实业务,也需要等待企业把更多数据和权限交给 Agent,更要等待安全需求真正变成一笔明确的企业预算。在这之前,玩家们需要做的,就是先卡好位置。

觉得文章不错,微信扫描分享好友

扫码分享

企业资讯

查看更多内容