文|王欣逸
近日,元空智能,一支来自于北京大学科学智能学院的团队,发布了他们的端侧 AI 模型 Boxer,以及可断网使用的 AI 办公平台 " 元空 AI Work" 和科研 Agent" 元空 AI for Science"。9 月 3 日,元空智能端侧 AI 产品发布会在上海举办,元空智能 CEO 逄大嵬认为,云端大模型有一些绕不开的现实问题,如数据安全、Token 成本以及稳定性,想要解决这些问题,端侧是一个物理性的解决方案。
端侧智能,正在成为今年绕不开的话题,小模型的智能密度正在快速提升的同时,Agent Harness 的能力和应用也越来越走进日常工作,端侧芯片的算力还在持续增长。
积累了三年 Agent 经验后,元空智能决定逐渐转向端侧赛道。元空智能创立于 2023 年 2 月,从最初做 AI Excel 的办公工具、全链路的数据 Agent 平台,不断转向到做 Claw 产品,以及如今的 AI 办公平台、端侧智能与科研 Agent。
Boxer 是一个尺寸为 35B 的端侧模型,主要适用于办公场景,在公司自建 WorkArena 测评集中,Boxer-35B-A3B-v0-0819 在同尺寸模型中拿下了排名第一的成绩,展现出了其真实任务能力优势。据介绍,这一模型基于开源模型做后训练,其训练数据来自团队长期积累的 Agent Harness 产生的真实任务轨迹。具体来看,Boxer 在一台 40TOPS 算力的消费级 PC 上,可以实现每秒 700 Tokens 以上的预填充速度、每秒 30 Tokens 以上的解码速度,运行内存占用不到 8GB。
在活动现场,元空智能联创宁鲲鹏博士直接用惠普电脑跑了三个真实任务。在断网条件下,AI Work 调用本地模型,几分钟便可完成分类归档发票、排查金融行业交易流水数据异常等工作,在科研任务上也表现良好,能自动完成复杂实验、绘制图表、撰写论文等全流程。
在发布会上,元空智能还官宣了与惠普的合作。对于元空而言,这是把自己的技术能力叠加在惠普的硬件与商业化能力之上,把 AI Work 以及端侧模型预装在惠普 Z 系列机型上,做标准化交付、买断式的商业模式,应用侧的销售成本接近于零。" 未来每一台电脑都可能是 AI 电脑,端侧 AI 的需求,尤其是企业级端侧 AI 的需求,即将迎来爆发。" 中国惠普有限公司副总裁周信宏提到。
逄大嵬认为,目前的端侧市场是一个大厂暂时不会做的生意,但他也坦言,不存在某一种技术是大厂不具备的。元空智能的竞争优势在于,云端模型的商业模式让大厂暂时不会 All in 端侧,而让端侧跑起来的关键——端侧环境与数据闭环,恰恰是元空长期所积累的。
以下是 36 氪等媒体与元空智能 CEO 逄大嵬、中国惠普有限公司副总裁周信宏以及元空智能联合创始人姚佳雨、宁鲲鹏博士的部分交流实录,略经摘编:
Q:端侧 AI 和云端 AI 的市场都非常大,元空和惠普两边会怎么看端侧 AI 的市场?
逄大嵬:从市场规模来看,它正在处于快速上升中。首先是小尺寸模型能适配的范围越来越广,现有的端侧模型尺寸也正在逐步下探,从 35B 到 27B 乃至更小,能部署在本地的设备越来越多。
不仅如此,从硬件端来看,不管是新设备还是老设备,在本地部署 AI 的市场也正在爆发。中国每年新出货几千万台 PC、全球每年稳定出货 3 亿台电脑,这个市场是可以确定的。
周信宏:未来每一台电脑都会是 AI 电脑,可以预见的是,企业部署 AI 的开销,在未来两三年会翻倍。企业 AI 需求的爆发很强,但这一需求还没有走到端侧,AI 能办公,这是今年才开始的话题,目前基础设施、服务器、算力都已经到位了,接下来就可以落地实现了。特别是金融、药企、制造等数据合规要求高的行业,必须把数据和知识留在本地,这些赛道的爆发力极强。
Q:目前这类办公应用产品主流的商业模式是按 Token 收费,如何评价端侧这种买断、授权模式的商业模式?
逄大嵬:我们做标准化交付,商业模式包括本地授权收入以及端云混合模式中的云端 token 收入。跟硬件合作最大的好处是,我们只要把研发做好,在销售上跟着惠普走就可以了。
从全球化的进展来看,一方面我们做自己的线上平台出海,另一方面,和惠普合作,跟着惠普的海外推广渠道走。目前我们正在拓展新加坡、东南亚以及日韩市场。
Q:元空经历了多次业务转向,转型到端侧赛道后,你们给自己的定位是什么样的?
逄大嵬:第一,我们是一个端侧 AI 模型公司,做模型、Agent 以及硬件设备;第二,我们最初做了 ChatExcel,一个面向 C 端的 Chatbot 形式的办公产品,这是我们的基因。不跟硬件厂商合作,一个小团队很难做好模型自进化,这是小团队撬动大市场的关键。
Q:面壁智能已经和三星达成了合作,元空会考虑和手机厂商合作吗?
逄大嵬:至少这个阶段,我们选择一定是把端侧模型放到生产力交付的工具上,如 PC、工作站等,暂时先不进入手机场景。现阶段,手机厂商默认已经把小模型预装做掉了。我们并不把手机当成一个目标设备,而是更关注能真正联网干活、形成网络效应的设备,以及价值更高的场景。
Q:你们 35B 参数的模型是如何训练的?为什么不直接训垂直行业模型,而是训通用模型、搭载在垂直的 Harness 上?
宁鲲鹏:这一模型是基于千问模型,用我们 Agent Harness 产生的数据做后训练。从效果上来看,现在 35B 效果已比一年多前的 GPT-4o 的能力更强,智能密度很高。参考 DeepSeek V4 Flash,激活参数只有 13B,但它的能力已经足够强了。
姚佳雨:关于为什么不把行业数据直接训进模型,我们认为,真实工作环境需要模型、Agent 和设备三方协同。任务需要不断地记忆、反馈、实施操作,不是靠一个上下文或纯聊天能完成的。Harness 负责产生数据轨迹,它和模型必须一起训练,两者是分不开的。
Q:为什么现在的模型参数越来越大,但取得的增益却变小?
宁鲲鹏:目前,互联网数据已经几乎被吃完,找不到更多信息了。模型下一阶段训练所需要的高质量数据,如轨迹数据等都在真实使用的设备中。
现在很多大模型厂商推各种行业版解决方案,但企业很难用起来。一个现象是,数据配比做好后,小参数也能达到好效果;与此同时,参数量扩大 10 倍,也不再有 10 倍增益,小模型和大模型差距在缩小。
Q:端侧模型给用户,用户数据怎么回到元空训练?
宁鲲鹏:如果是完全本地交付的用户,在使用过程中产生的数据绝对不会回流;如果是企业场景,比如我们为企业进行服务的时候,企业可能授权我们去进行训练。
Q:如果大厂做端侧 AI,你们的竞争力和核心壁垒是什么?
逄大嵬:不存在某种技术是大厂不具备的,但每个团队有定位和商业模式,云端厂商的生意模式决定了它不会 All in 端侧。我们默认大厂都会做,但能不能做好、能不能深耕是另一回事,端侧需要原生端侧环境和数据闭环。
Q:惠普自己也在做全栈 AI,为什么选择和元空合作?
周信宏:AI 创业包括三个部分:数据、算法、算力。数据在客户手里,算法、模型在元空智能这类厂家手里,而惠普可以提供稳定的算力以及类似 FDE(前沿部署工程师)服务。
我们和元空已经合作两年,从 ChatExcel(元空 AI 的第一代办公产品)就开始。元空不只是在做 Harness 层,它有自己训练的模型、有通用的 Agent,还分行业,在金融、医药、科研都有对应的 Agent,这是元空与其他模型厂商的差异化优势。
Q:企业级端侧 AI 需求的引爆点大概什么情况下出现?
周信宏:先讲一个趋势,PC 成本从 2025 年开始上涨,还有厂商的服务器订单已经排到明年,涨价还会持续。价格一直往上走,就一定会撞上一个临界点:当厂商把大内存直接封进设备,一台带本地算力的设备,造价跟企业两三年烧云端的钱差不多了,这个临界点就触发了。
英伟达已经在做这件事,把大内存封进芯片中,提供足够强的本地算力。打个比方,把元空的产品放进去,装上模型,很多任务本地就搞定了,客户就不必再持续烧云端 API。这种产品一旦上市、用的人习以为常之后,硬件、软件、模型三条曲线聚到一起,临界点一触发是很自然的事。
Q:AI 浪潮对 PC 到底是正面还是负面?在 AI PC 上,联想、戴尔已经率先跑出趋势,惠普要怎么布局?
周信宏:从市场来看,700 美金以下的市场在萎缩,但 700 美金以上、带 GPU 算力的高单价 PC 是两位数正增长。我们自己的销售数据能看到:出货台数是下降的——因为单价变高了,同一个预算买到的台数自然变少;但营收是两位数正增长。低价市场已经不是我们的战场了,内存、SSD、CPU 都在涨,那个价位已经做不出产品。
联想、戴尔发力在服务器、数据中心、云端 AI,而惠普是纯端侧,直接进入端侧行业、科研和企业数据安全等市场,把跟元空 AI 结合的方案给到企业,让他们有更实际、能落地的选择,这与其他 PC 厂商的路径有所不同。