近一个多月以来，随着本地模型、小模型，尤其是个人智能体的涌现，再次引发了有关 AI 如何安全、靠谱地走入人们的电脑、手机等本地端侧设备中的讨论。
虽然不少声音都看好端侧 AI 未来将取代云端 AI 成为主流，但爆发时刻似乎屡屡 " 失约 "，如今，这一赛道究竟走到了哪一步？还面临哪些瓶颈？能否出现 " 杀手级 " 产品？又何时才能真正与云端 AI" 掰一掰手腕 " 呢？
10 月 14 日，在 " 从芯出发，向端而生 " 大模型赋能智能终端创新实践大会暨后摩智能生态合作伙伴大会上，全球人工智能创新治理中心副主任、资深研究员，复旦大学国际关系与公共事务学院副教授蒋昌建提示称，关注端侧 AI 的发展，需要理解其背后从云端到边端转移带来的算力下沉，以及权力、风险和责任分配的变化。
蒋昌建以近期备受关注的亚马逊封锁 Meta 个人智能体 Muse 为例，强调了端侧 AI 发展背后的技术权限、商业规则问题，并提出，形成开放公平的接口治理制度，实现安全、自主、公平与责任的统一，对端侧 AI 的发展尤其重要。
算力下沉也正在改变着芯片行业的格局。
后摩智能创始人、CEO 吴强介绍称，公司自 2020 年成立以来持续深耕存算一体、端侧算力，而过去一年来行业的变化尤为明显。他提到，Agent 的爆发让 Token 消耗提升 2 到 3 个数量级，而且这种趋势还在加速，这让计算效率变得更加重要，后摩智能的存算一体端侧芯片产品的市场表现也在快速提升，其 M50 芯片量产不到一年，已获得 150 多个产品定点，服务客户超过百家。
吴强还介绍称，在公司产品主要覆盖的四大场景中，目前起量最快的是 Agent Computer 和边缘服务器。谈及 AI PC，他看重的是 PC 市场数亿台存量所蕴含的机会：普通 PC 向 AI PC 的渗透需要一个过程，但未来的市场潜力更大。与此同时，具身智能场景也正在起量。
对于端侧 AI 的发展，吴强则强调了成本和生态的关键作用。他认为，如果能把 Token 的边际成本压到趋近于零，本地算力一次性投入后可以无限调用，将极大加快行业发展。他还表示，后摩智能也由此提出了 " 端侧免费 Token 工厂 " 的概念，希望成为端侧 AI 的算力底座，用更低的能耗生产更多智能。对于这一发展路径，吴强表示，现阶段，多数复杂场景的需求仍需由端边模型与云端协同满足，端侧芯片也在性能和经济性上快速进步。随着模型和芯片两端共同演进，他判断，未来 1-2 年左右可能达到临界点。
阿里云智能集团千问模型智能硬件行业总监徐超也在会上表示，端侧 AI 的发展关键是如何有效利用 NPU 算力与内存，把模型做小、智能密度做高。在他看来，到 2027 年年中，很可能用端侧模型就已经能解决大部分人的很多工作需求，届时 " 个人超级计算机 " 也很可能会变成标配。
值得注意的是，随着今年推理需求的爆发、Token 经济学成为 " 显学 "，Token/$ 与 Token/W 成为市场关注的焦点指标。在后摩智能联合创始人、产品副总裁信晓旭看来，前者关注的是单位成本所能获得的 Token 产出，后者关注的则是推理输出与功耗之间的关系。他介绍称，公司也在以此为目标布局技术和产品，核心是以 SRAM-CIM 为根技术，持续推进计算架构和封装技术创新，形成 2D CIM 与 3D CIM 两条技术路径，分别面向更大容量和更大带宽的需求。
信晓旭还尤其提到，在端侧模型、芯片、应用快速成熟过程中，今年 Agent 的爆火影响尤其大。" 现象级 Agent 平台的涌现，极大加速了端边 AI 创新和落地的进程。这个场景特别像当年移动互联网的起点。当时，正是 iOS、安卓系统平台的成熟，才有了智能手机应用的大规模爆发。" 在他看来，端侧 AI 也正在迎来类似的奇点时刻。
万格智元创始人、CEO 王冠博也表示，从渗透率来看，2023 年至今 AI 仍以指数级的规模在跃迁式增长，但目前确实已出现 " 算力下沉 " 的变化。他认为，这背后的核心是用户的选择，用户需要的不是最贵、最强的模型，而是能解决其需求的模型。而随着模型密度提升，端侧 AI 能解决的问题越来越多，AI 发展的范式也会从 " 依赖智能 " 走向 " 拥有智能 "，端侧最终会成为所有人使用 AI 的真正入口。
不过，在端侧 AI 的发展过程中，场景落地、部署门槛、商业模式等仍存在瓶颈。
罗格数据 CTO 刘学鹏提到，用户不会为 " 一公里外 " 的模型能力买单，只会为最后 100 米买单，端侧 AI 想跑通这最后 100 米，还需要迈过数据打通、交互嵌入工作流、概率模型稳定性三道门槛。不少行业人士也指出，端侧 AI 在安全、隐私、稳定、成本等方面都被寄予厚望，但目前的核心矛盾是场景不足、规模化落地不够，恰恰前述因素都需要在具体场景和落地实践中才能得到验证。而除了端侧各环节继续发展、落地外，产业的生态协同也被认为是赛道未来发展的关键所在。
吴强也强调，想打造端侧 AI 生态，就需要从单点合作走向系统化协同，将不同项目中积累的适配经验、开发工具和合作方案连接起来，降低门槛、缩短周期，加快端侧 AI 产品落地。
