文 | 硅基研究室，作者 | kiki
2024 年 3 月，英伟达创始人黄仁勋在 GTC 上率先提出了「超节点」这一概念，他在台上清晰展示了英伟达的 NVL72 系列如何将 36 个 Grace CPU 和 72 个 Blackwell GPU「装」进一个液冷机柜中。
和传统「8 卡一个服务器、一个服务器为一个节点」的不同，所谓的「超节点」是指通过高速互联技术，将大量 GPU、CPU 从过去「多台服务器」的协作整合为单个物理节点，也就是黄仁勋口中的「一台超级计算机」。
但彼时，皮衣老黄振臂高呼的「超节点」还未迅速成为一个风口，甚至 NVL72 系列还一度因为「散热问题」推迟交付，被不少媒体质疑又是画饼。
但后来巨头们用「千卡、万卡乃至百万卡 AI 集群」的实际行动，回应了对黄仁勋「超节点」的追捧。
有媒体后来报道，马斯克为了自家的 xAI 找黄仁勋加价插队下单 1600 台 GB200 NVL72 服务器机柜，甚至还和甲骨文董事长拉里 · 埃里森一起攒局，请黄仁勋吃饭。
两年之后，深谙饭桌礼仪的黄仁勋才悠悠辟谣：" 确实一起吃了饭，气氛也很好，但他们从来没有求过 GPU，只需要正常下单就行。"
黄仁勋说的确实也对，因为巨头们现在确实求的不是 GPU，而是装着芯片的 AI 机柜。
今年 7 月，英伟达硬件工程高级副总裁 Andrew Bell 向外界透露一组数据，通过和十家制造伙伴的合作，最终能做到每天产出最高 1000 个 Vera Rubin 机柜。
大洋彼岸外的中国，距离皮衣老黄提出「超节点」的一年后，华为反手端出了自家的超节点 CloudMatrix 384 —— 14 个机柜连接 384 张卡，卡是 NVL72 的 5 倍多，占地面积是其 16 倍。
关键这种以量取胜的方式，还能弯道超车。
据 Semianalysis 的拆解，单个 CloudMatrix 384 集群 BF16 性能总体是 NVL72 的 1.7 倍，总内存容量是 NVL72 的 3.6 倍，总内存带宽为后者 2.1 倍。
华为点起来的这把「超节点火」，随后一年多里，被整个国产算力生态捧为圣杯，仅在刚刚过去的 WAIC 上，就有 20 多家企业发布了超节点相关方案。
超节点当然是一门被逼出来的创新。一头是摩尔定律逼近极限锁死单颗芯片的性能上限，另一头大模型参数竞争没有停止，持续推高算力需求，因此它是兵家必争之地。
但超节点又是一块诱人的蛋糕。就像从卖芯片到卖机柜的黄仁勋所反复说的，英伟达不是卖芯片，它是造超级计算机、开 AI 工厂的，从芯片、互联、软件、存储和工程部署，围绕「超节点」上下游每个环节皆有利可图。
1、被逼出来的创新
说超节点是一门被逼出来的创新，这点并不为过。
在杨植麟和月之暗面用近 3 万亿参数的 Kimi K3 掀翻硅谷模型生态的同时，很少有人注意到，另一边的阿里云悄悄在微信公众号上认领了 K3，表示阿里云灵骏真武 M890 超节点在 Day0 就适配了 Kimi K3。
按照阿里云的表述，Kimi K3 部署在了 64 张平头哥真武 M890 组成的超节点上。
为什么这么需要超节点？
Kimi 后来在其 47 页的技术报告其实回应了一个关键：过去从学术界到业界一直讨论大模型 Scaling 有没有饱和，兜兜转转 Kimi 用实际行动告诉你，不仅没有消失，而且你部署前、部署后都要投算力。
Kimi 给同行们总结了大模 Scaling 的两条路：第一条路，部署前投算力，预训练阶段，更大的参数规模、更多的数据量，模型越智能；
第二条路是，部署后继续投算力，在后训练和推理阶段，推理优化、强化学习、Agent 长程执行，对算力需求持续增长，更多的算力投入，模型的深度思考能力才越强。
换言之，尽管各家都在各出技术奇招、相互致敬，来提升模型 scaling 效率，但前提共识是模型参数规模的「军备竞赛」没有停止，甚至以每年 10 倍的速度增长，迈入十万亿级的阶段。
这样的形势下，算力集群规模也逐步迈向千卡级、万卡级、十万卡，乃至马斯克和黄仁勋在卷的百万卡级别。
算力的需求规模不同，建集群的方式也不同。
传统算力集群的节点通常就是一台 8 卡服务器，厂商们用横向扩展（Scale Out）的方式，通过传统以太网来连接大量 AI 服务器，增加节点数，来构建千卡、万卡集群。
但这种方式，模型厂商们很快发现性价比不高，因为有三堵墙：
第一堵墙是，通信。
大模型 MoE 架构的普及，专家并行（EP）和张量并行（TP）等分布式并行策略在模型训练中，通信量大，对带宽要求较大，传统以太网根本难以承受。
第二堵墙是，功耗。
你随手用豆包生成一个 PPT，用 CodeX 跑一个自动化任务，距离你数千公里外的 AI 集群压力山大。
英伟达的芯片越强，但绝对功耗却在上升。单颗 GPU 功耗从 A100 的 400W、H100 的 700W，到 Blackwell 时代，单颗 B200 的功耗已突破了 1000W 大关，GB200 更是直接突破到 2700W，传统风冷无法满足散热需求，过去标准化的机柜也压根扛不住。
第三堵墙，是复杂度。
万级处理器带来故障常态化，放大了传统集群运维复杂度。
Meta 在 2024 年训练 Llama 3 时，就有最直接的体感，54 天的预训练中，用于训练模型的 16384 个英伟达 H100 显卡集群共出现了 419 次意外故障，平均每三小时就有一次。
三堵墙下，被逼出来的超节点放大了另一个策略的先进性：
纵向扩展（Scale Up）。
简单来说，超节点可以将过去分散在数十台服务器里成百上千颗芯片在一个低延迟、高带宽的域内，整合为逻辑统一的一颗「超级大芯片」，实现协同高速计算，这个工作的地方也被称为 HBD（High Bandwidth Domain，超带宽域）。
所以超节点的单节点已不再是过去意义上的 1 台服务器了，而是由多台服务器和网络设备共同组成的计算单元。
好处也显而易见。
一方面，通过内部高速互联，当机柜里塞进更多的 GPU、实现更高效的互联，GPU 间的参数交换和数据同步也会越顺利，这有利于缩短大模型的训练周期。
另一方面，理论上部署和运维难度也降低了。
超节点本身就是一个高度集成的、预调优的超级计算机，在供电、散热等方面用上效率更高的技术和系统，综合来看，降低组网和运维的难度。
不仅从集群的搭建角度看，超节点是一个被逼出来的性价比选择，对国产厂商而言，超节点也是一个被逼出来的务实选择。
原因很简单：大力出奇迹、用量取胜。
既然单颗芯片性能距离还存在差距，那不妨用更多芯片、更快互联的方式，用更高的系统效率来弥补单卡差距，这种以系统取胜的策略也是中国科技过往的优势所在。
有券商总结的好：超节点就是中国 AI 的「韬定律」。
2、诱人的蛋糕
关于超节点，黄仁勋虽然最先提出概念、硅谷大厂 AI 集群火热，但在实际推进过程中，理想丰满、现实骨感。
一边，尽管早早拿出了 AI 工厂的路线图、鸿海等服务器厂商们产能拉满，但具体到英伟达下一代的 AI 机柜的量产交付时间却会被各种问题卡住。
据 SemiAnalysis 的爆料，原计划 2023 年下半年推出的 Kyber NVL144 机架架构，由于制造工艺的问题将推迟至 2028 年。
另一边，马斯克的 xAI、扎克伯格的 Meta 都开始出租算力，连带着市场开始质疑 CoreWeave、Nebius 此类算力租赁商的成长性，甚至又回到了「算力是否建设过度」的老问题。
相反在中国，各类超节点方案似乎如雨后春笋般涌现，各家在比规模、比参数、比方案，甚至有厂商将今年称为「中国超节点元年」。
有三股看得见的手，在加速拉满国产超节点的进度条。
第一只手，就是国产芯片厂商。
超节点为国产芯片们提供了一条跳出和英伟达「比单卡性能」的思路：用 Scale Up 堆卡数、以系统换性能。
摩尔线程副总裁马鉴在接受媒体采访时提到：" 通过系统上的提升去对标国际先进领先的超大规模的集群，去训练出同样先进的模型。"
而从拼单卡到拼系统的另一个好处是，超节点其实给给国产芯片提供了最直接的练兵场，国产芯片厂商能进一步绑定上下游产业链生态，从能用走向好用。
第二只手，则是国产大模型厂商。
这之中，不同模型厂商也各有意图。
像 DeepSeek、月之暗面此类模型厂商大力推崇国产超节点，本质上还是为了争夺更多的算力来提升模型智能。
而像阿里、百度等同时拥有芯片、云、模型和应用的全栈厂商，超节点也是一本万利。
一方面，芯片为模型定制，模型反哺芯片迭代；另一方面，哪怕是建设过度，超节点本身也可以以云服务的形式，按词元调用，阿里云也已经开始这么做了。
第三只手，则是国产服务器厂商。
摩尔线程们毛利率 60%，浪潮信息们的毛利率不到 5%，传统服务器厂商赚的是组装厂的辛苦钱。
但超节点给国产服务器厂商们带来了翻身的机会，这一点英伟达 NVL72 系列已经给他们上了一课。
因为，超节点更贵了，组装厂也跟着能赚。
英伟达上一代 GB200 NVL72 售价约 300 万美元，今年量产的新一代 Vera Rubin NVL72 单柜物料成本进一步攀升至 780 万美元。
工程复杂度提升了、利润空间也会更大，据大摩的研究报告，在 Rubin 时代，ODM 的附加值将增加 35-40%。
鸿海们甚至也学起存储厂商们大谈商业模式的转变，从过去「买断制」转向「寄售制」，曾经高高在上的甲方愿意低头垫付资金，代工厂不用大额垫资备货。
因此在超节点这件事上，浪潮信息、新华三等国产服务器厂商显得尤为积极，不仅和芯片厂商搞联合创新，也推出更丰富的产品和服务。
尽管超节点是如此诱人的一块蛋糕，但距离它的大规模落地还有很长一段路要走。
3、革命尚未成功
一个月前，黄仁勋现身中国台北电脑展，吃完鸿海董事长刘扬伟准备的红豆饼后，他顺势对刘扬伟喊话：
" 吃越多红豆饼，就会产出越多 Vera Rubin。" 但仅一个月后，就被媒体打脸延期交付。
种种迹象都在表明，超节点的技术和商业化落地难度，可能远比巨头们想象的还要大。
第一道关，就是灵魂之问：到底怎么连。
尽管目前全球的 Scale Up 协议生态逐渐走向开放，但与之而来的是的割裂和碎片化。
这是因为，协议生态通常也都是由巨头推动，开放联盟的竞争关系也是动态的。
英伟达 NVLink 在 2014 年推出，早期 NvLink 相对封闭，厂商难以创新。
但在去年 5 月，英伟达在互联技术大家族里增加了 NVLink Fusion，允许第三方厂商定制 CPU 或加速器，虽然每个节点仍需包含至少一颗英伟达芯片，但这种「半封闭、半开放」的策略，意味着英伟达迈出了开放的一步。
国内方面，华为在 2019 年发布了灵衢（UnifiedBus），直接对标直接对标 UALink。海光也在去年 12 月联手国产 AI 芯片、操作系统、存储与网络模块等厂商，发布了海光系统总线互联协议（HSL）1.0 规范。
但正如上文所说的，协议太多、没有巨头不想主导自己的协议，这就导致，行业早期 Scale Up 的协议生态还是较为松散的。
除了解决 GPU 间内部的互联协议，怎么连所用的物理介质也有技术路线的分化：
用电，还是用光？
电互连对应的铜缆便宜、功耗低，但传输距离受限，光缆能远距离传输，方便多机柜组网，但硬件造价更高，中间的「翻译官」光模块还会产生额外功耗。
英伟达想出的方案是直接走硅光共封装的路，联手台积电等盟友，押注 CPO（Co-Packaged Optics/ 光电共封装）技术。
在光互连上，中国信通院将演进路径概括为三步：NPO 过渡商用、CPO 成为主流、OIO（光输入输出）成为终极形态，中国的超节点里也开始尝试应用光互连技术。
除了怎么连外，第二道关，还有供电和冷却。
AI 的尽头是算力，算力的尽头是电力。
如何喂饱「吞电兽」、给超节点降温，意味着必须要有更先进的供电和冷却系统，未来的技术方向将聚焦于更高电压的供电架构和风液混合、全液冷系统。
还有更关键的还有一道关，其实就在眼前，回到上游的国产芯片端，客户的大单和高预期下，晶圆厂的产能到底能否持续兑现？
回头看，革命尚未成功。超节点之所以火，是被逼出来的创新、是更务实的选择，类似的故事在科技历史上也并不罕见，但距离真正的规模化落地，掀英伟达的桌，依旧还有很远的路。
参考资料：
1、魔形智能：一文洞悉超节点：解密 AI 时代的算力基石
2、鲜枣课堂：近很火的 " 超节点 "，到底是干啥的？
3、东方证券：超节点：国产算力进攻的 " 矛 "
4、国联证券：国产算力 " 三支箭 "：芯片、FAB、超节点
5、国金证券：国产机柜时间到来
