AI 基础设施的竞争正从 " 堆算力 " 转向系统级优化。随着 AI 从模型训练进一步进入推理、智能体和长上下文工作流，算力芯片已不再是唯一瓶颈，网络互联、内存带宽与容量，以及数据在不同层级之间的传输效率，正成为下一阶段基础设施升级的关键。
据追风交易台，花旗发布的 AI 基础设施峰会纪要显示，博通、Marvell、三星及 AWS 等公司在峰会第二天集中阐述了各自在网络、存储和定制芯片领域的布局，释放出一个共同信号：AI 工作负载持续复杂化后，基础设施需要同时解决互联效率、内存容量、带宽、功耗和成本等问题。
博通明确认为，以太网将成为大规模 AI 基础设施的首选互联方案，并称其架构相较替代方案可实现超过 30% 的五年总拥有成本（TCO）节省。三星则披露 HBM 路线图，预计新一代 zHBM 较 HBM5 可实现 4 至 8 倍的单 GPU 性能提升，同时将热阻降低 75% 至 90%。
从博通的高速以太网，到 Marvell 针对 KV 缓存的内存层级优化，再到三星推动 HBM 架构升级、AWS 通过定制芯片提升内存带宽经济性，AI 基础设施的竞争正在从单纯追求算力规模，转向提升整个系统的数据流动效率。
网络与内存，成为 AI 扩展的新瓶颈
博通产品管理副总裁 Hasan Siraj 在峰会上介绍了公司的 AI 网络布局。博通认为，以太网正在成为大规模 AI 基础设施的首选互联技术，Tomahawk 和 Jericho 系列则是其核心网络产品。
博通目前已形成覆盖网卡（NIC）、交换机和软件的 AI 以太网方案。其中，Tomahawk 系列持续以每代翻倍的速度提升带宽，最新 Tomahawk 6 达到 102.4 Tbps，面向更大规模 AI 集群。博通称，更高的网络效率能够同步降低功耗、散热及基础设施运营成本，其方案相比替代方案可节省超过 30% 的五年 TCO。
Marvell 数据中心网络集团执行副总裁兼总经理 Dave Lazovsky 则将重点放在内存层级。随着 AI 进入推理密集型和长上下文场景，KV 缓存规模快速增长，可能超过 HBM 容量上限，系统因此需要从速度更慢的内存层级重新加载数据，甚至重新计算上下文。
Marvell 指出，这一过程会推高推理延迟、内存流量和功耗，成为 AI 系统进一步扩展的瓶颈。由此来看，未来 AI 基础设施不仅需要增加算力，也需要重新优化内存层级和数据传输路径，让数据能够更高效地在不同计算与存储层级之间流动。
HBM 与定制芯片，争夺系统效率
三星 DRAM 产品规划与业务拓展副总裁 In Dong Kim 判断，AI 将沿 " 生成式 AI →智能体 AI →物理 AI" 的路径演进。三星预计，训练需求将增长约 3 倍，推理需求可能增长约 100 倍，内存、存储、功耗和散热的重要性随之提升。
三星预计，HBM4E 将实现每 GPU 16 TB/s 带宽，性能功耗比相比 HBM4 提升 20%；HBM5 较 HBM4E 实现 2 倍性能提升。更激进的 zHBM 则被三星视为潜在颠覆性技术，其单 GPU 性能较 HBM5 提升 4 至 8 倍，性能功耗比提升 3 倍，热阻降低 75% 至 90%。
三星同时介绍了 Z-NAND 方案，采用 SLC NAND 与 TSV 堆叠，读取性能可比肩 LPDDR5 DRAM，比特密度约为 DRAM 的 10 倍，预计 2028 年开始送样。
AWS 则通过定制芯片提升 AI 系统效率。AWS 基础 AI 模型、定制芯片及量子计算高级副总裁 Peter DeSantis 表示，公司已形成 Graviton、Inferentia 和 Trainium 自研芯片体系，并将 Trainium 的核心优势归结为 " 单位成本内存带宽 "，认为这一指标直接影响 AI 训练经济性和 token 效率。
随着 AI 从模型训练走向智能体和真实工作流，基础设施竞争的焦点也在发生变化。算力规模仍然重要，但网络连接、内存带宽与容量，以及数据传输效率，正成为决定 AI 系统性能和成本的关键变量。
