内存墙指的是负责计算的半导体器件速度不断提升，但存储数据的内存却无法跟上其速度而导致的瓶颈。Sreeramaneni 在 23 日于斯坦福大学举办的 Hot Chips 2026 半导体会议上指出，这一瓶颈目前非但没有缩小，反而日益扩大。
他补充称，人工智能加速器的计算性能以每两年 3 倍的速度发展，但同期 HBM 的发展速度却不到每两年 2 倍。而无论计算设备的速度有多快，如果输送数据的通道狭窄，最终都会因速度过慢而停滞不前。
他强调，打破计算和存储之间界限的新设计将是突破这一瓶颈的途径之一。
技术难点
Sreeramaneni 以最新的 HBM 封装技术为例，该技术将两块 GPU 和八块 12 层 HBM4 显存集成于一体，他指出，其中约 90% 的半导体面积都用于存储，换句话说，存储面积是负责计算的 GPU 的八倍多。
这一设计给内存行业也带来了供应压力。当前的 HBM 用面积换带宽，其结果是，在制造相同存储容量时，HBM 消耗的半导体晶圆数量大约是普通 DRAM（DDR5）的三倍。这也是内存行业将持续短缺的一个重要原因。
Sreeramaneni 指出，随着技术的升级，这一差距还在扩大，因为速度越快，芯片尺寸越大，堆叠的层数越多，所需要的半导体晶圆面积也就越大。
与此同时，散热问题也日益关键。Sreeramaneni 补充称，随着数据传输速度的加快，散热如今已成为设计中首要考虑的因素。HBM 是一种多层结构的 DRAM，底层产生的热量最多，但冷却系统却在顶部，其必须穿透所有层才能到达热点集中区域。
他称，液冷和芯片超薄技术正在提供解决方案，但业内已经开始先计算散热，再据此调整芯片结构。他还总结指出，HBM 是最难的产品，它需要将所有设计、工艺和封装技术整合到一个不超过一枚邮票大小的芯片中。
这与 SK 海力士美国公司副总裁 Lee Jae-sik 在同场会议中指出的技术现状几乎一致。Lee 同样强调，HBM 需要内存厂商、GPU 设计商、代工厂和封装厂商携手才能进一步优化。
而 Sreeramaneni 的警告可能进一步凸显内存行业供不应求问题的核心矛盾。想要满足人工智能芯片的巨大需求，HBM 需要转向颠覆性的工艺和封装技术，这可能就是该行业当前竞争的决胜点。
