很多人以为,AI大战的胜负手是GPU算力,是芯片跑得有多快。但美光科技数据中心业务掌门人杰里米·韦纳(Jeremy Werner)最近却抛出了一个颠覆性的观点:AI真正的瓶颈,其实在于“记性”——也就是内存与存储。

这不仅仅是简单的缺货,而是一场从底层逻辑上重构整个科技行业的结构性变革。
为什么AI会“失忆”?算力再强也怕内存墙
韦纳用了一个非常直观的比喻来解释当下的困境:训练是“学习”,推理是“回忆”。
在训练阶段,AI像学生一样疯狂学习,学完把书一扔(遗忘),只留下一个模型。但在推理阶段(也就是我们使用AI时),它必须时刻“记住”之前的对话内容,这就是所谓的KV缓存(KV Cache)。
问题在于,如果内存不够大,存不下这些历史记录,AI就得像个健忘症患者,每说一句话都要把之前的书重新读一遍。
后果很严重: 一旦需要重新计算,算力消耗不是增加一点点,而是呈指数级爆炸。
潜力很巨大: 韦纳直言,如果你能提供足够大、足够快的内存,理论上能把GPU的算力利用率榨出“平方倍”的提升。
现在的局面是,上下文窗口每年增长30倍,模型越来越大,用户越来越多,内存根本不够用。
️ 从HBM到SSD:一条被买爆的“记忆链”
为了不让AI“失忆”,数据中心正在构建一条层层递进的存储防线。韦纳梳理了这条完整的链条,你会发现,从最快的显存到最慢的硬盘,全线告急:
HBM(高带宽内存): 紧贴GPU的“短期记忆”,速度极快但容量小(10-100GB),现在是最紧俏的硬通货。
主内存(Main Memory): 连接CPU的“中期记忆”,容量是HBM的几十倍,但速度稍慢。
扩展内存: 未来的方向,通过光纤外挂内存。
SSD(固态硬盘): 现在的“新宠”。既然HBM太贵且不够用,英伟达黄仁勋也指出,可以用大容量SSD来存KV缓存。虽然速度慢点,但容量能大出1000倍。
数据湖: 最底层的海量存储。
韦纳透露,现在的情况是:“只要我们发布新产品,客户立马就会消耗掉。”
美光的杀手锏:把数据中心塞进扑克牌
面对这种饥渴的需求,美光正在用两张“王牌”来破局,特别是针对数据中心最头疼的电力和空间问题。
王牌一:HBM4。 带宽直接翻倍,解决数据传输的“堵车”问题。
王牌二:245TB超大容量SSD。 这是一个惊人的产品。韦纳形容它“只比一副扑克牌大一点”。
这是什么概念?现在主流硬盘才30TB左右。用了这款245TB的SSD,数据中心的硬盘数量可以大幅减少,连带着省下的机柜空间、风扇、电源线缆,能让占地面积压缩80%以上。在电费就是命脉的今天,这不仅仅是存储,更是节能神器。
全球造厂也救不了急?
既然需求这么旺,多造点不行吗?韦纳的回答很诚实:来不及。
“我们没有在全球建造足够多的晶圆厂,”他坦言。目前整个行业都被“洁净室”这种稀缺资源卡住了脖子。即便美光正在美国(爱达荷、纽约、弗吉尼亚)、新加坡、日本和中国台湾同步推进五座超级工厂的建设,但晶圆厂不是说长就能长出来的。
别被短期波动骗了,革命才刚刚开始
对于市场上有人担心云厂商花钱太多、不可持续,韦纳觉得这是典型的“硅谷信息茧房”与外界的温差。
外界可能还没感知到,但硅谷内部早已沸腾。训练时代只是前菜,推理时代、智能体AI(Agentic AI)甚至物理AI(Physical AI)的大爆发才刚刚拉开序幕。
正如韦纳所言:“我们只是刚刚触及AI变革的表面。”在这场长跑中,内存不仅是战略资产,更是决定谁能跑到最后的氧气。