本文从GPU算力与内存速度不匹配的问题出发，深入分析AI推理中KV缓存的内存占用与复用机制，说明为什么给GPU扩容后计算芯片仍在等待数据。文章以Qwen3-32B为例量化KV缓存大小，比较本地缓存与远端缓存的传输开销，指出连接在缓存共享、跨机器传输中的关键作用。随后分析了铜互连与光互连各自的适用场景，介绍NPO/CPO技术路线，并以Marvell的CXL内存扩容控制器、交换芯片、信号调节芯片和Photonic Fabric为例，梳理连接芯片厂商的商业逻辑与验证进度，最后从客户成本账角度论证互联市场的价值，认为这是一个被低估的万亿级机会。
文章解析英伟达8月26日发布的NVHBM技术：将自研内存控制器移入HBM底座，带宽最高提升30%、功耗降低15%，并推动多家内存厂商共同供货。作者对比三星zHBM（Memory-on-Logic垂直堆叠）与SK海力士的3D堆叠、混合铜键合路线图，拆解内存厂商的利润公式：出货量×份额×单位毛利，指出NVHBM可能压缩独有设计溢价、提升制造能力与良率的重要性。对三星的机会在于进入更多采购名单，海力士则需证明客户有得选时仍选自己。行业增长未必等于每家公司都受益。
本文梳理了英伟达2022至2028年从Hopper到Feynman的架构演进。指出存储曾是过去产品迭代的主线，但随着内存遇墙，互联已成为未来的核心解药与投资主线。文章拆解了GPU、CPU、组合系统与机架四条业务线，澄清了GB200、NVL72、NVL576等极易混淆的概念，详解了scale-up高速域的扩张，并深刻分析了内存容量与带宽如何推动AI算力系统的升级。
本文深入拆解了CXL技术在打破内存墙中的作用。文章回顾了内存墙的历史，分析了AI时代内存成本与容量的双重压力，指出CXL并非为取代NVLink而生，而是为了扩展内存容量和实现内存池化。通过Meta的Vistara项目案例，阐述了利用退役内存的经济效益，并分析了从控制器、交换机到光互连的投资机会，重点提及了Marvell的布局。
