HBM全景研报:从训练到推理,主角不再是GPU
本文深入分析了AI推理时代HBM(高带宽内存)成为新主角的原因,指出推理过程中数据搬运的耗时往往超过计算。文章详细解释了HBM的3D堆叠技术优势、HBM4采用先进逻辑工艺带来的产业链变化,以及SK海力士、三星、美光三大厂商的市场份额与技术路线竞争,并探讨了内存厂商在AI基础设施中获取超高利润的商业逻辑。
本文深入分析了AI推理时代HBM(高带宽内存)成为新主角的原因,指出推理过程中数据搬运的耗时往往超过计算。文章详细解释了HBM的3D堆叠技术优势、HBM4采用先进逻辑工艺带来的产业链变化,以及SK海力士、三星、美光三大厂商的市场份额与技术路线竞争,并探讨了内存厂商在AI基础设施中获取超高利润的商业逻辑。
文章对AI推理时代的HBM产业提供了极高的数据密度与前沿商业洞察,时效性极强,虽因截断略有瑕疵,但整体极具投资参考价值。
文章解析英伟达8月26日发布的NVHBM技术:将自研内存控制器移入HBM底座,带宽最高提升30%、功耗降低15%,并推动多家内存厂商共同供货。作者对比三星zHBM(Memory-on-Logic垂直堆叠)与SK海力士的3D堆叠、混合铜键合路线图,拆解内存厂商的利润公式:出货量×份额×单位毛利,指出NVHBM可能压缩独有设计溢价、提升制造能力与良率的重要性。对三星的机会在于进入更多采购名单,海力士则需证明客户有得选时仍选自己。行业增长未必等于每家公司都受益。
本文是硅谷101 Alignment 峰会 Day 2 上午的深度笔记,提出 AI 繁荣背后有三张物理账单:电、芯片、推理。 Session 1 指出美国输电网难以建设,行业转向表后发电,从签约到出 token 需 16-17 个月,电力成为算力交付的真正瓶颈;讨论了数据中心融资期限错配、neocloud 风险、云业务利用率本质及算力短缺将持续到 2030 年的预测。 Session 2 探讨半导体,揭示 2nm 只是名义数字、硅在 5nm 以下到物理极限,AI 进晶圆厂第一站是良率检测,价值最终流向制造端。 Session 3 讲述在买不到新卡的情况下,通过推理优化软件从现有 GPU 榨取更多性能。核心结论:三张账单的解法都是效率。
文章探讨开源模型的崛起是否冲击半导体需求这一热门问题。作者指出市场担忧的核心在于开源是否会压低毛利,进而削弱模型公司购买GPU的能力。但通过动态均衡框架分析,token价格下降的同时,硬件与软件的效率提升(每十年各贡献千倍优化)使成本同步快速下降,毛利得以维持。以每GW算力测算,旗舰模型推理毛利率仍达75%-80%以上,开源模型约60%-70%,token收入是硬件摊销成本的十倍。结论是开源不会伤害半导体行业,动态均衡将持续推动AI基础设施扩张。
本文面向 AI 工程师系统讲解 GPU 硬件知识:GPU 的三种类型(数据中心、工作站、个人级),内部结构(SM、Tensor Core、CUDA 核心、HBM 显存与 SRAM 缓存),并以 gpt-oss-120b 和 Kimi K3 两个开源 MoE 模型为例,用精确的数学计算说明推理的算力与显存带宽瓶颈、prefill 与 decode 的差异,以及训练与推理对 GPU 使用的不同需求,帮助工程师做出租用 GPU、模型部署等实际决策。
作者指出 GPU 行业最大的瓶颈并非芯片、CoWoS 或电力,而是信用与残值市场的缺失。银行将 GPU 折旧后残值建模为零,导致资产难以证券化、缺乏对冲工具,小玩家融资成本高达 SOFR+900bps,需巨额首付。文章分析了 NVIDIA 对 OpenAI 数据中心的残值担保、Lambda 和 CoreWeave 的贷款结构,指出这些交易实际依赖客户信用而非硬件清算价值;并对比二手车(Manheim 指数)等行业,介绍 Kalshi H100 合约、Silicon Data 租赁基准及 CME 计划上市的 H100/B200 租赁期货,探讨 GPU 残值定价与算力融资市场的未来。
本文是 168X 战情室访谈精华,半导体研究与高频交易背景的嘉宾 Herman 系统阐述了对 AI 行业与美股半导体的最新判断。他作为 6 月第一批看空者如今翻多:Anthropic ARR 下修等利空落地后市场未踩踏,杠杆已出清;锚定 Anthropic/OpenAI 是错的,二者只消耗 27% 算力,微软等 CSP 企业端盈利快速兑现,用卡回本周期极短。他判断当前类似 1998 年而非 2000 年互联网泡沫,真正泡沫尚未到来。节目还讨论开源模型改变 CSP 处境、存储高 margin 难以为继、补涨轮动到光/CPU/功率、Apple 扶持英特尔、老黄 5,000 亿基建融资局、币圈与散户建议等议题,并警示 token 用不满的人将先被淘汰。
文章以供给稀缺、客户认证、竞争扩产与股价回撤四个维度,重新审视AIDC产业链30家瓶颈公司。结论是:真正具备产能、认证、交期或锁量证据的公司只占少数;瓶颈增强的同时竞争普遍加剧;回撤最大的小票往往瓶颈地位尚未验证。第一梯队包括AXT(InP衬底)、Tower(硅光代工)、联亚、AAOI、古河电工、Micron等,而Sivers、上诠等高热度小票仍属潜在瓶颈。回调提供了更便宜的价格,但没有自动提供更高的确定性。
NVIDIA与SB Energy合作,在俄亥俄州PORTS-Pike技术园区为OpenAI部署AI工厂,初期容量达4.25吉瓦。此次合作标志着NVIDIA将保障土地、电力和外壳(LPS)资源作为战略重点,通过CUDA生态确保计算资源的通用性和可复用性,支持前沿AI实验室的发展。