AI 工程师需要了解的 GPU 全部知识
本文面向 AI 工程师系统讲解 GPU 硬件知识：GPU 的三种类型（数据中心、工作站、个人级），内部结构（SM、Tensor Core、CUDA 核心、HBM 显存与 SRAM 缓存），并以 gpt-oss-120b 和 Kimi K3 两个开源 MoE 模型为例，用精确的数学计算说明推理的算力与显存带宽瓶颈、prefill 与 decode 的差异，以及训练与推理对 GPU 使用的不同需求，帮助工程师做出租用 GPU、模型部署等实际决策。
相关文档
深读免费书「Inference Engineering」：Prefill 吃算力、Decode 吃带宽，讲透从 CUDA 到生产部署的推理优化
文章深度解读 Baseten 出版的免费工程书《Inference Engineering》，系统讲解如何把 AI 模型在生产环境中跑得快、省、稳。全书以三层推理栈（运行时、基础设施、工具层）为骨架，核心分析框架是瓶颈判断：prefill 算力受限、decode 带宽受限、图像视频生成算力受限。内容涵盖模型与硬件理解（算术强度、KV cache、选卡策略）、软件栈（vLLM/SGLang/TensorRT-LLM 三大引擎对比）、五大加速技术（量化、投机解码、缓存、并行、分离部署）及其交互关系，以及生产化部署的延迟全栈账本、故障处理与成本核算，强调约束换性能、技术按组合评估等基本原则。
MoE 推理工程详解
本文系统讲解 MoE（混合专家）模型的推理服务工程原理。从稠密 Transformer 的 FFN 与 MoE 层的区别入手，介绍路由器如何为每个 token 选择专家、dispatch 和 combine 过程如何将路由决策聚合成专家专属矩阵，以及 grouped GEMM 如何减少内核启动开销。文章还涵盖专家并行、拓扑感知部署、显存需求（常驻参数 vs 激活参数）、负载不均衡、容量限制和量化等话题，并分析计算、显存带宽与互连流量之间的性能瓶颈权衡，以 Qwen3-30B-A3B 为实例说明。
什么是 GPU Kernel？
文章介绍了 GPU kernel 的概念及其在模型推理优化中的作用。Kernel 是运行在数千个 GPU 线程上的并行函数，区别于操作系统内核。作者解释了 kernel 的调用流程（如 torch.matmul 经由 cuBLAS 等库启动 kernel），以及编写自定义 kernel 的价值，重点介绍了 kernel 融合（fused kernels）技术，如 FlashAttention 通过在 SRAM 中完成多步计算减少对慢速 HBM 的读写。同时强调自定义 kernel 虽然炫酷但应放在最后考虑，Batching、量化、投机解码、编译器优化等上层手段收益更大。最后推荐从 Triton 入手，并介绍了 ThunderKittens、TileLang、CuTe、Mojo 等新兴 kernel DSL。
Let's Talk About Buying Compute
作者指出 GPU 行业最大的瓶颈并非芯片、CoWoS 或电力，而是信用与残值市场的缺失。银行将 GPU 折旧后残值建模为零，导致资产难以证券化、缺乏对冲工具，小玩家融资成本高达 SOFR+900bps，需巨额首付。文章分析了 NVIDIA 对 OpenAI 数据中心的残值担保、Lambda 和 CoreWeave 的贷款结构，指出这些交易实际依赖客户信用而非硬件清算价值；并对比二手车（Manheim 指数）等行业，介绍 Kalshi H100 合约、Silicon Data 租赁基准及 CME 计划上市的 H100/B200 租赁期货，探讨 GPU 残值定价与算力融资市场的未来。
如何在单GPU上部署5个模型
本文探讨了如何在一个GPU上通过服务层高效部署多个专用模型（SLM、OCR、NER、Reranker和物体检测）。文章分析了多模型流水线面临的资源碎片化和GPU闲置成本问题，提出了通过共享GPU、动态加载和内存优化来降低成本和提升利用率的技术方案。
从 Kimi K3 看下一代 MoE 架构的转折点：LatentMoE
文章分析了 2026 年大模型架构的新趋势 LatentMoE。通过对比 NVIDIA Nemotron 3 Super 和 Moonshot AI Kimi K3，揭示了 LatentMoE 如何通过将 token 投影到低维潜在空间，大幅降低内存和通信开销，从而在同等推理成本下激活更多专家，提升模型性能与效率。
推理是训练的 12 倍，可一块卡生成时只跑出 5% 的算力
文章基于 YC Paper Club 播客，剖析 LLM 推理成本真相：按两年模型寿命摊算，推理总算力约为训练的 12 倍。decode 阶段 MFU 仅 5%，瓶颈在显存带宽而非算力。DeepSeek 通过 KV cache 保留 72 小时、radix attention、零开销调度等手段将缓存命中率做到 96%，实现 38 美元一卡时、80% 毛利。文章还讨论了 SSM 等被低估的模型结构、服务商质量参差（同一模型不同服务商差距超开源闭源差距）以及开源推理生态的规模，指出推理成本优化才是 LLM 竞争的胜负手。
NVIDIA RTX 20/30/40 显卡隐藏 Tensor Core 算力被破解解锁
民间开发者破解了 NVIDIA RTX 20、30、40 三代显卡被锁定的 Tensor Core 算力，无需更换硬件、刷 BIOS 或魔改驱动，通过底层方式解除性能限制。RTX 4090 算力从 165.6 翻倍至 331.6 TFLOPS，RTX 3090 Ti BF16 提升约 80%，部分老显卡如 RTX 2080 Ti 也接近翻倍。社区已发布多个 GitHub 开源项目和安装教程，Windows 11 上也有成功复现案例。不过有用户实测发现 token 输出速度反而下降，实际效果仍待验证。
AI Semiconductor Endgame (IV)：开源模型对半导体的影响
文章探讨开源模型的崛起是否冲击半导体需求这一热门问题。作者指出市场担忧的核心在于开源是否会压低毛利，进而削弱模型公司购买GPU的能力。但通过动态均衡框架分析，token价格下降的同时，硬件与软件的效率提升（每十年各贡献千倍优化）使成本同步快速下降，毛利得以维持。以每GW算力测算，旗舰模型推理毛利率仍达75%-80%以上，开源模型约60%-70%，token收入是硬件摊销成本的十倍。结论是开源不会伤害半导体行业，动态均衡将持续推动AI基础设施扩张。
大模型学习地铁图：从 Transformer 到今天的主流大模型
文章以地铁图为比喻，为大模型学习者规划了一条清晰的学习路线。主干线按演进顺序设置八站：前置基础、Transformer、GPT-2（强调亲手实现作为锚点）、预训练、ChatGPT 时刻（RLHF）、LLaMA、MoE 稀疏专家、推理模型（o1/R1），终点是能独立读懂新论文。五条支线按兴趣选修：推理优化（KV Cache、FlashAttention、量化）、训练（Scaling Law、分布式并行）、对齐（SFT、LoRA、DPO、GRPO）、架构（RMSNorm、RoPE、MLA）、应用（RAG、Agent）。最后给出建议：GPT-2 必须亲手写一遍，主干加一至两条支线即可入门，学习原理时动手推算。
AI 繁荣的三张账单——电、芯片、推理
本文是硅谷101 Alignment 峰会 Day 2 上午的深度笔记，提出 AI 繁荣背后有三张物理账单：电、芯片、推理。 Session 1 指出美国输电网难以建设，行业转向表后发电，从签约到出 token 需 16-17 个月，电力成为算力交付的真正瓶颈；讨论了数据中心融资期限错配、neocloud 风险、云业务利用率本质及算力短缺将持续到 2030 年的预测。 Session 2 探讨半导体，揭示 2nm 只是名义数字、硅在 5nm 以下到物理极限，AI 进晶圆厂第一站是良率检测，价值最终流向制造端。 Session 3 讲述在买不到新卡的情况下，通过推理优化软件从现有 GPU 榨取更多性能。核心结论：三张账单的解法都是效率。
把 96.5GB 的 GLM-5.3-Flash 塞进单张 4090 48GB，跑出 41.8 token/s
本文记录了在单张魔改 RTX 4090 48GB 上，通过系统级调优将 96.5GB 的 MoE 模型 GLM-5.3-Flash 推理提速至 41.8 token/s 的完整工程实录。作者采用混合 i-quant 量化，将 12,096 个专家常驻显存与锁页内存，通过实测发现减少 CPU 线程反而提升 42% 速度、扩大显存池至 46GB 带来质变、以及激进的 PCIe 搬运策略是致命代偿陷阱。文章逐毫秒拆解了 24.47ms 的 token 耗时去向，指出 PCIe 搬运是硬瓶颈，并对比了更稀疏的 Qwen3.8-Flash-Next 架构可达 120 tok/s 的原因。
