本文是 Philip Kiely 所著《Inference Engineering》的交互式伴读站点介绍，系统梳理 LLM 推理工程全貌。文章以 prefill/decode 两阶段为原子结构，按运行时、基础设施、工具链三层展开，逐章讲解模型结构（Attention、KV 缓存、MoE）、GPU 硬件选型（带宽 vs 算力）、软件栈（vLLM、SGLang、TensorRT-LLM）、五大优化技巧（量化、投机解码、缓存、并行、解耦）以及多模态与生产实践（扩缩容、路由、成本、可观测性）。核心思想是：先诊断瓶颈再优化，一切优化皆是权衡，具体知识会过期而底层约束移动缓慢。
本文深度解读 Modular 公司开源维护的《LLM Inference Handbook》，系统梳理 LLM 推理工程的知识体系。文章提炼三大核心框架：prefill（算力受限）与 decode（带宽受限）的两阶段二分法；KV cache 作为系统中心约束的地位，围绕它的 PagedAttention、prefix caching、PD 分离等技术网络；以及“一切皆 trade-off，唯一方法论是 benchmark”的工程哲学。内容还涵盖 continuous batching、speculative decoding、GPU 内存金字塔、FlashAttention、量化与蒸馏三部曲、Agent 生态与部署运维等主题，强调推理优化的本质是围绕有状态 KV cache 做内存管理与调度。
文章深度解读 Baseten 出版的免费工程书《Inference Engineering》，系统讲解如何把 AI 模型在生产环境中跑得快、省、稳。全书以三层推理栈（运行时、基础设施、工具层）为骨架，核心分析框架是瓶颈判断：prefill 算力受限、decode 带宽受限、图像视频生成算力受限。内容涵盖模型与硬件理解（算术强度、KV cache、选卡策略）、软件栈（vLLM/SGLang/TensorRT-LLM 三大引擎对比）、五大加速技术（量化、投机解码、缓存、并行、分离部署）及其交互关系，以及生产化部署的延迟全栈账本、故障处理与成本核算，强调约束换性能、技术按组合评估等基本原则。
作者赞颂 vLLM 的软件设计之美。文章首先介绍 LLM 自回归生成的基本原理，以及推理的两个阶段：计算密集的 Prefill 和带宽受限的 Decode，指出 KV Cache 动态增长与静态批处理带来的内存浪费问题。vLLM 借鉴操作系统分页思想，将 KV Cache 切分为固定大小的块并维护逻辑到物理的块表（PagedAttention），将内存浪费降至约 3%；配合 Continuous Batching 和动态调度，避免已完成的请求阻塞整个批次，让 GPU 始终保持高效。作者认为 vLLM 的成功源于借鉴已被大规模验证的成熟系统概念。
本文系统讲解 LLM 推理阶段的核心原理。作者指出推理与训练不同，分为 prefill 和 decode 两个阶段：prefill 并行处理整个提示词、计算密集型、决定首 token 延迟（TTFT）；decode 逐 token 生成、受 HBM 内存带宽限制、决定 token 间延迟（ITL）。文章介绍了 GPU 关键硬件概念（Tensor Core FLOPS、HBM、SRAM），逐步演示一个请求的完整流程（分词、采样、KV cache 机制），并将 FlashAttention、PagedAttention、continuous batching、RadixAttention 等优化技术归位到这两个阶段中，帮助读者理解推理瓶颈与优化方向。
本文是AI工程全景的中篇，深入探讨了模型训练完成后的工程化路径。首先详述了推理优化的核心手段，包括模型瘦身（量化、蒸馏、剪枝、MoE）、投机解码以及主流推理引擎（vLLM, TensorRT-LLM, SGLang）的生态格局。文章分析了成本、延迟与吞吐的“不可能三角”，并重点介绍了“测试时计算”这一范式转变，即通过在推理阶段增加计算量来动态提升模型智能。
文章基于 YC Paper Club 播客，剖析 LLM 推理成本真相：按两年模型寿命摊算，推理总算力约为训练的 12 倍。decode 阶段 MFU 仅 5%，瓶颈在显存带宽而非算力。DeepSeek 通过 KV cache 保留 72 小时、radix attention、零开销调度等手段将缓存命中率做到 96%，实现 38 美元一卡时、80% 毛利。文章还讨论了 SSM 等被低估的模型结构、服务商质量参差（同一模型不同服务商差距超开源闭源差距）以及开源推理生态的规模，指出推理成本优化才是 LLM 竞争的胜负手。
本文系统讲解了 LLM 推理的多 GPU 并行策略。首先介绍推理的两个阶段（Prefill 影响 TTFT，Decode 影响 TPOT）以及部署中的四大资源限制（参数内存、KV-cache、计算、通信），然后通过五个关键问题框架分析各类并行策略：数据并行（复制完整模型、分区请求）、张量并行、流水线并行、上下文并行和专家并行。文章强调选择布局需权衡内存容量、请求延迟和吞吐量，避免通信开销超过硬件承受能力，并给出部署检查规则，帮助读者根据模型、硬件拓扑和工作负载选出合适的布局。
文章以 Qwen3.8-27B 为例，系统讲解大模型权重量化的原理。从参数如何参与矩阵乘法运算入手，说明 bit 数与编码格式（FP16、BF16、INT4）的关系，演示 0.73 如何被 4 bit 编码为 0.8 并引入误差。深入分析了刻度选择中范围、分辨率与截断误差的取舍，权重误差如何随输入放大为输出误差，以及 GPTQ、AWQ、PTQ、QAT 等量化方法如何利用校准数据控制误差。最后估算 4 bit 模型的存储大小（约 13.5-19 GB），讲解 KV 缓存、混合注意力结构对显存的影响，并给出选择和评估本地量化模型的实用建议。
本文深入解读斯坦福 2026 秋季研究生课程 MS&E 319《Efficient Generative Language Models》。该课程以「效率」为设计科学，在算力预算有限的约束下，沿大模型生命周期系统讲授预训练、架构、推理、后训练四阶段的效率技术，包括多 token 预测、Muon 优化器、MoE、稀疏注意力、FlashAttention、KV 缓存压缩、量化、投机解码、LoRA、DPO 与蒸馏等，并涵盖越狱攻击与模型窃取等安全议题。文章认为该课填补了教育生态空位，内容前沿性与领域同步，揭示了每项效率技术背后的权衡取舍。
NVIDIA专为挖矿打造的CMP 170HX矿卡，采用与A100相同的GA100芯片，但出厂通过OTP熔丝、寄存器和PCIe限制被锁死显存、算力和接口。2026年8月，研究员Jon Pry利用Falcon安全协处理器的固件校验时间窗口漏洞，通过ROP链获取执行权并修改PLM寄存器，实现纯软件解锁，开源工具CMPUnlocker可将8GB显存解锁至64GB HBM2e。解锁后带宽媲美RTX 5090，跑LLM推理性能反超4090。MiniMax H3开源引发大显存需求暴涨，卡价从三五百涨至1.4万。但文章也提醒风险：无FP8、无NVLink、驱动受限、HBM颗粒不可维修、价格窗口已关闭。
作者从 B2B SaaS Web 开发转向推理工程一个月后分享的入门知识地图。文章将推理工程分为三大类：协调工作（Nvidia Dynamo、llm-d 负责路由、调度与扩展，需智能负载均衡）、运行模型（vLLM、SGLang 处理批处理、张量并行、prefill/decode 分离）、复用先前工作（KV 缓存与 HiCache、LMCache、Mooncake 实现跨 GPU/CPU/NVMe 的分层前缀缓存）。作者强调从 Web 开发转型并不难，不需要精通 CUDA，先跑起模型、发送流量，再逐层深入即可。
文章介绍了 GPU kernel 的概念及其在模型推理优化中的作用。Kernel 是运行在数千个 GPU 线程上的并行函数，区别于操作系统内核。作者解释了 kernel 的调用流程（如 torch.matmul 经由 cuBLAS 等库启动 kernel），以及编写自定义 kernel 的价值，重点介绍了 kernel 融合（fused kernels）技术，如 FlashAttention 通过在 SRAM 中完成多步计算减少对慢速 HBM 的读写。同时强调自定义 kernel 虽然炫酷但应放在最后考虑，Batching、量化、投机解码、编译器优化等上层手段收益更大。最后推荐从 Triton 入手，并介绍了 ThunderKittens、TileLang、CuTe、Mojo 等新兴 kernel DSL。
