文章系统讲解了LLM推理中KV缓存的工程优化。KV缓存随序列长度增长，Llama 3.1 70B单条128K序列的BF16缓存约需40GB，成为GPU内存和注意力计算的双重瓶颈。作者将12种优化技术按减少的对象分类：GQA/MQA减少KV头数量，跨层注意力减少缓存层数，滑动窗口与淘汰减少保留token数，MLA减少表示宽度，量化减少字节数，混合循环层用固定状态替代增长缓存，分页与前缀复用减少分配浪费。文章配有可运行代码示例，并分析各技术的适用场景与权衡。
Cerebras 团队详细介绍了如何在 WSE-3T 晶圆级芯片上部署万亿参数大模型。以 3 万亿参数的开源模型 Kimi K3 为例，团队通过 4-bit 权重量化和 8-bit KV 缓存计算每层约 16 GB 的显存需求，将模型切分到 59 片晶圆上：每个 dense 层独占一片晶圆，每片可放两个 linear-attention 层。晶圆间通过以太网 RDMA 传递激活值，权重无需移动。系统以流水线方式运行，各阶段可同时处理不同请求和微批次，从而实现 1000-2000+ tokens/秒的推理速度。
本文深度解读 Modular 公司开源维护的《LLM Inference Handbook》，系统梳理 LLM 推理工程的知识体系。文章提炼三大核心框架：prefill（算力受限）与 decode（带宽受限）的两阶段二分法；KV cache 作为系统中心约束的地位，围绕它的 PagedAttention、prefix caching、PD 分离等技术网络；以及“一切皆 trade-off，唯一方法论是 benchmark”的工程哲学。内容还涵盖 continuous batching、speculative decoding、GPU 内存金字塔、FlashAttention、量化与蒸馏三部曲、Agent 生态与部署运维等主题，强调推理优化的本质是围绕有状态 KV cache 做内存管理与调度。
文章从一张16GB显卡出发，系统拆解大模型本地部署的显存与速度权衡。首先澄清运行显存不只包含模型权重，还有KV Cache、运行时工作区和草稿模型开销；解释MoE与量化对容量和计算的不同影响，区分总参数与激活参数；分析CPU/GPU卸载的代价；介绍KV Cache与混合注意力如何影响上下文长度；区分Prefill与Decode两个阶段的速度特征；最后详解投机解码、MTP与DFlash/DFlash2的加速原理及实测收益。强调各优化手段需配合使用，预算刚好装满并不代表能稳定运行。
文章系统讲解了 LLM 推理中四层常被混淆的缓存机制：KV cache 存储单次请求的注意力张量；Prefix caching 在服务端以 token ID 哈希链为键复用这些张量；Prompt caching 是服务商对该查找的计费版本；Semantic cache 则以嵌入向量的余弦相似度为键存储完整响应。前三层为精确匹配、不影响正确性，未命中只损失延迟和费用；第四层为模糊匹配，可能返回错误答案。文章基于 transformers v5 提供可运行代码示例，涵盖缓存增长、内存带宽瓶颈、GQA/MLA/量化等优化手段，以及阻碍缓存复用的五类常见问题。
文章回顾了Karpathy在2023年指出的本地LLM推理瓶颈：解码阶段受限于内存带宽，每次前向传播只生成一个token，使得推理速度存在硬上限。以M5芯片和4-bit Qwen3.5 9B为例，理论极限约29 token/s，llama.cpp和MLX接近该上限。开源推理引擎Uzu通过组合优化突破瓶颈：采用4-bit/8-bit整数量化降低内存流量，利用M5的int8硬件加速路径，在量化前应用块对角随机Hadamard变换抑制离群值误差，并通过推测解码一次性验证多达16个草稿token。实测Uzu在M5上达到92-117 token/s，显著超越llama.cpp和MLX。
本文介绍如何在12GB显存上部署125B参数的Qwen3.8-Flash-Next模型。核心是Strata技术让GPU、CPU、RAM和SSD协同工作：常用专家留GPU，其余放RAM，CPU处理cache miss。RTX 5070 12GB + 64GB RAM在Q2_0量化下短对话可达94 tok/s。文章还讲解了量化选择策略——显存占用相同时速度可差1.72倍，关键在于专家命中率。作者全程使用蚂蚁的Ling-3.1-flash Agent自动完成从检查机器、选权重、下载安装到排错验收的完整部署流程，跑通了一套用Agent自动部署本地模型的可复用方法。
文章总结了 AI 工程师面试中各科技大厂（OpenAI、Meta、DeepSeek、Anthropic 等）反复考察的高频题目，覆盖三大模块：LLM 内部原理（attention、KV cache、RoPE、MoE、scaling laws、解码策略等）、推理部署与 GPU 性能（continuous batching、PagedAttention、量化、并行策略、显存估算、延迟指标等），以及 RAG、Agent、微调、评测、安全、多模态、系统设计等方向。作者指出各家面试题高度重合，建议优先刷这些通用题以获得最高性价比。
本文是 Philip Kiely 所著《Inference Engineering》的交互式伴读站点介绍，系统梳理 LLM 推理工程全貌。文章以 prefill/decode 两阶段为原子结构，按运行时、基础设施、工具链三层展开，逐章讲解模型结构（Attention、KV 缓存、MoE）、GPU 硬件选型（带宽 vs 算力）、软件栈（vLLM、SGLang、TensorRT-LLM）、五大优化技巧（量化、投机解码、缓存、并行、解耦）以及多模态与生产实践（扩缩容、路由、成本、可观测性）。核心思想是：先诊断瓶颈再优化，一切优化皆是权衡，具体知识会过期而底层约束移动缓慢。
作者赞颂 vLLM 的软件设计之美。文章首先介绍 LLM 自回归生成的基本原理，以及推理的两个阶段：计算密集的 Prefill 和带宽受限的 Decode，指出 KV Cache 动态增长与静态批处理带来的内存浪费问题。vLLM 借鉴操作系统分页思想，将 KV Cache 切分为固定大小的块并维护逻辑到物理的块表（PagedAttention），将内存浪费降至约 3%；配合 Continuous Batching 和动态调度，避免已完成的请求阻塞整个批次，让 GPU 始终保持高效。作者认为 vLLM 的成功源于借鉴已被大规模验证的成熟系统概念。
文章深度解读 Baseten 出版的免费工程书《Inference Engineering》，系统讲解如何把 AI 模型在生产环境中跑得快、省、稳。全书以三层推理栈（运行时、基础设施、工具层）为骨架，核心分析框架是瓶颈判断：prefill 算力受限、decode 带宽受限、图像视频生成算力受限。内容涵盖模型与硬件理解（算术强度、KV cache、选卡策略）、软件栈（vLLM/SGLang/TensorRT-LLM 三大引擎对比）、五大加速技术（量化、投机解码、缓存、并行、分离部署）及其交互关系，以及生产化部署的延迟全栈账本、故障处理与成本核算，强调约束换性能、技术按组合评估等基本原则。
本文图解 DeepSeek V4.1-Flash 如何将单 token 全局 KV Cache 从 V1 的 389KB 压缩至 890 字节。文章先介绍 KV Cache 原理与显存瓶颈，再梳理 GQA、MLA、量化、稀疏注意力、跨层复用等六次关键突破，最后详解 V4.1 在架构、精度、部署三层的联合优化，包括 CED、CSA2 三模式、层级稀疏索引器与 FP4 量化，并给出 890 字节的推导过程。
文章介绍了一项实验：研究者将 DeepSeek V4.1 Flash 的 Causal Encoder-Decoder 机制移植到现有 Qwen3-8B 上，不修改原模型权重，仅外挂一个小模型近似后半层 KV Cache，使 Prefill 时间缩短近一半且输出一致。作者分析了这对本地模型部署（尤其 DGX Spark）的重大意义：长上下文首 token 等待明显降低，KV Cache 内存占用减少，Coding Agent、Computer Use Agent 等本地工作负载体感大幅提升。文章同时指出结果尚需在更多任务上验证，但认为已有模型可通过轻量近似层获得架构级推理升级。
