文章系统讲解了LLM推理中KV缓存的工程优化。KV缓存随序列长度增长，Llama 3.1 70B单条128K序列的BF16缓存约需40GB，成为GPU内存和注意力计算的双重瓶颈。作者将12种优化技术按减少的对象分类：GQA/MQA减少KV头数量，跨层注意力减少缓存层数，滑动窗口与淘汰减少保留token数，MLA减少表示宽度，量化减少字节数，混合循环层用固定状态替代增长缓存，分页与前缀复用减少分配浪费。文章配有可运行代码示例，并分析各技术的适用场景与权衡。
文章系统讲解了 LLM 推理中四层常被混淆的缓存机制：KV cache 存储单次请求的注意力张量；Prefix caching 在服务端以 token ID 哈希链为键复用这些张量；Prompt caching 是服务商对该查找的计费版本；Semantic cache 则以嵌入向量的余弦相似度为键存储完整响应。前三层为精确匹配、不影响正确性，未命中只损失延迟和费用；第四层为模糊匹配，可能返回错误答案。文章基于 transformers v5 提供可运行代码示例，涵盖缓存增长、内存带宽瓶颈、GQA/MLA/量化等优化手段，以及阻碍缓存复用的五类常见问题。
文章深入解释了大型语言模型（LLM）中的 KV 缓存技术。作者指出，LLM 生成文本时首个令牌较慢而后续令牌迅速的现象，归功于 KV 缓存的工程优化。该技术通过存储已计算键值向量，避免在自回归生成过程中的冗余计算，以 GPU 内存为代价换取显著的计算加速。文中详细解析了注意力机制的冗余问题、KV 缓存的工作原理、首令牌延迟（TTFT）的产生原因，以及内存与计算资源之间的权衡取舍。
