📚 Wiki 知识库

LLM 中的 KV 缓存机制详解

✍ Avi Chawla🕐 2026-03-22📦 6.3 KB 🟢 已读 𝕏 文章列表

文章深入解释了大型语言模型（LLM）中的 KV 缓存技术。作者指出，LLM 生成文本时首个令牌较慢而后续令牌迅速的现象，归功于 KV 缓存的工程优化。该技术通过存储已计算键值向量，避免在自回归生成过程中的冗余计算，以 GPU 内存为代价换取显著的计算加速。文中详细解析了注意力机制的冗余问题、KV 缓存的工作原理、首令牌延迟（TTFT）的产生原因，以及内存与计算资源之间的权衡取舍。

KV缓存注意力机制Transformer模型推理LLM性能优化GPU内存预填充TTC大模型

🔗 相关文档

LLM 推理原理详解：从 Prefill 到 Decode

本文深入解析了大语言模型（LLM）推理的计算流程。文章指出，LLM 推理主要包含 Prefill（处理提示词，计算密集型）和 Decode（逐词生成，显存带宽密集型）两个阶段。作者详细阐述了分词、Embedding、Transformer 层及 KV Cache 的工作原理，并分析了 KV Cache 带来的内存挑战及 vLLM 的优化方案。最后，探讨了 DeepSeek-V4 等新架构通过重新设计注意力机制来从根本上压缩 KV Cache 的创新思路。

技术 › LLM ✍ Avi Chawla🕐 2026-06-29
LLM推理KV CachePrefillDecodeDeepSeekTransformer性能优化

LLM 优化面试笔记：训练与推理核心技术

这是一份针对 AI 实验室面试准备的笔记，涵盖了高效训练和部署大语言模型（LLM）的核心优化策略。内容主要分为三部分：内存优化（如 Flash Attention、MQA/GQA、激活检查点）、计算优化（序列打包、高效变体 Transformer）以及推理优化（KV 缓存、投机解码、量化技术）。文章旨在总结在大规模模型开发中应对算力和内存瓶颈的关键技术。

技术 › LLM ✍ Gauri Gupta🕐 2026-05-06
LLM优化推理训练Flash AttentionKV Cache量化面试Transformer性能优化

LLM 推理原理：从 Prompt 到流式响应的全流程解析

文章深入剖析了大语言模型（LLM）的推理过程。首先介绍了文本如何通过分词和嵌入转换为向量，接着详细解释了 Transformer 层中的自注意力机制与前馈网络如何协同工作。文章重点揭示了推理过程的两个不同阶段：处理输入时的“预填充”阶段受算力限制，而生成输出时的“解码”阶段受内存带宽限制，这种性能差异导致了首个token与后续token生成速度的不同。

技术 › LLM ✍ Akshay🕐 2026-05-03
LLM推理Transformer分词向量嵌入自注意力机制KV缓存预填充解码技术原理生成式AI

图解 Transformer 架构：从原理到细节的全面解析

本文深入浅出地解析了 Transformer 架构，它是现代大语言模型（LLM）的核心。文章从宏观视角出发，通过解码的方式，逐一拆解了 Transformer 的关键组件，包括编码器与解码器、分词与嵌入、位置编码、注意力机制（Attention）以及多头注意力等。作者详细解释了该架构如何解决传统模型的“遗忘”和“慢速”问题，实现了并行处理和长距离依赖捕捉，并最后阐述了其强大的原因。

技术 › LLM ✍ Amit Shekhar🕐 2026-04-18
Transformer架构解析注意力机制深度学习AILLM编码器解码器机器学习教程

一个 Token 的自我解剖：从分词到输出生成的全流程解析

文章以第一人称视角（Token），生动通俗地讲解了 Token 在大模型中的“一生”。内容涵盖 Token 的定义、分词方式（如 Byte-level BPE）、向量化原理、训练赋予语义的过程，以及在 Transformer 架构中通过 Q、K、V 和注意力机制进行指令处理与输出生成的完整技术链路。

技术 › LLM ✍ 程序员Left🕐 2026-04-16
大模型Token分词Transformer注意力机制Embedding向量技术原理

每个 LLM 背后的五阶段流程指南

文章详细解析了构建大型语言模型的五个关键阶段：数据收集与预处理、预训练、及后续阶段。作者指出，大多数误解源于将“训练”视为单一步骤，实际上每个阶段解决不同问题。理解这一流程有助于识别模型行为根源及局限性，如幻觉或拒绝回答，并指导优化策略。

技术 › LLM ✍ CyrilXBT🕐 2026-07-17
LLM训练流程预训练数据处理TransformerAI工程模型构建数据预处理基础模型