🏷️ 预填充

LLM 推理原理：从 Prompt 到流式响应的全流程解析

文章深入剖析了大语言模型（LLM）的推理过程。首先介绍了文本如何通过分词和嵌入转换为向量，接着详细解释了 Transformer 层中的自注意力机制与前馈网络如何协同工作。文章重点揭示了推理过程的两个不同阶段：处理输入时的“预填充”阶段受算力限制，而生成输出时的“解码”阶段受内存带宽限制，这种性能差异导致了首个token与后续token生成速度的不同。

LLM 中的 KV 缓存机制详解

文章深入解释了大型语言模型（LLM）中的 KV 缓存技术。作者指出，LLM 生成文本时首个令牌较慢而后续令牌迅速的现象，归功于 KV 缓存的工程优化。该技术通过存储已计算键值向量，避免在自回归生成过程中的冗余计算，以 GPU 内存为代价换取显著的计算加速。文中详细解析了注意力机制的冗余问题、KV 缓存的工作原理、首令牌延迟（TTFT）的产生原因，以及内存与计算资源之间的权衡取舍。