LLM 工程师必读的 12 篇研究论文
文章列出了每位 LLM 工程师必须阅读的 12 篇核心论文清单，涵盖了从 Transformer 架构、BERT、GPT-3 等基础模型，到扩展定律、Chinchilla 训练法则、RLHF 对齐技术，以及 LoRA 高效微调和 FlashAttention 等工程优化技术。这些论文构成了现代大模型理解、训练和部署的理论基石。
全部文档 / 标签: Transformer
67 篇
一个 Token 的自我解剖：从分词到输出生成的全流程解析
文章以第一人称视角（Token），生动通俗地讲解了 Token 在大模型中的“一生”。内容涵盖 Token 的定义、分词方式（如 Byte-level BPE）、向量化原理、训练赋予语义的过程，以及在 Transformer 架构中通过 Q、K、V 和注意力机制进行指令处理与输出生成的完整技术链路。
900万参数，130行代码：从零构建微型语言模型 GuppyLM 教程
本文介绍了开发者 arman-bd 开源的微型语言模型 GuppyLM。该模型拥有 900 万参数，核心代码仅 130 行，可在免费 Colab 上 5 分钟训练完成。文章详细拆解了构建流程：利用模板生成 6 万条合成数据、训练 4096 词表的 BPE 分词器、搭建 6 层 Vanilla Transformer 架构以及优化推理环节。该项目旨在通过极简的实现，帮助开发者深入理解语言模型的数据工程、架构设计与训练循环。
搞懂缓存机制，从Gemma4到Claude Code省80%Token
文章通过本地 Gemma4 实验发现大模型对话中存在 100 倍加速的现象，深入剖析了 Transformer 的 KV 缓存原理，并逆向分析了 Claude Code 的精密缓存工程。文章解释了为何连续对话比频繁开启新 Session 更省钱，指出破坏缓存的关键行为（如切换模型、修改 System Prompt），并提供了保护缓存以节省 80% Token 的具体使用姿势。
LLM 中的 KV 缓存机制详解
文章深入解释了大型语言模型（LLM）中的 KV 缓存技术。作者指出，LLM 生成文本时首个令牌较慢而后续令牌迅速的现象，归功于 KV 缓存的工程优化。该技术通过存储已计算键值向量，避免在自回归生成过程中的冗余计算，以 GPU 内存为代价换取显著的计算加速。文中详细解析了注意力机制的冗余问题、KV 缓存的工作原理、首令牌延迟（TTFT）的产生原因，以及内存与计算资源之间的权衡取舍。
纯 C 语言从零开始构建 GPT
本文是一篇硬核技术教程，详细记录了如何不依赖任何外部库，仅使用纯 C 语言从零构建一个可用的 GPT（Generative Pre-trained Transformer）模型。文章涵盖了从随机数生成、数据分词、模型架构定义，到手动实现反向传播、Adam 优化器及推理采样的全过程。通过手写矩阵乘法、注意力机制和神经网络层，帮助读者深入理解 LLM 的底层原理。
如何成为一名机器学习工程师：完全指南
本文是一份详细的机器学习（ML）工程师学习路径指南。作者首先纠正了被动观看视频的学习误区，提出“两遍学习法”以建立深刻的技术理解。文章明确了ML工程师与数据科学家及研究员的区别，强调工程实现能力。随后，作者将学习路径分为两个阶段：第一阶段利用 3Blue1Brown 的视频构建数学直觉，涵盖神经网络、梯度下降、反向传播及 Transformer 架构；第二阶段（文中截断处未完）预告将通过 Andrej Karpathy 的课程来提升代码实现能力。
