本文是后训练系列第二篇，介绍指令微调（SFT）。以斯坦福 Alpaca 用 52,000 条自动生成的数据微调 LLaMA 7B 为例，说明指令微调与预训练使用相同的下一个 token 预测损失，但数据和任务不同。文章详细讲解训练五步骤：收集、格式化、掩码、训练、评测，并通过 LIMA 和 FLAN 研究说明指令微调主要改变模型行为方式而非增加知识，少量数据即可泛化到新任务。还介绍了损失掩码原理、位置错开的实现细节、指令数据的三种来源及其局限：无法补充知识、比较回答优劣或检验正确性。
文章以地铁图为比喻，为大模型学习者规划了一条清晰的学习路线。主干线按演进顺序设置八站：前置基础、Transformer、GPT-2（强调亲手实现作为锚点）、预训练、ChatGPT 时刻（RLHF）、LLaMA、MoE 稀疏专家、推理模型（o1/R1），终点是能独立读懂新论文。五条支线按兴趣选修：推理优化（KV Cache、FlashAttention、量化）、训练（Scaling Law、分布式并行）、对齐（SFT、LoRA、DPO、GRPO）、架构（RMSNorm、RoPE、MLA）、应用（RAG、Agent）。最后给出建议：GPT-2 必须亲手写一遍，主干加一至两条支线即可入门，学习原理时动手推算。
文章系统讲解了LLM推理中KV缓存的工程优化。KV缓存随序列长度增长，Llama 3.1 70B单条128K序列的BF16缓存约需40GB，成为GPU内存和注意力计算的双重瓶颈。作者将12种优化技术按减少的对象分类：GQA/MQA减少KV头数量，跨层注意力减少缓存层数，滑动窗口与淘汰减少保留token数，MLA减少表示宽度，量化减少字节数，混合循环层用固定状态替代增长缓存，分页与前缀复用减少分配浪费。文章配有可运行代码示例，并分析各技术的适用场景与权衡。
文章介绍了如何利用 Cloudflare 的 Workers、Cron、Workers AI、R2、D1 和 Pages 五大免费服务，搭建一个全自动化的 AI 内容流水线。该流水线能定时抓取资讯（如 Hacker News），利用开源大模型（如 Llama 3）自动进行中文摘要、翻译和分类，并将数据存储在 D1 数据库和 R2 对象存储中，最终通过 Pages 生成公开的网页。文章提供了详细的代码配置示例，并分析了免费额度的可行性，适合个人创作者构建自动化工作台。
作者分享了一个下午零成本搭建 TinyPA 应用的实战经验。文章详细列出了构建 AI 应用所需的“七件套”免费资源：Vercel 托管、Neon 数据库、Auth.js 身份认证、Resend 邮件、NVIDIA NIM（Llama 3.3 70B）大模型以及 Cron 定时任务。这份“购物清单”证明了在项目初期，完全可以利用免费额度实现包含前后端、数据库和域名功能的完整 AI 应用，且给出了何时需要付费的明确界限。
