一个 Token 的自我解剖：从分词到输出生成的全流程解析
文章以第一人称视角（Token），生动通俗地讲解了 Token 在大模型中的“一生”。内容涵盖 Token 的定义、分词方式（如 Byte-level BPE）、向量化原理、训练赋予语义的过程，以及在 Transformer 架构中通过 Q、K、V 和注意力机制进行指令处理与输出生成的完整技术链路。
相关文档
把Transformer底裤扒光，从Transformer到大模型
本文从零开始，深入浅出地讲解了Transformer的原理及其如何演变为大语言模型。文章首先介绍大模型的目标是预测下一个词，然后详细解释了如何将文字转换为数字，包括Token、Token ID、Embedding Matrix等概念。接着，重点剖析了Transformer的核心——注意力机制（Q、K、V）、多头注意力、位置编码、FFN以及残差连接等组件，最后概述了模型的训练过程。全文无需前置知识，适合初学者理解大模型的基础架构。
读懂大模型｜别怕，大模型的本质就是一个函数
文章以 DeepSeek 开源的 V4-Flash-Vision-Exp 为例，深入浅出地讲解大模型的本质：一个做矩阵运算的超大函数。作者介绍了模型文件结构（权重分片、config.json、tokenizer.json），并详细解析输入输出处理流程，包括文本分词、BPE 算法、Embedding、MoE 混合专家架构、概率性输出与自回归生成机制。此外还逐项解读了核心参数，如词表大小、网络层数、注意力头数、YaRN 长上下文伸缩、视觉模块和 FP8/FP4 低精度量化等，帮助读者建立对大模型原理的整体认知。
什么是具身智能？它跟 AI 的关系是什么？
文章深入解析了具身智能的定义、历史渊源及发展现状。作者区分了具身智能与传统机器人，指出其核心在于感知-行动闭环与物理世界的实时交互。文章回顾了从符号主义、行为主义到深度学习、Transformer时代的技术演进，分析了VLA模型如何继承大模型能力来突破泛化难题，探讨其与AI的本质关系及未来前景。
LLM 推理原理：从 Prompt 到流式响应的全流程解析
文章深入剖析了大语言模型（LLM）的推理过程。首先介绍了文本如何通过分词和嵌入转换为向量，接着详细解释了 Transformer 层中的自注意力机制与前馈网络如何协同工作。文章重点揭示了推理过程的两个不同阶段：处理输入时的“预填充”阶段受算力限制，而生成输出时的“解码”阶段受内存带宽限制，这种性能差异导致了首个token与后续token生成速度的不同。
LLM 中的 KV 缓存机制详解
文章深入解释了大型语言模型（LLM）中的 KV 缓存技术。作者指出，LLM 生成文本时首个令牌较慢而后续令牌迅速的现象，归功于 KV 缓存的工程优化。该技术通过存储已计算键值向量，避免在自回归生成过程中的冗余计算，以 GPU 内存为代价换取显著的计算加速。文中详细解析了注意力机制的冗余问题、KV 缓存的工作原理、首令牌延迟（TTFT）的产生原因，以及内存与计算资源之间的权衡取舍。
文心 Unlimited OCR 2 横评：杀手锏不是读得多，而是每一步只看该看的
作者基于此前多次 OCR 横评经验，介绍百度文心团队开源的 Unlimited OCR 2。作者实测 1665 页《平凡的世界》图片版 PDF，40 分钟完整解析，3623 页《哈利·波特》也只需 90 分钟。其核心创新是 SR-SWA（稀疏参考滑动窗口注意力），通过 Page Gate 划定相关页面、Token Sieve 挑选 top-k 视觉块，使每步计算量不随页数增长；配合无限解码机制，百页文档峰值显存从 47GB 降至 1.77GB。与全注意力相比快 7 倍，在 MarathonDocBench 上保持 SOTA。短板是全局结构信息（如标题层级）保留不足。
大模型学习地铁图：从 Transformer 到今天的主流大模型
文章以地铁图为比喻，为大模型学习者规划了一条清晰的学习路线。主干线按演进顺序设置八站：前置基础、Transformer、GPT-2（强调亲手实现作为锚点）、预训练、ChatGPT 时刻（RLHF）、LLaMA、MoE 稀疏专家、推理模型（o1/R1），终点是能独立读懂新论文。五条支线按兴趣选修：推理优化（KV Cache、FlashAttention、量化）、训练（Scaling Law、分布式并行）、对齐（SFT、LoRA、DPO、GRPO）、架构（RMSNorm、RoPE、MLA）、应用（RAG、Agent）。最后给出建议：GPT-2 必须亲手写一遍，主干加一至两条支线即可入门，学习原理时动手推算。
AI 工程师面试：大厂反复考的 25 道通用题
文章总结了 AI 工程师面试中各科技大厂（OpenAI、Meta、DeepSeek、Anthropic 等）反复考察的高频题目，覆盖三大模块：LLM 内部原理（attention、KV cache、RoPE、MoE、scaling laws、解码策略等）、推理部署与 GPU 性能（continuous batching、PagedAttention、量化、并行策略、显存估算、延迟指标等），以及 RAG、Agent、微调、评测、安全、多模态、系统设计等方向。作者指出各家面试题高度重合，建议优先刷这些通用题以获得最高性价比。
Andrej Karpathy 与 GPT 七年演进：理解 Transformer 与 LLM 架构
文章回顾 Andrej Karpathy 在 OpenAI 七年间见证 GPT 从 1.17 亿参数增长到万亿参数的历程，强调 Transformer 是近 50 年计算领域最重要的架构。内容深入浅出地讲解 LLM 内部机制：文本被切分为 token 并映射为高维嵌入向量，模型通过注意力机制（Q、K、V 矩阵）学习上下文语义；Kaplan 提出的缩放定律证明性能随参数规模可预测提升；大模型还涌现出上下文学习、思维链推理等未显式编程的能力。作者指出 LLM 不是工具而是基础设施，真正赚钱的是理解底层架构并在此基础上构建的人。
Prefill & Decode made Crystal Clear
本文从第一性原理出发，逐步讲解 LLM 推理过程中 Prefill 和 Decode 两个阶段的真实含义。作者先介绍自回归模型逐 token 预测的基本机制，然后通过 ChatGPT 聊天的例子，展示文本如何经过分词、token ID、embedding 转化为 S×D 矩阵并进入 Transformer 层。重点澄清一个常见误解：处理输入 prompt 时模型并非逐个 token 顺序处理，而是因为所有输入 token 已知，可以并行处理——这一整个输入处理过程就是 Prefill。文章还引出因果掩码等问题，帮助读者建立对推理流程的正确直觉。
从零手写大模型系列完结了
作者宣布「从零手写大模型」系列完结，共20篇，包括推理篇15篇和训练篇5篇。推理篇涵盖分词器、嵌入层、位置编码、自注意力机制、多头注意力、残差连接、层归一化、Transformer模块等内容；训练篇涵盖损失函数、反向传播、梯度下降、Adam优化器和学习率调度。每篇都有可练习的代码示例，帮助读者理解模型如何生成文字以及如何从误差中学习更新参数。作者强调理论公式是精华，代码多被PyTorch封装。系列笔记已发布在个人网站上，欢迎交流指正。
一文了解大模型推理流程
文章系统讲解大模型推理的完整流程：输入文本先经Tokenizer切分为token并转换为token id，再通过Embedding转为带位置信息的语义向量；随后进入Prefill阶段，模型并行处理整个prompt，通过Transformer的Self-Attention计算Q、K、V并生成KV Cache，经Causal Mask确保不偷看未来token；最后经LM Head和softmax输出第一个token。进入Decode阶段后，逐个生成token、不断更新KV Cache，直到满足EOS、max_tokens或stop条件终止，最终反解码为文本输出。
