终极指南：Attention 机制、QKV 与 KV Cache
本文深入剖析了 AI 领域核心的注意力机制。文章回顾了 Attention 从早期神经机器翻译到 Transformer 架构的演变历史，详细解析了其解决固定长度向量瓶颈的原理。同时，通过图文并茂的方式，逐步拆解了从 Embedding 到上下文表示的过程，重点阐述了 Queries、Keys、Values (QKV) 机制的运作逻辑及其在现代大模型中的关键作用。
相关文档
How to Build LLM Architectures From Scratch
本文是一篇关于从零构建大型语言模型（LLM）架构的深度指南。文章详细解释了 LLM 的工作原理，包括从原始数据收集、清洗、分词，到 Transformer 架构的核心组件（如自注意力机制、位置编码）。同时涵盖了预训练、微调、基于人类反馈的强化学习（RLHF）以及推理优化等关键技术环节，旨在帮助读者理解 ChatGPT 和 Claude 等模型背后的系统构建全流程。
什么是具身智能？它跟 AI 的关系是什么？
文章深入解析了具身智能的定义、历史渊源及发展现状。作者区分了具身智能与传统机器人，指出其核心在于感知-行动闭环与物理世界的实时交互。文章回顾了从符号主义、行为主义到深度学习、Transformer时代的技术演进，分析了VLA模型如何继承大模型能力来突破泛化难题，探讨其与AI的本质关系及未来前景。
20 张手绘图讲透 AI 核心概念
本文翻译整理了一组在 X 上广为流传的 AI 科普手绘图，涵盖从神经网络、Transformer 架构到大语言模型（LLM）的 20 个核心概念。作者不仅解释了 AI 底层运作原理（如分词、注意力机制），还介绍了模型优化手段（如微调、RLHF）及前沿应用架构（如 RAG、Agent、思维链），是一份简洁全面的 AI 技术入门指南。
2026年你必须理解的20个AI核心概念
文章通俗易懂地解释了现代AI的基础原理，涵盖神经网络、Token化、Embeddings、注意力机制及Transformers架构。深入探讨了LLM的工作原理，如上下文窗口、温度控制和幻觉问题，并讲解了提示词工程技巧。
从零构建 LLM 架构并转化为高薪职业的指南
本文详细介绍了如何从零开始学习大语言模型（LLM）架构。内容涵盖了从掌握 Python 基础、理解神经网络和 Transformer 原理，到深入掌握 Tokenization、Embedding、Attention 机制及 RAG 技术等核心概念。文章还提供了具体的学习路线图，并探讨了通过自由职业、构建 SaaS 产品、远程工作及自动化代理等方式将 LLM 技能转化为高美元收入的职业路径。
DeepSeek新论文解读：用“手指着图片思考”的多模态推理框架
DeepSeek发布新论文，提出一种名为“视觉原语”的多模态推理框架。不同于业界卷分辨率的趋势，该模型通过在思维链中嵌入边界框和坐标点，模拟人类用手指着图片思考的过程，有效解决了语言在空间指代上的局限。DeepSeek-ViT配合LLM将视觉Token压缩至竞品的十分之一，但在空间推理、计数和迷宫导航等任务上性能超越GPT-5.4等顶尖模型。
如何成为一名机器学习工程师：完全指南
本文是一份详细的机器学习（ML）工程师学习路径指南。作者首先纠正了被动观看视频的学习误区，提出“两遍学习法”以建立深刻的技术理解。文章明确了ML工程师与数据科学家及研究员的区别，强调工程实现能力。随后，作者将学习路径分为两个阶段：第一阶段利用 3Blue1Brown 的视频构建数学直觉，涵盖神经网络、梯度下降、反向传播及 Transformer 架构；第二阶段（文中截断处未完）预告将通过 Andrej Karpathy 的课程来提升代码实现能力。
当软件像牛奶一样便宜，我们还要交付什么 - INDIGO TALK EP52
本期 INDIGO TALK 对谈字节前工程师郭宇，从 2015 年字节作为神经网络驱动公司的往事讲起，谈到抖音意外胜出的内幕、Vibe Coding 背后的决策负担与工程师倦怠、Agent OS 的未来图景、智能的五个层次与商品化，以及软件为何会像牛奶一样便宜。当软件可以随时生成、用完即丢，个人化软件让分发失去意义，我们真正要交付的是什么？最后讨论当工作不再是必选项时，年轻人该如何选择人生方向。
AI 工程师面试：大厂反复考的 25 道通用题
文章总结了 AI 工程师面试中各科技大厂（OpenAI、Meta、DeepSeek、Anthropic 等）反复考察的高频题目，覆盖三大模块：LLM 内部原理（attention、KV cache、RoPE、MoE、scaling laws、解码策略等）、推理部署与 GPU 性能（continuous batching、PagedAttention、量化、并行策略、显存估算、延迟指标等），以及 RAG、Agent、微调、评测、安全、多模态、系统设计等方向。作者指出各家面试题高度重合，建议优先刷这些通用题以获得最高性价比。
Andrej Karpathy 与 GPT 七年演进：理解 Transformer 与 LLM 架构
文章回顾 Andrej Karpathy 在 OpenAI 七年间见证 GPT 从 1.17 亿参数增长到万亿参数的历程，强调 Transformer 是近 50 年计算领域最重要的架构。内容深入浅出地讲解 LLM 内部机制：文本被切分为 token 并映射为高维嵌入向量，模型通过注意力机制（Q、K、V 矩阵）学习上下文语义；Kaplan 提出的缩放定律证明性能随参数规模可预测提升；大模型还涌现出上下文学习、思维链推理等未显式编程的能力。作者指出 LLM 不是工具而是基础设施，真正赚钱的是理解底层架构并在此基础上构建的人。
Prefill & Decode made Crystal Clear
本文从第一性原理出发，逐步讲解 LLM 推理过程中 Prefill 和 Decode 两个阶段的真实含义。作者先介绍自回归模型逐 token 预测的基本机制，然后通过 ChatGPT 聊天的例子，展示文本如何经过分词、token ID、embedding 转化为 S×D 矩阵并进入 Transformer 层。重点澄清一个常见误解：处理输入 prompt 时模型并非逐个 token 顺序处理，而是因为所有输入 token 已知，可以并行处理——这一整个输入处理过程就是 Prefill。文章还引出因果掩码等问题，帮助读者建立对推理流程的正确直觉。
斯坦福大学 CS329Z「Engineering AI Agents」第二讲 LLMs for Builders：Agent 工程师必修的大模型底层原理
本文深度解读斯坦福 2026 秋季课程 CS329Z 第二讲「LLMs for Builders」讲义，面向 Agent 工程师系统讲解 LLM 底层原理。内容涵盖：自回归概率分解与解码采样策略；从 RNN 到 Transformer、线性注意力的架构演进及其工程取舍；预训练、中期训练与后训练（RLHF、RLVR）管线；推理阶段的 Prefill/Decode、KV Cache、投机解码与推理时扩展；最后落脚到 Agent 开发的结构化 I/O 与上下文工程实践，强调'设计决策→局限→应用策略'的因果链。
