PyTorch 训练流程速查表
这是一份关于 PyTorch 训练流程的单页速查表。文章通过代码示例和原理解析，深入浅出地讲解了张量的核心概念、矩阵乘法、自动求导机制、反向传播以及梯度下降优化过程。同时涵盖了 `nn.Module` 常用组件如 Linear、ReLU 和 GELU 的使用，旨在帮助开发者快速理解深度学习引擎的运作原理。
相关文档
AI/ML 所需的线性代数知识（完整路线图）
本文旨在消除从事 AI/ML 工作对数学博士学位的恐惧，提供了一份精准的线性代数学习路线图。文章分为五个阶段：从标量、向量、矩阵等基础概念，到特征值、SVD（奇异值分解）等核心机器学习数学工具，再到连接微积分的梯度与雅可比矩阵。作者强调了掌握这些概念对于理解神经网络、PCA、推荐系统及 LoRA 微调等技术的重要性。
从零手写大模型系列完结了
作者宣布「从零手写大模型」系列完结，共20篇，包括推理篇15篇和训练篇5篇。推理篇涵盖分词器、嵌入层、位置编码、自注意力机制、多头注意力、残差连接、层归一化、Transformer模块等内容；训练篇涵盖损失函数、反向传播、梯度下降、Adam优化器和学习率调度。每篇都有可练习的代码示例，帮助读者理解模型如何生成文字以及如何从误差中学习更新参数。作者强调理论公式是精华，代码多被PyTorch封装。系列笔记已发布在个人网站上，欢迎交流指正。
Math Behind Large Language Model
本文介绍了大语言模型背后的数学原理，涵盖Attention机制、缩放因子、反向传播、梯度下降、交叉熵损失、RoPE位置编码和RMSNorm归一化等核心概念。
如何从零开始构建自己的大语言模型 (LLM)
文章揭秘了 GPT、Claude 等 LLM 背后通用的五阶段构建流程，指出数据质量而非架构才是核心。作者详细阐述了数据清洗、分词、训练目标（预测下一个 Token）及 Transformer 架构实现，并提供了包含 Tokenizer 和 PyTorch 模型的代码示例。
从零到 AI 工程师——没人真正讲清楚的路线图
本文为 AI 初学者提供了一份为期 14 周的实战路线图，旨在通过免费资源将新手培养成具备构建生产级 AI 系统能力的工程师。路线图包含六个阶段：环境搭建、AI 基础、机器学习基础、深度学习、现代 LLM 工程以及 Agent 与部署。文章强调动手实践，推荐了 OpenAI、Anthropic 官方教程及 GitHub 优质开源仓库，帮助学习者避开盲目刷证书的误区，真正掌握 AI 开发技能。
图解 Transformer 架构：从原理到细节的全面解析
本文深入浅出地解析了 Transformer 架构，它是现代大语言模型（LLM）的核心。文章从宏观视角出发，通过解码的方式，逐一拆解了 Transformer 的关键组件，包括编码器与解码器、分词与嵌入、位置编码、注意力机制（Attention）以及多头注意力等。作者详细解释了该架构如何解决传统模型的“遗忘”和“慢速”问题，实现了并行处理和长距离依赖捕捉，并最后阐述了其强大的原因。
900万参数，130行代码：从零构建微型语言模型 GuppyLM 教程
本文介绍了开发者 arman-bd 开源的微型语言模型 GuppyLM。该模型拥有 900 万参数，核心代码仅 130 行，可在免费 Colab 上 5 分钟训练完成。文章详细拆解了构建流程：利用模板生成 6 万条合成数据、训练 4096 词表的 BPE 分词器、搭建 6 层 Vanilla Transformer 架构以及优化推理环节。该项目旨在通过极简的实现，帮助开发者深入理解语言模型的数据工程、架构设计与训练循环。
如何成为一名机器学习工程师：完全指南
本文是一份详细的机器学习（ML）工程师学习路径指南。作者首先纠正了被动观看视频的学习误区，提出“两遍学习法”以建立深刻的技术理解。文章明确了ML工程师与数据科学家及研究员的区别，强调工程实现能力。随后，作者将学习路径分为两个阶段：第一阶段利用 3Blue1Brown 的视频构建数学直觉，涵盖神经网络、梯度下降、反向传播及 Transformer 架构；第二阶段（文中截断处未完）预告将通过 Andrej Karpathy 的课程来提升代码实现能力。
Ilya 推荐的 30 篇 AI 论文清单：30u30 拆解学习项目
Ilya 曾推荐一份包含 30 篇论文的 AI 学习清单，称读懂即可掌握当下 AI 90% 的要点。30u30 项目将这份清单拆成 30 天课程，一天一篇，从 RNN、LSTM 学到 Transformer，最终到 ChatGPT 背后的 RLHF。每篇配有大白话讲解、'讲给 5 岁小孩听'的速览、从零实现的代码及配图，每天还附 5 道练习题。代码可在普通电脑 CPU 上运行，适合想转 AI 方向的学生或想理解 ChatGPT 原理的用户跟随学习。
ESP32 小智 AI 接入 MCP 实战全指南
本文系统介绍 MCP（模型上下文协议）的概念、架构与应用场景，并以 ESP32 小智 AI 为载体提供 MCP 接入实战教程。文章首先将 MCP 比作 AI 的 USB-C 接口，讲解客户端-服务器架构及个人助理、自动编码、智能家居控制等应用；随后分别说明开源版小智服务端（xiaozhi-esp32-server）和官网版接入 MCP 的前置条件与配置步骤；最后手把手演示如何基于 FastMCP 开发自定义 MCP 工具（如天气查询），涵盖项目结构、通信管道、工具注册与配置管理等完整流程，帮助开发者拓展 AI 的能力边界。
Agent 开发入门｜最小版的智能体 Supervisor
本文是 Agent 开发入门系列的实操篇，教读者用 88 行 Python 代码实现一个最小化的 Supervisor（主管）智能体。Supervisor 本身不干活，只负责拆任务、派活给手下 worker（coder 和 tester）、并验收汇报。文章对比了子智能体、智能体团队与 Supervisor 三种模式的差异，详细讲解了 agent_loop 循环、工具定义、delegate 派活机制、上下文隔离等核心概念，并给出完整可运行的代码、环境配置步骤、运行示例及常见坑点说明，最后引导读者扩展更多 worker 角色。
Agent 开发入门｜手写一个 Claude Code，机制很多循环就一个
本文是开源系列「Learn Claude Code」的介绍入口，该系列共 20 集，从 102 行代码的 while 循环起步，逐步拆解 Claude Code 的 20 个机制。核心观点是：智能体机制很多，但循环就一个。文章介绍了 20 集地图，分为骨架（循环、工具、权限、钩子、计划）、干得久（子智能体、技能、压缩、记忆）、干得多（任务系统、后台任务、调度）、组队（多智能体协作）和外接（MCP）五段，并给出 S01 的完整安装运行教程，包括环境搭建、API 配置（支持 GLM、DeepSeek 等兼容服务）和常见错误排查。