如何成为一名机器学习工程师：完全指南
本文是一份详细的机器学习（ML）工程师学习路径指南。作者首先纠正了被动观看视频的学习误区，提出“两遍学习法”以建立深刻的技术理解。文章明确了ML工程师与数据科学家及研究员的区别，强调工程实现能力。随后，作者将学习路径分为两个阶段：第一阶段利用 3Blue1Brown 的视频构建数学直觉，涵盖神经网络、梯度下降、反向传播及 Transformer 架构；第二阶段（文中截断处未完）预告将通过 Andrej Karpathy 的课程来提升代码实现能力。
相关文档
图解 Transformer 架构：从原理到细节的全面解析
本文深入浅出地解析了 Transformer 架构，它是现代大语言模型（LLM）的核心。文章从宏观视角出发，通过解码的方式，逐一拆解了 Transformer 的关键组件，包括编码器与解码器、分词与嵌入、位置编码、注意力机制（Attention）以及多头注意力等。作者详细解释了该架构如何解决传统模型的“遗忘”和“慢速”问题，实现了并行处理和长距离依赖捕捉，并最后阐述了其强大的原因。
从零手写大模型系列完结了
作者宣布「从零手写大模型」系列完结，共20篇，包括推理篇15篇和训练篇5篇。推理篇涵盖分词器、嵌入层、位置编码、自注意力机制、多头注意力、残差连接、层归一化、Transformer模块等内容；训练篇涵盖损失函数、反向传播、梯度下降、Adam优化器和学习率调度。每篇都有可练习的代码示例，帮助读者理解模型如何生成文字以及如何从误差中学习更新参数。作者强调理论公式是精华，代码多被PyTorch封装。系列笔记已发布在个人网站上，欢迎交流指正。
AI 眼里根本没有猫，那它到底是怎么认出猫的？｜从 0 开始理解大模型底层
本文从最简单的线性模型 y=wx+b 出发，逐步拆解神经网络识别图片的原理。作者解释了为何单层线性计算表达能力不足，堆叠多层也仍会退化为一次线性变换，因此需要 ReLU 等激活函数引入非线性。随后说明图像如何从原始像素经多层计算被加工成适合任务的内部表示，并澄清了'第一层看线条、第二层看耳朵'的常见误解。文章还介绍了万能逼近定理的含义与局限、CNN 与 Transformer 的关系，以及模型为何是黑箱与机制可解释性，最后引出过拟合问题，为下一篇泛化主题做铺垫。
Karpathy GitHub 上最重要的 5 个仓库：从零学习 AI 基础
本文介绍了 Andrej Karpathy 的 GitHub 上五个最具教育价值的仓库：micrograd、nanoGPT、minGPT、llm.c 和 nanochat。这些仓库以极简和清晰著称，帮助学习者从零理解神经网络、反向传播、GPT 架构、底层实现和完整的 LLM 系统。文章强调了主动学习的重要性，并提供了实践学习路径，帮助读者从基础原理到实际应用建立直觉。
Math Behind Large Language Model
本文介绍了大语言模型背后的数学原理，涵盖Attention机制、缩放因子、反向传播、梯度下降、交叉熵损失、RoPE位置编码和RMSNorm归一化等核心概念。
从零到 AI 工程师的 4 个月速成路径
本文指出 AI 工程是当前增长最快的高薪职位之一，且学历门槛正在降低。文章为转行者规划了一条为期 4 个月的高效学习路径，强调跳过繁重的数学理论，专注于 API 调用、Prompt 设计和 RAG 等工程落地技能，并分析了常见的转型误区与市场机遇。
20 张手绘图讲透 AI 核心概念
本文翻译整理了一组在 X 上广为流传的 AI 科普手绘图，涵盖从神经网络、Transformer 架构到大语言模型（LLM）的 20 个核心概念。作者不仅解释了 AI 底层运作原理（如分词、注意力机制），还介绍了模型优化手段（如微调、RLHF）及前沿应用架构（如 RAG、Agent、思维链），是一份简洁全面的 AI 技术入门指南。
从零构建 LLM 架构并转化为高薪职业的指南
本文详细介绍了如何从零开始学习大语言模型（LLM）架构。内容涵盖了从掌握 Python 基础、理解神经网络和 Transformer 原理，到深入掌握 Tokenization、Embedding、Attention 机制及 RAG 技术等核心概念。文章还提供了具体的学习路线图，并探讨了通过自由职业、构建 SaaS 产品、远程工作及自动化代理等方式将 LLM 技能转化为高美元收入的职业路径。
LoRA - LLMs 的低秩适配详解
文章详细介绍了 LoRA (Low-Rank Adaptation) 技术，这是一种用于高效微调大型语言模型的方法。通过冻结原始权重并学习两个极小的低秩矩阵，LoRA 能够在保持模型性能的同时，大幅降低显存占用、训练成本和存储空间。文章还解释了 LoRA 的核心数学原理、具体实施步骤以及为何全量微调成本高昂的原因。
From Big Tech SWE to AI Infra (Part 2): What I Learned in My First Year
作者分享从大厂软件工程师转向 AI 基础设施方向一年的学习历程与心得。毕业加入大厂后，因工作缺乏主动性空间和创造感，三个月后决定转向 AI infra。通过学习基础知识、深入研读 SGLang 源码、参与社区贡献，逐步加入 SGLang-Omni 项目并进入一家 AI infra 创业公司。作者认为这一年是高回报率的一年，但也指出 AI 领域竞争激烈、节奏快，转行需权衡个人追求。文章最后强调了开源的重要性，认为强大的 AI 工具不应只掌握在少数公司手中，呼吁更多人参与开源社区。
Ilya 推荐的 30 篇 AI 论文清单：30u30 拆解学习项目
Ilya 曾推荐一份包含 30 篇论文的 AI 学习清单，称读懂即可掌握当下 AI 90% 的要点。30u30 项目将这份清单拆成 30 天课程，一天一篇，从 RNN、LSTM 学到 Transformer，最终到 ChatGPT 背后的 RLHF。每篇配有大白话讲解、'讲给 5 岁小孩听'的速览、从零实现的代码及配图，每天还附 5 道练习题。代码可在普通电脑 CPU 上运行，适合想转 AI 方向的学生或想理解 ChatGPT 原理的用户跟随学习。
Andrej Karpathy 与 GPT 七年演进：理解 Transformer 与 LLM 架构
文章回顾 Andrej Karpathy 在 OpenAI 七年间见证 GPT 从 1.17 亿参数增长到万亿参数的历程，强调 Transformer 是近 50 年计算领域最重要的架构。内容深入浅出地讲解 LLM 内部机制：文本被切分为 token 并映射为高维嵌入向量，模型通过注意力机制（Q、K、V 矩阵）学习上下文语义；Kaplan 提出的缩放定律证明性能随参数规模可预测提升；大模型还涌现出上下文学习、思维链推理等未显式编程的能力。作者指出 LLM 不是工具而是基础设施，真正赚钱的是理解底层架构并在此基础上构建的人。
