LoRA - LLMs 的低秩适配详解
文章详细介绍了 LoRA (Low-Rank Adaptation) 技术，这是一种用于高效微调大型语言模型的方法。通过冻结原始权重并学习两个极小的低秩矩阵，LoRA 能够在保持模型性能的同时，大幅降低显存占用、训练成本和存储空间。文章还解释了 LoRA 的核心数学原理、具体实施步骤以及为何全量微调成本高昂的原因。
相关文档
图解 Transformer 架构：从原理到细节的全面解析
本文深入浅出地解析了 Transformer 架构，它是现代大语言模型（LLM）的核心。文章从宏观视角出发，通过解码的方式，逐一拆解了 Transformer 的关键组件，包括编码器与解码器、分词与嵌入、位置编码、注意力机制（Attention）以及多头注意力等。作者详细解释了该架构如何解决传统模型的“遗忘”和“慢速”问题，实现了并行处理和长距离依赖捕捉，并最后阐述了其强大的原因。
Math Behind Large Language Model
本文介绍了大语言模型背后的数学原理，涵盖Attention机制、缩放因子、反向传播、梯度下降、交叉熵损失、RoPE位置编码和RMSNorm归一化等核心概念。
20 张手绘图讲透 AI 核心概念
本文翻译整理了一组在 X 上广为流传的 AI 科普手绘图，涵盖从神经网络、Transformer 架构到大语言模型（LLM）的 20 个核心概念。作者不仅解释了 AI 底层运作原理（如分词、注意力机制），还介绍了模型优化手段（如微调、RLHF）及前沿应用架构（如 RAG、Agent、思维链），是一份简洁全面的 AI 技术入门指南。
Mixture of Experts (MoE): Scaling AI with Specialized Models
文章深入探讨了混合专家模型（MoE），这是一种通过激活特定子网络来高效扩展 AI 模型的架构策略。文章回顾了 MoE 的历史背景，详细解释了其由门控网络和专家组成的结构及稀疏路由机制，并分析了其在 Transformer 中的应用、优势（如高效计算、参数扩展）以及面临的负载平衡和通信开销等挑战。
LLM 工程师必读的 12 篇研究论文
文章列出了每位 LLM 工程师必须阅读的 12 篇核心论文清单，涵盖了从 Transformer 架构、BERT、GPT-3 等基础模型，到扩展定律、Chinchilla 训练法则、RLHF 对齐技术，以及 LoRA 高效微调和 FlashAttention 等工程优化技术。这些论文构成了现代大模型理解、训练和部署的理论基石。
如何成为一名机器学习工程师：完全指南
本文是一份详细的机器学习（ML）工程师学习路径指南。作者首先纠正了被动观看视频的学习误区，提出“两遍学习法”以建立深刻的技术理解。文章明确了ML工程师与数据科学家及研究员的区别，强调工程实现能力。随后，作者将学习路径分为两个阶段：第一阶段利用 3Blue1Brown 的视频构建数学直觉，涵盖神经网络、梯度下降、反向传播及 Transformer 架构；第二阶段（文中截断处未完）预告将通过 Andrej Karpathy 的课程来提升代码实现能力。
Ilya 推荐的 30 篇 AI 论文清单：30u30 拆解学习项目
Ilya 曾推荐一份包含 30 篇论文的 AI 学习清单，称读懂即可掌握当下 AI 90% 的要点。30u30 项目将这份清单拆成 30 天课程，一天一篇，从 RNN、LSTM 学到 Transformer，最终到 ChatGPT 背后的 RLHF。每篇配有大白话讲解、'讲给 5 岁小孩听'的速览、从零实现的代码及配图，每天还附 5 道练习题。代码可在普通电脑 CPU 上运行，适合想转 AI 方向的学生或想理解 ChatGPT 原理的用户跟随学习。
Hugging Face 详细教程：从调用模型到微调与部署
本文是一篇 Hugging Face 平台的系统教程，从零讲解大模型开发的完整工作流：安装环境、登录 Hub、用 Pipeline 快速推理、理解 Tokenizer、加载模型、使用 Datasets 处理数据、用 Trainer 微调模型、通过 LoRA/PEFT 高效微调大模型、上传模型到 Hub，以及用 Spaces 部署 Gradio Demo。文章还涵盖模型选择要点、常见问题排查（如显存不足、tokenizer 配置、训练效果差）和分阶段学习路线，并附官方文档链接，适合想将大模型真正用起来的开发者入门与进阶。
Building an RL fine-tuning platform to train JEV-like decision models
本文介绍如何将开源 LLM（Qwen3-4B）改造为决策模型，构建小规模训练平台并产出 Gero-4B。作者在 MacBook（M5 Pro, 24GB）上使用 Apple MLX 进行 LoRA 微调，分三个阶段：架构改造（将 LM head 替换为共享线性打分层）、结构训练（学习题目格式）、强化学习训练（实现校准的置信度输出）。核心设计是每个选项独立分支的打分架构，通过自定义 KV cache 共享前缀表示，并利用注意力掩码隔离各分支，从结构上消除位置偏差。最终模型输出数值化、校准良好的概率分布，可直接用于自动化决策（如高置信度自动处理、低置信度转人工）。文章附有完整可运行的代码实现。
从零手写大模型系列完结了
作者宣布「从零手写大模型」系列完结，共20篇，包括推理篇15篇和训练篇5篇。推理篇涵盖分词器、嵌入层、位置编码、自注意力机制、多头注意力、残差连接、层归一化、Transformer模块等内容；训练篇涵盖损失函数、反向传播、梯度下降、Adam优化器和学习率调度。每篇都有可练习的代码示例，帮助读者理解模型如何生成文字以及如何从误差中学习更新参数。作者强调理论公式是精华，代码多被PyTorch封装。系列笔记已发布在个人网站上，欢迎交流指正。
AI 眼里根本没有猫，那它到底是怎么认出猫的？｜从 0 开始理解大模型底层
本文从最简单的线性模型 y=wx+b 出发，逐步拆解神经网络识别图片的原理。作者解释了为何单层线性计算表达能力不足，堆叠多层也仍会退化为一次线性变换，因此需要 ReLU 等激活函数引入非线性。随后说明图像如何从原始像素经多层计算被加工成适合任务的内部表示，并澄清了'第一层看线条、第二层看耳朵'的常见误解。文章还介绍了万能逼近定理的含义与局限、CNN 与 Transformer 的关系，以及模型为何是黑箱与机制可解释性，最后引出过拟合问题，为下一篇泛化主题做铺垫。
How To Fine-Tune a Small LLM on Your Own Data (Full Guide)
这是一篇关于微调小型LLM的完整实战指南。作者指出不需要70B大模型或昂贵算力，1.5B参数模型在200-500个优质样本上微调后，可在特定任务上超越通用提示的前沿模型。文章以商业融资文案生成为例，详细讲解了微调的实际目标、建立基线（纯提示、RAG、微调）的先后顺序，并分步骤介绍了小型基座模型选择（如Qwen2.5-1.5B）、数据权利合规、可复现数据下载、PDF文本提取与OCR、文本清洗、训练数据集构建、QLoRA训练、评估与部署，每一步均附完整代码。
