SFT、RL 与 On-Policy 蒸馏：原理与差异
本文深入探讨了模型后训练中的 SFT 与 RL 流程，重点分析了基于同族模型（Same-family）的 On-Policy 蒸馏（OPD）技术。文章解释了 SFT 存在性能天花板的原因，以及 RL 如何通过复利效应突破这一限制。作者指出 OPD 结合了 SFT 的低成本和 RL 的复合优势，能高效利用教师模型的反向 KL 散度信号，是实现高性能模型微调的关键手段。
相关文档
预训练之后，为什么还要后训练？
文章以 GPT-3 与 InstructGPT 对比为例，解释为什么预训练只教会模型'猜下一个词'，却不能让它听指令、保证安全、做长链推理，因此需要后训练来弥补目标差距。文章对比了预训练与后训练在目标、数据、信号、成本和改动幅度上的差异，并系统介绍了三种后训练技术：指令微调（跟示范学）、偏好对齐（RLHF/DPO，靠比较学）、RLVR（由可验证检查器判对错）。全文用通俗类比讲清后训练的原理，是后训练系列文章的第一篇。
CMU 秋季新课 AI Agents：OpenHands 作者亲授，从零搭 Harness、建评测、用 RL 训智能体
CMU LTI 2026 年秋季新开研究生课程 11-768: AI Agents，由 OpenHands 核心开发者 Graham Neubig 与 Daniel Fried 共同讲授。课程以"搭 harness→建评测→RL 训练→做研究"流水线为主线，涵盖工具调用、上下文管理、技能与记忆、规划、安全、框架实践等模块，密集邀请一线学者客座授课。作业要求学生在开源 LLM 之上从零实现 ReAct Agent、设计评测框架并完成 SFT/RL 训练，工程细节对标生产级 Agent 系统。期末研究项目占 50% 成绩。PPT、视频与作业仓库全部公开，是目前系统学习 LLM Agent 建造、评测与训练最完整的公开课程。
RLMs are the new reasoning models
本文探讨了递归语言模型作为一种新的推理范式的重要性。RLM 通过将模型自己的提示视为可检查、切片和递归查询的环境，直接结合了推理和工具使用。文章回顾了推理和工具使用的历史发展，从思维链到 ReAct，再到 OpenAI o1 和 Claude 的工具使用。最新研究显示，RLM 在长上下文、记忆和长推理任务中表现出色，克服了传统单次前向传播的局限。
Agent Evaluation：难以被 AI 取代的职业方向及 Hugging Face 学习资料推荐
作者认为 Agent Evaluation 是少数仍需人力判断、未来难以被 AI 彻底取代的职业方向，并推荐了 Hugging Face 公开的 Training Agent 课程作为入门资料。课程共六节：1）Agentic Evaluations，讲解如何评估 Agent 及 benchmark 与真实体验的差异；2）Agent 强化学习的难点，包括环境搭建与 reward 设计；3）用 Agent 执行轨迹做 SFT 微调；4）将大模型能力蒸馏给小 Agent；5）SFT 后用 GRPO 继续 RL 训练；6）用 OpenEnv 搭建真实环境并训练 coding agent。视频公开在 YouTube，代码全部开源。
指令微调：理解 Instruction Tuning
本文是后训练系列第二篇，介绍指令微调（SFT）。以斯坦福 Alpaca 用 52,000 条自动生成的数据微调 LLaMA 7B 为例，说明指令微调与预训练使用相同的下一个 token 预测损失，但数据和任务不同。文章详细讲解训练五步骤：收集、格式化、掩码、训练、评测，并通过 LIMA 和 FLAN 研究说明指令微调主要改变模型行为方式而非增加知识，少量数据即可泛化到新任务。还介绍了损失掩码原理、位置错开的实现细节、指令数据的三种来源及其局限：无法补充知识、比较回答优劣或检验正确性。
UC Berkeley 2026 秋季课程《Scalable AI》：从架构、预训练到推理的全栈工程
文章介绍 UC Berkeley EECS 2026 秋季开设的《Scalable AI》课程（EE 290/194），由 Anant Sahai 与焦剑涛联合授课，NVIDIA 提供算力支持。课程将大模型作为端到端工程对象教授，涵盖架构、预训练、后训练、高效推理、应用与研究前沿六个阶段，采用基于真实 H100 节点的项目制考核，无笔试，研究项目占 50% 且要求外部影响力证明。课程深度绑定 NVIDIA NeMo 工具链，反映了 AI 教育重心从论文向工程实践迁移的趋势，适合目标为 LLM infra 与 MLSys 的学生。
台大李宏毅教授 2026 机器学习课程更新：大模型时代的 Agent 与自我进化
文章介绍台湾大学李宏毅教授 2026 春季机器学习课程，该课程完成了从经典机器学习到大模型时代前沿课的彻底转型。课程以四幕叙事展开：AI Agent 与 Context Engineering、模型内部架构（Flash Attention、KV Cache、位置编码）、模型教育（Harness Engineering、自我修正）、模型自我成长（Self-Improving、自我进化 Agent）。十次硬核作业与授课主题严格对应，涵盖 LLM 安全、Agent 搭建、推理优化、后训练等技能。文章认为课程演变折射学科趋势：Agent 成应用层范式、系统级工程能力重要、后训练时代重心移向环境设计与模型自我进化。
中关村学院 3 个月从零训练 7B SOTA 模型的启示
作者评述中关村学院何纪言老师带领 7 位博士生用 3 个月从预训练、中训练到后训练完全自主训练出 7B 模型并达到 SOTA 水平。文章提出三点观察：一是当前模型能力远未到全自主程度，在架构设计、算法设计等方面仅达 L2 辅助水平；二是模型训练会者不难，MiMo V2.6 RL 仅花 300 多万美金即达高水平，说明关键是人才而非算力堆砌；三是数据是新的代码，数据质量如同代码质量一样重要，该模型在数据清洗、课程学习、上下文扩增和 RL 优化上做了深入工作。
从零手写大模型系列完结了
作者宣布「从零手写大模型」系列完结，共20篇，包括推理篇15篇和训练篇5篇。推理篇涵盖分词器、嵌入层、位置编码、自注意力机制、多头注意力、残差连接、层归一化、Transformer模块等内容；训练篇涵盖损失函数、反向传播、梯度下降、Adam优化器和学习率调度。每篇都有可练习的代码示例，帮助读者理解模型如何生成文字以及如何从误差中学习更新参数。作者强调理论公式是精华，代码多被PyTorch封装。系列笔记已发布在个人网站上，欢迎交流指正。
MIT 多模态 AI 课程 2026 版全套上线：视频免费在线学
MIT 由 Paul Liang 主讲的《How to AI (Almost) Anything / Multimodal AI》2026 春季课程全套视频免费上线。课程涵盖多模态学习完整技术栈：异构数据表示与融合、跨模态对齐、多模态生成、推理（RLHF、DeepSeek-R1、DPO）、智能体、跨模态迁移，以及触觉、嗅觉等新模态与自进化 AI 等前沿方向。相比 2025 版，新增多模态推理、智能体、自进化 AI 模块及制造、城市、交通等应用课。适合有机器学习基础的学习者系统建立多模态 AI 知识框架，课程网站与 YouTube 播放列表均可免费访问。
The Missing Pieces in Recursive Self-Improvement
文章探讨递归自我改进（RSI）的瓶颈：当前 AI 智能体虽能迭代优化结果，却很少重新审视改进背后的策略。基于清华大学等机构的实证研究，分析显示智能体在 5,111 次训练运行中能显著提升模型性能，但仅有约 2% 的情况会切换训练策略，多停留在执行层面的微调。增加经验、人工指导或推理算力均无法根本解决该问题。研究指出，迭代不等于重新思考，Metaⁿ 和 Recuris 等新方法尝试通过递归分层改进策略、演化记忆机制来弥补这一缺失。
GLM 5.3: Scaling with Post-training, Intuitively Explained
文章解析了 GLM-5.3 如何在不重新预训练的情况下，仅通过规模化后训练（RL）超越 GLM-5.2，印证了 Sutton 的苦涩教训。重点包括：一是面向真实专家工作的环境设计，用研究代理生成长时程任务，配合严格的验证器三重检查防止 reward hacking；二是沿用 GLM-5.2 的 MoE 架构（744B 总参、~40B 激活），采用 MLA 压缩 KV cache、DeepSeek 稀疏注意力降低长上下文成本、MTP 投机解码平均每次接受约 4.5 个 token，以及 IndexShare 在相邻层共享索引实现 2.9 倍 FLOPs 节省；三是 SAO 算法与 slime 基础设施，将低廉的 rollout 转化为稳定的大规模后训练。
