How frontier models train on outcomes in 2026
本文是《训练智能体》系列课程的补充材料，探讨了前沿实验室在2026年如何利用强化学习（RL）训练模型。文章回顾了从RLHF到RLVR的演变，指出可验证奖励已成为主流，GRPO算法衍生出多种变体，并强调了RL从单一答案向环境交互的转变。通过引用OpenAI、DeepSeek、Meta等实验室的报告，展示了这些模式的实际应用。
相关文档
现在普通人也能从零训练一个 Reasoning Model 了
Sebastian Raschka 公开了一套完整课程《Building Reasoning Models from the Ground Up》，包含 8 节视频、11+ 小时内容，基于 Qwen3 0.6B 小模型，用 Python + PyTorch 实现现代推理模型的关键技术，包括 Inference-Time Scaling、Verifier、GRPO 强化学习、KL/Clipping 训练稳定性控制、Reward Hacking 以及基于 DeepSeek-R1 数据的推理蒸馏。课程让学习者可以亲手运行训练循环，观察模型生成推理路径、根据奖励更新参数的全过程，大幅降低了理解推理模型的门槛，使推理模型训练从少数实验室技术变为可动手验证的工程知识。
Sebastian Raschka 免费视频课：从零构建推理模型
《从零构建大模型》作者 Sebastian Raschka 推出 8 集共 11 小时的免费视频课，配合新书《从零构建推理模型》，教你用 PyTorch 基于 Qwen3 0.6B 从零实现推理模型。课程内容涵盖 KV cache、数学答案验证器、self-consistency 多数投票、自我修正、简化版 GRPO（RLVR）训练、reward hacking 以及 DeepSeek R1 蒸馏。前几集 CPU 或 Mac Apple 芯片即可运行，只需会 Python 和 PyTorch 即可直接学习。视频与代码仓库均已开源。
从零手写大模型系列完结了
作者宣布「从零手写大模型」系列完结，共20篇，包括推理篇15篇和训练篇5篇。推理篇涵盖分词器、嵌入层、位置编码、自注意力机制、多头注意力、残差连接、层归一化、Transformer模块等内容；训练篇涵盖损失函数、反向传播、梯度下降、Adam优化器和学习率调度。每篇都有可练习的代码示例，帮助读者理解模型如何生成文字以及如何从误差中学习更新参数。作者强调理论公式是精华，代码多被PyTorch封装。系列笔记已发布在个人网站上，欢迎交流指正。
斯坦福新课 CME 295：9 讲走完 Transformer → RLHF → AI Agent → Diffusion LLM 全部知识地图
斯坦福大学 NLP 团队开设的 LLM 全景课程 CME 295，由知名速查表作者 Amidi 兄弟主讲，用 9 次讲座系统覆盖 LLM 全知识地图。课程分四大板块：基础（NLP 演进、Transformer 架构、MoE、注意力变体）、训练（预训练、SFT、LoRA、RLHF/DPO、PPO/GRPO/RLVR）、系统与工程（分布式训练、KV 缓存、投机解码、AI Agent 与 MCP 协议）、评估与前沿（LLM-as-a-judge、Diffusion LLM、多模态）。课程特点包括知识密度高、零作业两次考试、前沿覆盖度好，并配有公开的 Study Guide 和 15 语言速查表，适合已懂基础 ML、想系统理解 LLM 原理与最新趋势的学习者。
本周顶级AI论文精选（9月7日-13日）
DAIR.AI发布本周（9月7日-13日）顶级AI论文精选，涵盖五篇论文：Procedural Graphs提出用显式程序图指导长时程智能体，减少动作漂移；FrogNano证明4B编码智能体可通过纯强化学习与在线任务合成达到竞争性能；STAIR利用目录结构改进生成式检索，显著提升召回率并降低幻觉；AI-Native Design Docs主张以自然语言设计文档为持久产物，由编码子智能体重新生成实现；PARSER将阅读与推理分离，通过并行子智能体与迭代散射-聚集提升长文档处理效率。
本周顶级AI论文精选（7月27日-8月2日）
本文介绍了本周精选的六篇顶级AI论文，涵盖NVIDIA的面向对象智能体框架、策略优化的ReOPD方法、隐性推理现象、Molt智能体强化学习训练框架、JAXBench TPU内核优化基准以及ACM生产智能体研究。
如何从头构建一个 RL 环境：以 Othello 游戏为例
本文介绍了如何使用 Prime Intellect 的 Verifiers 框架从零开始构建一个用于强化学习（RL）的 Othello（黑白棋）游戏环境。文章解释了 RL 循环的基本组成部分（状态、动作、奖励、环境），并利用 GRPO 算法替代传统的人工偏好模型。文中详细展示了技术栈、游戏循环逻辑以及内置的 Minimax 对手引擎代码，旨在帮助开发者理解并掌握构建模型无关的 RL 环境的核心方法。
LLM 优化面试笔记：训练与推理核心技术
这是一份针对 AI 实验室面试准备的笔记，涵盖了高效训练和部署大语言模型（LLM）的核心优化策略。内容主要分为三部分：内存优化（如 Flash Attention、MQA/GQA、激活检查点）、计算优化（序列打包、高效变体 Transformer）以及推理优化（KV 缓存、投机解码、量化技术）。文章旨在总结在大规模模型开发中应对算力和内存瓶颈的关键技术。
无需更新权重的 GRPO 替代方案：GEPA 算法解析
文章介绍了 Berkeley 团队提出的 GEPA 算法，该算法作为 GRPO 的替代方案，无需更新模型权重或进行 GPU 训练，仅通过优化提示词（Prompt）即可在 HotpotQA 等基准测试中取得更优成绩。GEPA 的核心在于利用 LLM 读取完整的推理轨迹，通过自然语言反思来迭代优化多模块系统中的每个提示词，从而避免了强化学习中将丰富信息压缩为单一标量信号的信息损耗问题。
顶级AI实验室如何构建RL智能体：从RLHF到RULER的演进
文章探讨了 Anthropic、OpenAI 和 DeepSeek 等顶尖 AI 实验室在 2026 年关于强化学习（RL）的趋同思路，即使用系统提示作为奖励函数。内容详细梳理了 RL 在 LLM 中的应用历程，从 RLHF 到 RULER（Karpathy 提出的系统提示学习概念）的演变。重点介绍了 DeepSeek R1 利用可验证奖励（RLVR）突破传统瓶颈的机制，通过规则编译器直接提供信号，并结合 GRPO 算法移除了复杂的 Critic 和奖励模型，实现了从 15.6% 到 77.9% 的 AIME 数学成绩飞跃。
AI 早报：Anthropic 交付架构、LangChain 设计智能体与 Ai2 新颖性裁判研究
本期早报围绕智能体系统建设展开：一是 Anthropic 负责人解释 Claude 交付架构，将会话记录、运行框架与沙箱执行环境分离，使失败恢复不影响工作连续性；二是 LangChain 分享设计智能体的实践，将设计师的审美判断沉淀为技能与知识库，中位费用从 8 美元降至 0.50 美元；三是 Ai2 研究检验 LLM 判断研究想法新颖性的可靠性，发现提示词变化可导致准确率剧烈波动。此外还涵盖 Google A2UI 推理格式、Optiver 模型接入平台、小红书 AllSpark 数据管线及 K2 Lab 垂直 AI 产品等内容。
预训练之后，为什么还要后训练？
文章以 GPT-3 与 InstructGPT 对比为例，解释为什么预训练只教会模型'猜下一个词'，却不能让它听指令、保证安全、做长链推理，因此需要后训练来弥补目标差距。文章对比了预训练与后训练在目标、数据、信号、成本和改动幅度上的差异，并系统介绍了三种后训练技术：指令微调（跟示范学）、偏好对齐（RLHF/DPO，靠比较学）、RLVR（由可验证检查器判对错）。全文用通俗类比讲清后训练的原理，是后训练系列文章的第一篇。
