作者认为 Agent Evaluation 是少数仍需人力判断、未来难以被 AI 彻底取代的职业方向，并推荐了 Hugging Face 公开的 Training Agent 课程作为入门资料。课程共六节：1）Agentic Evaluations，讲解如何评估 Agent 及 benchmark 与真实体验的差异；2）Agent 强化学习的难点，包括环境搭建与 reward 设计；3）用 Agent 执行轨迹做 SFT 微调；4）将大模型能力蒸馏给小 Agent；5）SFT 后用 GRPO 继续 RL 训练；6）用 OpenEnv 搭建真实环境并训练 coding agent。视频公开在 YouTube，代码全部开源。
Sebastian Raschka 公开了一套完整课程《Building Reasoning Models from the Ground Up》，包含 8 节视频、11+ 小时内容，基于 Qwen3 0.6B 小模型，用 Python + PyTorch 实现现代推理模型的关键技术，包括 Inference-Time Scaling、Verifier、GRPO 强化学习、KL/Clipping 训练稳定性控制、Reward Hacking 以及基于 DeepSeek-R1 数据的推理蒸馏。课程让学习者可以亲手运行训练循环，观察模型生成推理路径、根据奖励更新参数的全过程，大幅降低了理解推理模型的门槛，使推理模型训练从少数实验室技术变为可动手验证的工程知识。
《从零构建大模型》作者 Sebastian Raschka 推出 8 集共 11 小时的免费视频课，配合新书《从零构建推理模型》，教你用 PyTorch 基于 Qwen3 0.6B 从零实现推理模型。课程内容涵盖 KV cache、数学答案验证器、self-consistency 多数投票、自我修正、简化版 GRPO（RLVR）训练、reward hacking 以及 DeepSeek R1 蒸馏。前几集 CPU 或 Mac Apple 芯片即可运行，只需会 Python 和 PyTorch 即可直接学习。视频与代码仓库均已开源。
本文解读 Fireworks AI 官方 Training API Cookbook 中一篇实战教程，讲解如何结合 HUD 框架与 Fireworks Serverless Training API，在无本地 GPU 条件下用 GRPO 风格强化学习微调 LoRA 适配器。文章详细拆解了四步工作流程：环境配置、任务校准、单步训练和长跑训练，重点阐释了快照隔离、trace 记录、loss masking、组内优势归一化等核心训练机制。实验结果显示四位数乘法任务准确率从 78.1% 提升至 98.4%，但作者指出收益主要来自输出格式和自我节制的优化，而非深层算术能力的提升。文章还提醒了 checkpoint 语义区分等实操要点，并对教程的严谨设计给予高度评价。
作者评述中关村学院何纪言老师带领 7 位博士生用 3 个月从预训练、中训练到后训练完全自主训练出 7B 模型并达到 SOTA 水平。文章提出三点观察：一是当前模型能力远未到全自主程度，在架构设计、算法设计等方面仅达 L2 辅助水平；二是模型训练会者不难，MiMo V2.6 RL 仅花 300 多万美金即达高水平，说明关键是人才而非算力堆砌；三是数据是新的代码，数据质量如同代码质量一样重要，该模型在数据清洗、课程学习、上下文扩增和 RL 优化上做了深入工作。
斯坦福大学 NLP 团队开设的 LLM 全景课程 CME 295，由知名速查表作者 Amidi 兄弟主讲，用 9 次讲座系统覆盖 LLM 全知识地图。课程分四大板块：基础（NLP 演进、Transformer 架构、MoE、注意力变体）、训练（预训练、SFT、LoRA、RLHF/DPO、PPO/GRPO/RLVR）、系统与工程（分布式训练、KV 缓存、投机解码、AI Agent 与 MCP 协议）、评估与前沿（LLM-as-a-judge、Diffusion LLM、多模态）。课程特点包括知识密度高、零作业两次考试、前沿覆盖度好，并配有公开的 Study Guide 和 15 语言速查表，适合已懂基础 ML、想系统理解 LLM 原理与最新趋势的学习者。
本文深入讲解强化学习的数学原理，重点推导策略梯度、REINFORCE、PPO 和 GRPO 等算法。作者首先介绍 RL 的基本流程（Agent、环境、奖励、策略），并通过数学推导得到策略梯度估计器。随后指出原始策略梯度存在的高方差和偏置问题，引入 REINFORCE 算法进行改进。文章还结合 RLHF 和 RLVR 在大语言模型训练中的应用背景，说明 RL 在 LLM 对齐及数学、编程能力提升中的重要作用，帮助读者理解现代 LLM 强化学习训练的底层机制。
本文是《训练智能体》系列课程的补充材料，探讨了前沿实验室在2026年如何利用强化学习（RL）训练模型。文章回顾了从RLHF到RLVR的演变，指出可验证奖励已成为主流，GRPO算法衍生出多种变体，并强调了RL从单一答案向环境交互的转变。通过引用OpenAI、DeepSeek、Meta等实验室的报告，展示了这些模式的实际应用。
本文介绍了如何使用 Prime Intellect 的 Verifiers 框架从零开始构建一个用于强化学习（RL）的 Othello（黑白棋）游戏环境。文章解释了 RL 循环的基本组成部分（状态、动作、奖励、环境），并利用 GRPO 算法替代传统的人工偏好模型。文中详细展示了技术栈、游戏循环逻辑以及内置的 Minimax 对手引擎代码，旨在帮助开发者理解并掌握构建模型无关的 RL 环境的核心方法。
本文汇总了35道2026年强化学习（RL）领域的面试核心问题。内容涵盖算法与基础设施两大方向，既包括PPO、GRPO等训练机制的原理探讨，也涉及分布式推理、显存优化等工程落地细节。作者强调现代RL岗位需要具备全栈理解能力，建议面试者不仅要熟记问题，更需深究背后的技术逻辑。
文章介绍了 Berkeley 团队提出的 GEPA 算法，该算法作为 GRPO 的替代方案，无需更新模型权重或进行 GPU 训练，仅通过优化提示词（Prompt）即可在 HotpotQA 等基准测试中取得更优成绩。GEPA 的核心在于利用 LLM 读取完整的推理轨迹，通过自然语言反思来迭代优化多模块系统中的每个提示词，从而避免了强化学习中将丰富信息压缩为单一标量信号的信息损耗问题。
文章探讨了 Anthropic、OpenAI 和 DeepSeek 等顶尖 AI 实验室在 2026 年关于强化学习（RL）的趋同思路，即使用系统提示作为奖励函数。内容详细梳理了 RL 在 LLM 中的应用历程，从 RLHF 到 RULER（Karpathy 提出的系统提示学习概念）的演变。重点介绍了 DeepSeek R1 利用可验证奖励（RLVR）突破传统瓶颈的机制，通过规则编译器直接提供信号，并结合 GRPO 算法移除了复杂的 Critic 和奖励模型，实现了从 15.6% 到 77.9% 的 AIME 数学成绩飞跃。
