作者推荐 Nathan Lambert 的新书《Reinforcement Learning from Human Feedback》，这是首本系统覆盖 RLHF 与后训练的专著。文章总结了全书三大核心论点：RLHF 本质是解决难以明确表述的问题；后训练是在固定底盘上挖掘潜能的'引导理论'；数据远比算法重要。书籍内容涵盖指令微调、奖励模型、PPO/GRPO/DPO 等强化学习算法、RLVR、合成数据、过度优化、正则化与评估，最后指出 RLHF 已从哲学化的对齐成熟为产品工程，大模型性格可被设计但也存在被滥用的风险。
文章以 GPT-3 与 InstructGPT 对比为例，解释为什么预训练只教会模型'猜下一个词'，却不能让它听指令、保证安全、做长链推理，因此需要后训练来弥补目标差距。文章对比了预训练与后训练在目标、数据、信号、成本和改动幅度上的差异，并系统介绍了三种后训练技术：指令微调（跟示范学）、偏好对齐（RLHF/DPO，靠比较学）、RLVR（由可验证检查器判对错）。全文用通俗类比讲清后训练的原理，是后训练系列文章的第一篇。
文章介绍了NYU Tandon 2026年秋季由Anthropic研究员Pavel Izmailov开设的研究生课程《Language Models, Reinforcement Learning, Reasoning》。课程共13周，除Sutton & Barto教材外全部使用原始论文，沿「预训练→架构与训练效率→后训练RL→对齐与安全→前沿与未来」的主线展开，涵盖Attention机制、扩展律、Muon优化器、RLHF、GRPO与RLVR、奖励过优化、可扩展监督以及世界模型等前沿主题。文章分析了课程叙事逻辑，指出RL重回舞台中心、中国实验室工作成为正典、安全对齐被当作工程学科等趋势，并给出自学者建议。
本文介绍如何将开源 LLM（Qwen3-4B）改造为决策模型，构建小规模训练平台并产出 Gero-4B。作者在 MacBook（M5 Pro, 24GB）上使用 Apple MLX 进行 LoRA 微调，分三个阶段：架构改造（将 LM head 替换为共享线性打分层）、结构训练（学习题目格式）、强化学习训练（实现校准的置信度输出）。核心设计是每个选项独立分支的打分架构，通过自定义 KV cache 共享前缀表示，并利用注意力掩码隔离各分支，从结构上消除位置偏差。最终模型输出数值化、校准良好的概率分布，可直接用于自动化决策（如高置信度自动处理、低置信度转人工）。文章附有完整可运行的代码实现。
本文整理了 Latent Space 对 TypeSafe 联合创始人兼 CEO Diogo Almeida 的访谈。Diogo 曾参与 OpenAI 的 InstructGPT 与 RLHF 早期工作，但他质疑'讨人喜欢'与'帮助人做对事'并不一致，并认为 AI 的调用者将主要是代码而非人类。离开 OpenAI 后，他创办 TypeSafe，推出名为 Jev 的'系统一模型'（大型可编程模型），让模型输出可被代码直接使用的判断结果，而非聊天回复。他强调单位美元智力、可靠性与速度，反对刷榜，看好暗数据处理与 AI 深入 SaaS 流程的未来，目标是让模型像 VISA 一样成为不被谈论的基础设施。
斯坦福大学 NLP 团队开设的 LLM 全景课程 CME 295，由知名速查表作者 Amidi 兄弟主讲，用 9 次讲座系统覆盖 LLM 全知识地图。课程分四大板块：基础（NLP 演进、Transformer 架构、MoE、注意力变体）、训练（预训练、SFT、LoRA、RLHF/DPO、PPO/GRPO/RLVR）、系统与工程（分布式训练、KV 缓存、投机解码、AI Agent 与 MCP 协议）、评估与前沿（LLM-as-a-judge、Diffusion LLM、多模态）。课程特点包括知识密度高、零作业两次考试、前沿覆盖度好，并配有公开的 Study Guide 和 15 语言速查表，适合已懂基础 ML、想系统理解 LLM 原理与最新趋势的学习者。
Harvey与Baseten合作，为M&A尽职调查构建了递归语言模型（RLM）harness：将整个dataroom（最多80M token）加载进Python REPL，由根代理协调子代理分工审阅文档。在LAB Diligence基准上，该harness使七个模型的平均评分标准通过率提升39.1个百分点。此外，通过强化学习对Qwen3.5-122B-A10B编排模型进行后训练，将通过率从29.9%提升至63.0%。结果表明，任务专用harness内的后训练是文档密集型法律工作的可行路径，团队正在扩展训练GLM-5.3作为根模型。
本文推荐斯坦福研究生研讨课 CS329A，课程以'一线经验+论文精读'形式讲授如何构建自我改进的智能体，共 9 讲并全部收录于 YouTube。课程主线为：生成→验证→筛选→训练→更强模型的循环。内容涵盖 test-time compute scaling、稳健验证（ORM/PRM/Math-Shepherd/Weaver）、反馈学习（ReAct/RLEF/CAI）、规划与多步推理、RL scaling（STaR/GRPO/DAPO）、Deep Research Agents 及长期任务评估。核心结论：瓶颈在于验证而非生成，可验证领域（数学、代码）飞轮转得快，当前 RL 提升的是一致性而非根本能力。
本文深入讲解强化学习的数学原理，重点推导策略梯度、REINFORCE、PPO 和 GRPO 等算法。作者首先介绍 RL 的基本流程（Agent、环境、奖励、策略），并通过数学推导得到策略梯度估计器。随后指出原始策略梯度存在的高方差和偏置问题，引入 REINFORCE 算法进行改进。文章还结合 RLHF 和 RLVR 在大语言模型训练中的应用背景，说明 RL 在 LLM 对齐及数学、编程能力提升中的重要作用，帮助读者理解现代 LLM 强化学习训练的底层机制。
现有无标注强化学习（TTRL）多依赖多数票生成伪标签，难以处理医疗建议等复杂开放式任务。为此，文章提出SERPO（自进化判据策略优化）机制。它通过模型自身采样的回答提取质量判据生成奖励，无需任何外部监督或人工标注，并将收益直接写入模型权重。实验表明，SERPO不仅大幅提升了模型在垂直领域的性能，且在OOD测试和长程训练中持续进化，证明了其能将质量标准转化为持久的模型能力。
文章回顾了强化学习七十年跌宕起伏的发展历程。从心理学的效果律与数学的动态规划这两条根源讲起，梳理了教科书时期的理论奠基与早期边缘化。随后，深度学习的引爆带来了黄金年代，DQN与AlphaGo的辉煌让强化学习备受推崇。然而，样本效率等缺陷曾让其一度跌入谷底。如今，这门学科在大模型时代通过RLHF等技术奇迹般重生，再次站到了AI舞台的中央。
本文旨在从第一性原理出发探讨如何构建和训练 AI Agent。文章批评了过度依赖框架的教程，转而从底层构建了一个极简的“文本转图表”Agent。作者通过 Python 实现了一个包含 Canvas 环境的系统，深入解析了 Agent 如何通过 JSON 动作空间与环境交互，阐述了从监督微调（SFT）到强化学习（RL）的完整闭环，即“提示-行动-环境-奖励-梯度更新”，揭示了模型学习可执行指令逻辑的核心机制。
文章探讨了 Anthropic、OpenAI 和 DeepSeek 等顶尖 AI 实验室在 2026 年关于强化学习（RL）的趋同思路，即使用系统提示作为奖励函数。内容详细梳理了 RL 在 LLM 中的应用历程，从 RLHF 到 RULER（Karpathy 提出的系统提示学习概念）的演变。重点介绍了 DeepSeek R1 利用可验证奖励（RLVR）突破传统瓶颈的机制，通过规则编译器直接提供信号，并结合 GRPO 算法移除了复杂的 Critic 和奖励模型，实现了从 15.6% 到 77.9% 的 AIME 数学成绩飞跃。
