Sebastian Raschka 公开了一套完整课程《Building Reasoning Models from the Ground Up》，包含 8 节视频、11+ 小时内容，基于 Qwen3 0.6B 小模型，用 Python + PyTorch 实现现代推理模型的关键技术，包括 Inference-Time Scaling、Verifier、GRPO 强化学习、KL/Clipping 训练稳定性控制、Reward Hacking 以及基于 DeepSeek-R1 数据的推理蒸馏。课程让学习者可以亲手运行训练循环，观察模型生成推理路径、根据奖励更新参数的全过程，大幅降低了理解推理模型的门槛，使推理模型训练从少数实验室技术变为可动手验证的工程知识。
《从零构建大模型》作者 Sebastian Raschka 推出 8 集共 11 小时的免费视频课，配合新书《从零构建推理模型》，教你用 PyTorch 基于 Qwen3 0.6B 从零实现推理模型。课程内容涵盖 KV cache、数学答案验证器、self-consistency 多数投票、自我修正、简化版 GRPO（RLVR）训练、reward hacking 以及 DeepSeek R1 蒸馏。前几集 CPU 或 Mac Apple 芯片即可运行，只需会 Python 和 PyTorch 即可直接学习。视频与代码仓库均已开源。
文章以 GPT-3 与 InstructGPT 对比为例，解释为什么预训练只教会模型'猜下一个词'，却不能让它听指令、保证安全、做长链推理，因此需要后训练来弥补目标差距。文章对比了预训练与后训练在目标、数据、信号、成本和改动幅度上的差异，并系统介绍了三种后训练技术：指令微调（跟示范学）、偏好对齐（RLHF/DPO，靠比较学）、RLVR（由可验证检查器判对错）。全文用通俗类比讲清后训练的原理，是后训练系列文章的第一篇。
本文介绍斯坦福大学 2026 春季研究生课程 CS336「从零构建语言模型」。该课程由 Hashimoto 和 Liang 教授讲授，工程量极大，学生需亲手实现 tokenizer、模型、FlashAttention2 内核及分布式训练。内容覆盖 LLM 全生命周期：模型架构、系统优化（GPU/内核/并行）、Scaling Laws、数据处理、推理评估及后训练对齐（含 RLVR）。五次编程作业串起从原始数据到可对话模型的完整生产流程。目前 18 讲视频与作业已全部公开，是自学者系统补齐 LLM 工程能力的稀缺资源，但要求扎实的 PyTorch 与体系结构基础。
文章指出数学有 Lean、代码有编译器和测试作为不可欺骗的裁判，而物理缺乏机器验证器，导致物理 AI 卡在起跑线前。作者分析 LLM 最擅长伪造物理学家依赖的廉价可信信号（量纲一致、推导自洽、独立路径吻合等），且最危险的错误是将近似用在适用域之外。文章借鉴数学和代码领域建立裁判后能力爆发的经验，提出为物理构建可机检的验证层，输出覆盖度证书，包含量纲检查、对称性验证、数值模拟交叉验证和强制隔离的多路径推导，目标客户是做物理的 AI Agent。
本文是《训练智能体》系列课程的补充材料，探讨了前沿实验室在2026年如何利用强化学习（RL）训练模型。文章回顾了从RLHF到RLVR的演变，指出可验证奖励已成为主流，GRPO算法衍生出多种变体，并强调了RL从单一答案向环境交互的转变。通过引用OpenAI、DeepSeek、Meta等实验室的报告，展示了这些模式的实际应用。
