《从零构建大模型》作者 Sebastian Raschka 推出 8 集共 11 小时的免费视频课，配合新书《从零构建推理模型》，教你用 PyTorch 基于 Qwen3 0.6B 从零实现推理模型。课程内容涵盖 KV cache、数学答案验证器、self-consistency 多数投票、自我修正、简化版 GRPO（RLVR）训练、reward hacking 以及 DeepSeek R1 蒸馏。前几集 CPU 或 Mac Apple 芯片即可运行，只需会 Python 和 PyTorch 即可直接学习。视频与代码仓库均已开源。
Sebastian Raschka 公开了一套完整课程《Building Reasoning Models from the Ground Up》，包含 8 节视频、11+ 小时内容，基于 Qwen3 0.6B 小模型，用 Python + PyTorch 实现现代推理模型的关键技术，包括 Inference-Time Scaling、Verifier、GRPO 强化学习、KL/Clipping 训练稳定性控制、Reward Hacking 以及基于 DeepSeek-R1 数据的推理蒸馏。课程让学习者可以亲手运行训练循环，观察模型生成推理路径、根据奖励更新参数的全过程，大幅降低了理解推理模型的门槛，使推理模型训练从少数实验室技术变为可动手验证的工程知识。
本文深入探讨了 AI 领域中备受争议的“蒸馏”技术。文章追溯了蒸馏从最初的模型压缩方法到如今被用于“蒸馏攻击”的演变过程，分析了其技术原理、规模化实现方式以及引发的伦理与竞争争议。通过访谈多位研究员，文章揭示了蒸馏并非简单的复制，而是涉及复杂系统工程，且不构成长期壁垒。同时，文章也讨论了蒸馏与数据飞轮的关系，以及行业对黑盒与白盒蒸馏的不同态度，呈现了这项技术背后的商业、伦理与竞争图景。
本文是《训练智能体》系列课程的补充材料，探讨了前沿实验室在2026年如何利用强化学习（RL）训练模型。文章回顾了从RLHF到RLVR的演变，指出可验证奖励已成为主流，GRPO算法衍生出多种变体，并强调了RL从单一答案向环境交互的转变。通过引用OpenAI、DeepSeek、Meta等实验室的报告，展示了这些模式的实际应用。
作者逐一核对了 10 门免费或部分免费的 AI 学习课程，并按学习阶段分为四站：零基础入门（吴恩达 AI for Everyone、Google 生成式 AI 路径）、提升 AI 使用能力（OpenAI Prompting 指南、Karpathy How I use LLMs）、补编程基础（哈佛 CS50x/CS50P/CS50AI）、动手实践（微软 Generative AI for Beginners、Claude Code in Action、n8n 搭 AI Agent）。每门课均附出品方、时长、费用、证书等详细信息和链接。作者建议不必全学，根据自己的阶段挑选两门深耕即可。
文章以 GPT-3 与 InstructGPT 对比为例，解释为什么预训练只教会模型'猜下一个词'，却不能让它听指令、保证安全、做长链推理，因此需要后训练来弥补目标差距。文章对比了预训练与后训练在目标、数据、信号、成本和改动幅度上的差异，并系统介绍了三种后训练技术：指令微调（跟示范学）、偏好对齐（RLHF/DPO，靠比较学）、RLVR（由可验证检查器判对错）。全文用通俗类比讲清后训练的原理，是后训练系列文章的第一篇。
本文指出合成数据远不止大规模推理或预训练数据配比设计，而是一个深度的数据研究问题。作者认为生成器本身就是研究课题：并非所有部分都需要 LLM，状态转移模型和离散事件仿真可以通过显式规则生成内部一致的世界历史。同时，人类知识与合成系统应结合——人类帮助设计训练分布、提升内容真实感、补充机器检查的判断盲区。作者以客服 agent 训练为例说明事件驱动仿真的优势，并展望自适应课程设计，认为物理/数学仿真 + LLM + 人类专家的组合将大有可为，应以固定预算下的训练提升来评判生成器。
作者复现 Nish Tahir 的《Build your own decision model》教程，在 CommonsenseQA 上验证基于语言模型单次前向读取选项 token 概率作为置信度的决策模型方法。复现发现教程方法成立但需补两个关键前提：读数位置必须放在 assistant 轮，模型需用 8B 而非 1.7B。温度缩放校准有效，而微调增益主要来自修正 harness。作者还将方法应用于素材席位判定任务，发现模型间一致标签不等于准确率，结论需以人工标签为准。核心启示：核对读数位置的概率质量、报告覆盖率、用独立数据拟合温度。
一位18岁大学生仅用iPhone 16e和Kaggle笔记本，开发出稀疏注意力机制ALHR（Adaptive Learnable Hierarchical Routing）。该方法通过给key矩阵构建静态二叉树，配合预算预测器、邻居搜索和树下降三步推理，让每个query只读取所需key。在1024 token的MQAR测试中，仅读取2.83%的key即可达到92.1%准确率（稠密基线94.9%），KV压缩35.3倍。训练分三段：先训稠密教师模型，再用其注意力矩阵标注top-k key训练树模块，最后无教师联合训练。目前因未做kernel优化比稠密注意力慢约10倍，代码由Claude Sonnet 5.5生成，Apache-2.0开源。
Anthropic 将 22 门 Claude 课程全部免费开放。作者逐一浏览后按从零基础到进阶的学习路径整理分类：一是入门课程如 Claude 101 和协作入门；二是面向开发者的 Claude Code 101、实战、Agent 技能与 Subagents；三是 API 开发路线，涵盖 Claude 平台、API 开发、MCP 入门与进阶及 Amazon Bedrock、Vertex AI 集成；四是面向开发者、小企业、学生、教育者等不同人群的 AI 素养课程。作者提醒读者不要只收藏不学习，建议今晚就挑一门课开始学习，真正掌握 Claude 的价值。
文章介绍了NYU Tandon 2026年秋季由Anthropic研究员Pavel Izmailov开设的研究生课程《Language Models, Reinforcement Learning, Reasoning》。课程共13周，除Sutton & Barto教材外全部使用原始论文，沿「预训练→架构与训练效率→后训练RL→对齐与安全→前沿与未来」的主线展开，涵盖Attention机制、扩展律、Muon优化器、RLHF、GRPO与RLVR、奖励过优化、可扩展监督以及世界模型等前沿主题。文章分析了课程叙事逻辑，指出RL重回舞台中心、中国实验室工作成为正典、安全对齐被当作工程学科等趋势，并给出自学者建议。
作者宣布「从零手写大模型」系列完结，共20篇，包括推理篇15篇和训练篇5篇。推理篇涵盖分词器、嵌入层、位置编码、自注意力机制、多头注意力、残差连接、层归一化、Transformer模块等内容；训练篇涵盖损失函数、反向传播、梯度下降、Adam优化器和学习率调度。每篇都有可练习的代码示例，帮助读者理解模型如何生成文字以及如何从误差中学习更新参数。作者强调理论公式是精华，代码多被PyTorch封装。系列笔记已发布在个人网站上，欢迎交流指正。
斯坦福大学 NLP 团队开设的 LLM 全景课程 CME 295，由知名速查表作者 Amidi 兄弟主讲，用 9 次讲座系统覆盖 LLM 全知识地图。课程分四大板块：基础（NLP 演进、Transformer 架构、MoE、注意力变体）、训练（预训练、SFT、LoRA、RLHF/DPO、PPO/GRPO/RLVR）、系统与工程（分布式训练、KV 缓存、投机解码、AI Agent 与 MCP 协议）、评估与前沿（LLM-as-a-judge、Diffusion LLM、多模态）。课程特点包括知识密度高、零作业两次考试、前沿覆盖度好，并配有公开的 Study Guide 和 15 语言速查表，适合已懂基础 ML、想系统理解 LLM 原理与最新趋势的学习者。
