OpenRLHF 作者发布 Agentic RL 框架 Molt：9K 行核心代码支持超大规模 MoE 训练
OpenRLHF 作者发布了新的强化学习框架 Molt。该框架采用纯 PyTorch 栈，核心代码仅约 9000 行，专注于 Agentic RL 研究。它支持 Qwen3.5-397B 到 GLM-5.2 753B 等超大规模 MoE 模型训练，无需依赖 Megatron，具备高度的代码可读性和可修改性。
相关文档
现在普通人也能从零训练一个 Reasoning Model 了
Sebastian Raschka 公开了一套完整课程《Building Reasoning Models from the Ground Up》，包含 8 节视频、11+ 小时内容，基于 Qwen3 0.6B 小模型，用 Python + PyTorch 实现现代推理模型的关键技术，包括 Inference-Time Scaling、Verifier、GRPO 强化学习、KL/Clipping 训练稳定性控制、Reward Hacking 以及基于 DeepSeek-R1 数据的推理蒸馏。课程让学习者可以亲手运行训练循环，观察模型生成推理路径、根据奖励更新参数的全过程，大幅降低了理解推理模型的门槛，使推理模型训练从少数实验室技术变为可动手验证的工程知识。
小米 MiMo-V2.6 技术报告：260 万美元 RL 算力与三维扩展，将万亿 MoE 模型推入前沿梯队
文章解读小米 LLM-Core 团队发布的 MiMo-V2.6 技术报告。核心主张是通过系统性扩展强化学习算力提升模型智能，需同时扩展训练批次、环境多样性和评分器三个维度。模型有 Pro（1.02T MoE）和 Flash（310B）两个规格，RL 后训练成本分别 260 万和 90 万美元。报告详述了中期训练优化、GRPO 训练细节、多 harness 训练、四层 reward hacking 防御、Groupwise Agentic Grading 评分体系、router 冻结发现及基础设施设计，最终性能进入与 Claude Opus 5 / GPT-5.6 同一梯队，并开源蒸馏模型、环境与 RL 框架。
免费的AI课程全指南：350+课程、5000+讲座替代你的学位
作者因厌倦在YouTube、Google和大学网站间费力搜寻AI学习资源，整理了一份完全免费的AI课程大全，涵盖350多门课程和5000多个讲座。内容按主题分类，包括深度学习、机器学习基础、优化、强化学习、概率图模型、贝叶斯深度学习、医学影像、图神经网络、NLP、语音识别、计算机视觉等14个方向。课程来源包括Geoffrey Hinton、Andrew Ng、Andrej Karpathy、Richard Socher等名师在多伦多大学、斯坦福、牛津、MIT、CMU、DeepMind等机构的经典课程，并附有课件和视频链接。
用一部全动画视频开始学习 GPU 编程（Triton 系列）
作者发布了一个全动画形式的 GPU 编程系列讲座首集，时长约一小时，通过可视化方式讲解 GPU 工作原理。内容涵盖：GPU 在计算机中的位置（PCIe、NVLink、集群）、NVIDIA H100 内部结构（SM、张量核心、共享内存）、线程/warp/block/grid 概念、内存体系（SRAM、DRAM、HBM、缓存）、延迟隐藏与核融合等优化技术，以及 Triton 的设计理念。还介绍了 FlashAttention 如何优化注意力计算。讲座无需 CUDA 或硬件背景，后续将推出 Triton kernel 编写和推理优化等课程。
DGX Spark Handbook
本文是 NVIDIA DGX Spark 本地推理设备的使用手册。作者最初因其 273 GB/s 的低内存带宽而不看好，但随着 MoE 架构、推测解码等推理工程技术的成熟，DGX Spark 已能在本地以接近云服务的速度运行高智能模型。文章详细介绍了多台 Spark 通过 ConnectX-7 网卡链接实现近线性扩展带宽和内存的方案（四台可达 1092 GB/s、512 GB 内存）、低功耗适合家用部署的优势、MoE 与推测解码如何弥补硬件短板，以及单机同时服务 8 个并发会话的能力，并对比了与 Mac 的算力优势和成本分析。
从零手写大模型系列完结了
作者宣布「从零手写大模型」系列完结，共20篇，包括推理篇15篇和训练篇5篇。推理篇涵盖分词器、嵌入层、位置编码、自注意力机制、多头注意力、残差连接、层归一化、Transformer模块等内容；训练篇涵盖损失函数、反向传播、梯度下降、Adam优化器和学习率调度。每篇都有可练习的代码示例，帮助读者理解模型如何生成文字以及如何从误差中学习更新参数。作者强调理论公式是精华，代码多被PyTorch封装。系列笔记已发布在个人网站上，欢迎交流指正。
保姆级教程：DGX Spark 本地跑通 124B 大模型全记录
本文记录了作者在公司配置的英伟达 DGX Spark 桌面级 AI 超算上本地部署大模型的完整过程。文章首先介绍选择 DGX Spark 的原因（数据隐私、成本可控），解析其 GB10 芯片与 128GB 统一内存的硬件配置，讲解稠密模型与 MoE 稀疏模型的区别，最终选定蚂蚁百灵 Ling-3.0-flash（fp4/int4 量化版本）进行部署。作者对比了 Ollama 与 vLLM 的优劣，选择 vLLM 完成部署，并借助 Claude Code 远程操作。最后进行了 MTP 推理加速测速对比，并成功将本地模型对接到 Claude Code 实际使用。
大模型本地部署完整指南：用 Ling-3.0-flash 搭建自己的 Agent 工作流
本文是一篇面向新手的本地大模型部署教程。作者在 NVIDIA DGX Spark（GB10 芯片、121.6GB 统一内存）上，使用官方适配的 vLLM 分支部署了蚂蚁百灵开源的 124B MoE 模型 Ling-3.0-flash INT4 版本。文章先科普了模型精度、Dense 与 MoE、推理引擎等概念，再详解下载权重、环境准备、启动服务与验证的完整流程，并开启 MTP 投机解码。性能测试显示 8 并发聚合吞吐达 141.38 tok/s，远超本机 Qwen3.8-27B；随后通过逻辑推理、安全边界、长文本三方向测试验证真实能力，最后介绍用 Python 脚本搭建终端 TUI 聊天界面，逐步走向 Agent 工作流与 Token 自由。
本周顶级AI论文精选（7月27日-8月2日）
本文介绍了本周精选的六篇顶级AI论文，涵盖NVIDIA的面向对象智能体框架、策略优化的ReOPD方法、隐性推理现象、Molt智能体强化学习训练框架、JAXBench TPU内核优化基准以及ACM生产智能体研究。
K3 部署推理引擎指南
vLLM 宣布对 Kimi K3 模型提供首日支持。K3 是拥有 2.8 万亿参数的 MoE 模型，支持 100 万上下文窗口。vLLM 通过 DSpark 推测解码将吞吐量提升至 370 tok/s，并支持架构创新的混合缓存管理、预填充/解码分离及智能体服务，确保生产环境下的高性能与低延迟。
强化学习沉浮史：从深度寒冬到大模型封神
文章回顾了强化学习七十年跌宕起伏的发展历程。从心理学的效果律与数学的动态规划这两条根源讲起，梳理了教科书时期的理论奠基与早期边缘化。随后，深度学习的引爆带来了黄金年代，DQN与AlphaGo的辉煌让强化学习备受推崇。然而，样本效率等缺陷曾让其一度跌入谷底。如今，这门学科在大模型时代通过RLHF等技术奇迹般重生，再次站到了AI舞台的中央。
关于 Inkling 的数学思考
本文从深度流形视角分析 Thinking Machines 的多模态模型 Inkling。探讨了模态早期耦合、放弃 RoPE 的几何意义、Muon 的归一化作用以及大规模强化学习对流形同调的影响，提出了关于数据耦合和训练稳定性的开放问题。
