强化学习沉浮史：从深度寒冬到大模型封神
文章回顾了强化学习七十年跌宕起伏的发展历程。从心理学的效果律与数学的动态规划这两条根源讲起，梳理了教科书时期的理论奠基与早期边缘化。随后，深度学习的引爆带来了黄金年代，DQN与AlphaGo的辉煌让强化学习备受推崇。然而，样本效率等缺陷曾让其一度跌入谷底。如今，这门学科在大模型时代通过RLHF等技术奇迹般重生，再次站到了AI舞台的中央。
相关文档
Paper List for AI beginners
这是一份针对计算机科学和数学专业大二学生的机器学习（ML）与强化学习（RL）入门阅读清单。清单分为四个部分：基础（如ResNet、Attention）、AI基础设施（如VAE、BERT、LoRA、Agent）、推理加速（如Linear Attention、Speculative Decoding）以及强化学习（如PPO、DPO、RLHF）。该列表由导师 Mingyang Yi 推荐，旨在帮助本科生构建系统的 AI 知识体系。
NYU 13周研究生课：LLM推理时代的前沿全景
文章介绍了NYU Tandon 2026年秋季由Anthropic研究员Pavel Izmailov开设的研究生课程《Language Models, Reinforcement Learning, Reasoning》。课程共13周，除Sutton & Barto教材外全部使用原始论文，沿「预训练→架构与训练效率→后训练RL→对齐与安全→前沿与未来」的主线展开，涵盖Attention机制、扩展律、Muon优化器、RLHF、GRPO与RLVR、奖励过优化、可扩展监督以及世界模型等前沿主题。文章分析了课程叙事逻辑，指出RL重回舞台中心、中国实验室工作成为正典、安全对齐被当作工程学科等趋势，并给出自学者建议。
AI 大V人物小传（上）
这是一份按主题编排的AI领域人物小传（上篇），涵盖了从深度学习奠基者、大模型实验室领袖、Transformer论文作者到顶尖学术研究者的75位关键人物。文章详细介绍了每个人的背景、核心贡献及当前动态，包括Hinton、LeCun、Altman等业界巨擘。
How to Build LLM Architectures From Scratch
本文是一篇关于从零构建大型语言模型（LLM）架构的深度指南。文章详细解释了 LLM 的工作原理，包括从原始数据收集、清洗、分词，到 Transformer 架构的核心组件（如自注意力机制、位置编码）。同时涵盖了预训练、微调、基于人类反馈的强化学习（RLHF）以及推理优化等关键技术环节，旨在帮助读者理解 ChatGPT 和 Claude 等模型背后的系统构建全流程。
OpenAI 论文解读：VPT 视频预训练模型
文章介绍了 OpenAI 的 VPT（Video PreTraining）论文，该研究通过训练反向动力学模型（IDM）为海量无标注互联网视频打上伪标签，成功让 AI 智能体在 Minecraft 中学会了制作钻石镐等复杂任务。文章详细阐述了 VPT 的“少量标注撬动海量数据”的技术路线、三阶段训练过程以及其带来的数据杠杆效应，并探讨了该方法从游戏向机器人控制迁移的潜力和局限性。
翁家翌：在OpenAI“卖铲子”的人
文章讲述了OpenAI核心工程师翁家翌的职业成长与理念。作为强化学习基础设施的搭建者，他坚持“工程重于学术”，认为读博是浪费生命，并致力于通过开源代码消除信息差。文章分享了他从清华到CMU再到OpenAI的经历，以及对年轻人的职业建议：尽早进入工业界，深耕工程能力，建立自己的评价体系。
Ilya 推荐的 30 篇 AI 论文清单：30u30 拆解学习项目
Ilya 曾推荐一份包含 30 篇论文的 AI 学习清单，称读懂即可掌握当下 AI 90% 的要点。30u30 项目将这份清单拆成 30 天课程，一天一篇，从 RNN、LSTM 学到 Transformer，最终到 ChatGPT 背后的 RLHF。每篇配有大白话讲解、'讲给 5 岁小孩听'的速览、从零实现的代码及配图，每天还附 5 道练习题。代码可在普通电脑 CPU 上运行，适合想转 AI 方向的学生或想理解 ChatGPT 原理的用户跟随学习。
大模型学习地铁图：从 Transformer 到今天的主流大模型
文章以地铁图为比喻，为大模型学习者规划了一条清晰的学习路线。主干线按演进顺序设置八站：前置基础、Transformer、GPT-2（强调亲手实现作为锚点）、预训练、ChatGPT 时刻（RLHF）、LLaMA、MoE 稀疏专家、推理模型（o1/R1），终点是能独立读懂新论文。五条支线按兴趣选修：推理优化（KV Cache、FlashAttention、量化）、训练（Scaling Law、分布式并行）、对齐（SFT、LoRA、DPO、GRPO）、架构（RMSNorm、RoPE、MLA）、应用（RAG、Agent）。最后给出建议：GPT-2 必须亲手写一遍，主干加一至两条支线即可入门，学习原理时动手推算。
DeepSeek-V4.1-Flash-1017 发布
DeepSeek 发布 V4.1-Flash-1017 模型，性能更强、任务完成更快、输出更短，实现性能与成本的帕累托改进，已在官网、App 和 API 上线。模型通过强化学习自反馈优化端到端项目开发能力，覆盖游戏创建到 3D 建模等完整项目构建，并针对 DeepSeek Harness、腾讯 CodeBuddy、WorkBuddy 等工具优化。同时 Search & Fetch API 面向所有人开放，基于自研搜索引擎，每端点 $0.75/千次调用，已在 Hugging Face 和 ModelScope 开源。
State of AI Report 2026 速读：AI 加速 AI、千亿收入、电力瓶颈与安全
作者速读 Nathan Benaich 发布的第九份年度 State of AI 报告。研究方面，前沿变成三强竞赛，Claude Opus 5.5 领跑智能指数，基准测试迅速饱和，AI 开始实质性加速自身研发，harness 的价值凸显。产业方面，OpenAI 与 Anthropic 合计年化收入约 1050 亿美元，企业 token 支出两强占 96%，但算力供给受电力、施工和融资约束。政治方面，美国出口管制强化模型访问控制，主权 AI 承诺约 1380 亿美元。安全方面，评测中的智能体出现真实越界攻击，实验室领导者呼吁获得减速 AI 能力的手段。文末附 2025 年预测回顾。
小米 MiMo-V2.6 技术报告：260 万美元 RL 算力与三维扩展，将万亿 MoE 模型推入前沿梯队
文章解读小米 LLM-Core 团队发布的 MiMo-V2.6 技术报告。核心主张是通过系统性扩展强化学习算力提升模型智能，需同时扩展训练批次、环境多样性和评分器三个维度。模型有 Pro（1.02T MoE）和 Flash（310B）两个规格，RL 后训练成本分别 260 万和 90 万美元。报告详述了中期训练优化、GRPO 训练细节、多 harness 训练、四层 reward hacking 防御、Groupwise Agentic Grading 评分体系、router 冻结发现及基础设施设计，最终性能进入与 Claude Opus 5 / GPT-5.6 同一梯队，并开源蒸馏模型、环境与 RL 框架。
中国大模型的斩杀线，被斩杀了
Anthropic 发布 Haiku 5.5，将短请求价格压至上一代十分之一，OpenAI 同步降价，美国巨头以巨额资金和工程优化发起价格战，接管了帕累托前沿。中国大模型曾凭借 DeepSeek 等极致性价比焊死斩杀线，迫使硅谷换用中国开源基座，但自身陷入增收不增利、算力告急与防御性涨价的困境。随着美国巨头闪电降价，中国模型股价暴跌，低价护城河被填平，斩杀线反被斩杀。
