从第一性原理构建 Agent：环境、行动与强化学习
本文旨在从第一性原理出发探讨如何构建和训练 AI Agent。文章批评了过度依赖框架的教程，转而从底层构建了一个极简的“文本转图表”Agent。作者通过 Python 实现了一个包含 Canvas 环境的系统，深入解析了 Agent 如何通过 JSON 动作空间与环境交互，阐述了从监督微调（SFT）到强化学习（RL）的完整闭环，即“提示-行动-环境-奖励-梯度更新”，揭示了模型学习可执行指令逻辑的核心机制。
相关文档
NYU 13周研究生课：LLM推理时代的前沿全景
文章介绍了NYU Tandon 2026年秋季由Anthropic研究员Pavel Izmailov开设的研究生课程《Language Models, Reinforcement Learning, Reasoning》。课程共13周，除Sutton & Barto教材外全部使用原始论文，沿「预训练→架构与训练效率→后训练RL→对齐与安全→前沿与未来」的主线展开，涵盖Attention机制、扩展律、Muon优化器、RLHF、GRPO与RLVR、奖励过优化、可扩展监督以及世界模型等前沿主题。文章分析了课程叙事逻辑，指出RL重回舞台中心、中国实验室工作成为正典、安全对齐被当作工程学科等趋势，并给出自学者建议。
Building an RL fine-tuning platform to train JEV-like decision models
本文介绍如何将开源 LLM（Qwen3-4B）改造为决策模型，构建小规模训练平台并产出 Gero-4B。作者在 MacBook（M5 Pro, 24GB）上使用 Apple MLX 进行 LoRA 微调，分三个阶段：架构改造（将 LM head 替换为共享线性打分层）、结构训练（学习题目格式）、强化学习训练（实现校准的置信度输出）。核心设计是每个选项独立分支的打分架构，通过自定义 KV cache 共享前缀表示，并利用注意力掩码隔离各分支，从结构上消除位置偏差。最终模型输出数值化、校准良好的概率分布，可直接用于自动化决策（如高置信度自动处理、低置信度转人工）。文章附有完整可运行的代码实现。
斯坦福新课 CME 295：9 讲走完 Transformer → RLHF → AI Agent → Diffusion LLM 全部知识地图
斯坦福大学 NLP 团队开设的 LLM 全景课程 CME 295，由知名速查表作者 Amidi 兄弟主讲，用 9 次讲座系统覆盖 LLM 全知识地图。课程分四大板块：基础（NLP 演进、Transformer 架构、MoE、注意力变体）、训练（预训练、SFT、LoRA、RLHF/DPO、PPO/GRPO/RLVR）、系统与工程（分布式训练、KV 缓存、投机解码、AI Agent 与 MCP 协议）、评估与前沿（LLM-as-a-judge、Diffusion LLM、多模态）。课程特点包括知识密度高、零作业两次考试、前沿覆盖度好，并配有公开的 Study Guide 和 15 语言速查表，适合已懂基础 ML、想系统理解 LLM 原理与最新趋势的学习者。
斯坦福课程推荐：CS329A Self-Improving AI Agents
本文推荐斯坦福研究生研讨课 CS329A，课程以'一线经验+论文精读'形式讲授如何构建自我改进的智能体，共 9 讲并全部收录于 YouTube。课程主线为：生成→验证→筛选→训练→更强模型的循环。内容涵盖 test-time compute scaling、稳健验证（ORM/PRM/Math-Shepherd/Weaver）、反馈学习（ReAct/RLEF/CAI）、规划与多步推理、RL scaling（STaR/GRPO/DAPO）、Deep Research Agents 及长期任务评估。核心结论：瓶颈在于验证而非生成，可验证领域（数学、代码）飞轮转得快，当前 RL 提升的是一致性而非根本能力。
如何从头构建一个 RL 环境：以 Othello 游戏为例
本文介绍了如何使用 Prime Intellect 的 Verifiers 框架从零开始构建一个用于强化学习（RL）的 Othello（黑白棋）游戏环境。文章解释了 RL 循环的基本组成部分（状态、动作、奖励、环境），并利用 GRPO 算法替代传统的人工偏好模型。文中详细展示了技术栈、游戏循环逻辑以及内置的 Minimax 对手引擎代码，旨在帮助开发者理解并掌握构建模型无关的 RL 环境的核心方法。
顶级AI实验室如何构建RL智能体：从RLHF到RULER的演进
文章探讨了 Anthropic、OpenAI 和 DeepSeek 等顶尖 AI 实验室在 2026 年关于强化学习（RL）的趋同思路，即使用系统提示作为奖励函数。内容详细梳理了 RL 在 LLM 中的应用历程，从 RLHF 到 RULER（Karpathy 提出的系统提示学习概念）的演变。重点介绍了 DeepSeek R1 利用可验证奖励（RLVR）突破传统瓶颈的机制，通过规则编译器直接提供信号，并结合 GRPO 算法移除了复杂的 Critic 和奖励模型，实现了从 15.6% 到 77.9% 的 AIME 数学成绩飞跃。
Agent Evaluation：难以被 AI 取代的职业方向及 Hugging Face 学习资料推荐
作者认为 Agent Evaluation 是少数仍需人力判断、未来难以被 AI 彻底取代的职业方向，并推荐了 Hugging Face 公开的 Training Agent 课程作为入门资料。课程共六节：1）Agentic Evaluations，讲解如何评估 Agent 及 benchmark 与真实体验的差异；2）Agent 强化学习的难点，包括环境搭建与 reward 设计；3）用 Agent 执行轨迹做 SFT 微调；4）将大模型能力蒸馏给小 Agent；5）SFT 后用 GRPO 继续 RL 训练；6）用 OpenEnv 搭建真实环境并训练 coding agent。视频公开在 YouTube，代码全部开源。
预训练之后，为什么还要后训练？
文章以 GPT-3 与 InstructGPT 对比为例，解释为什么预训练只教会模型'猜下一个词'，却不能让它听指令、保证安全、做长链推理，因此需要后训练来弥补目标差距。文章对比了预训练与后训练在目标、数据、信号、成本和改动幅度上的差异，并系统介绍了三种后训练技术：指令微调（跟示范学）、偏好对齐（RLHF/DPO，靠比较学）、RLVR（由可验证检查器判对错）。全文用通俗类比讲清后训练的原理，是后训练系列文章的第一篇。
本周 Top AI 论文精选
DAIR.AI 汇总了本周五篇重要的 AI 论文：(1) Harness Learning，通过 RL 训练提议模型在测试时修订 agent 的 harness 代码而非模型权重，实现可泛化的适应能力；(2) CorpusMap，微软提出的基于实体的语料库导航层，让 agent 搜索更准且省 34%-57% 的 token；(3) VeriHarness，Google 提出的 agentic 验证方法，揭示多数投票的盲点，在长周期任务上提升选择准确率；(4) HERMES，将仓库组件变成主动参与者的 harness，使 GPT-5.6 在仓库迁移任务上从 6.5% 提升至 31%；(5) Sakana AI 的 MASS，用同一基座模型兼任 agent、评估者与优化者，实现多智能体自我监督进化。
Why LLMs can't write well and how Sherpa fixes it
Pocket FM 创始人 Rohan Nayak 分享其 AI 写作系统 Sherpa 的构建历程。通用 LLM 因训练目标（逻辑推理、快速给答案）与创意写作需求（张力、情感、悬念、节奏变化）相悖而写不好故事，且缺乏清晰的强化学习成功信号。微调现成模型的尝试均告失败后，团队自研 Sherpa harness，由规划器、叙事世界模型（NWM，维护结构化故事状态与记忆）和散文引擎三大组件构成，并利用 Pocket FM 亿级用户的收听数据做强化学习，用户留存与完听率成为写作质量的天然反馈信号。盲测中 Sherpa 在 65.6%-97.1% 的配对比较中胜出，NWM 多跳检索准确率达 86.7%，成本约为同类方案的 1/21。
斯坦福大学 CS329Z「Engineering AI Agents」第二讲 LLMs for Builders：Agent 工程师必修的大模型底层原理
本文深度解读斯坦福 2026 秋季课程 CS329Z 第二讲「LLMs for Builders」讲义，面向 Agent 工程师系统讲解 LLM 底层原理。内容涵盖：自回归概率分解与解码采样策略；从 RNN 到 Transformer、线性注意力的架构演进及其工程取舍；预训练、中期训练与后训练（RLHF、RLVR）管线；推理阶段的 Prefill/Decode、KV Cache、投机解码与推理时扩展；最后落脚到 Agent 开发的结构化 I/O 与上下文工程实践，强调'设计决策→局限→应用策略'的因果链。
Agent traces are the new oil（Agent 轨迹是新石油）
文章提出 Agent 轨迹（traces）正成为 AI 公司间的核心交易资产，甚至出现蒸馏攻击等争夺行为。作者指出 RL 训练、长程任务代理普及使 traces 价值激增，但多数企业仍未善用这一资产。文章分析了 traces 对数据厂商、前沿实验室和应用层的价值，以及在运营优化、安全护栏、持续改进三方面的用途。作者还剖析了从 traces 中提取价值的难点：数据非结构化、体量巨大、反馈混乱、长程信用分配困难等，并类比 2010 年代的大数据浪潮，认为 traces 将成为企业专有智能层和战略资产，唯有通过提炼与使用才能释放价值。
