文章回顾了强化学习（RL）环境的发展历程，指出其核心思想早在 2016 年 OpenAI 发布 Universe 时就已出现，但直到十年后的今天才真正成熟。作者梳理了从 Arcade Learning Environment、DQN、OpenAI Gym 到 World of Bits、WebArena、SWE-bench、Terminal-Bench 等关键节点的演化路径，解释了环境的定义（保持状态、执行动作、返回反馈）以及'基准先出现、训练环境随后诞生'的规律。文章还探讨了基准数据污染训练集的张力，并预告了结合 TRL 与 OpenEnv 训练编程 Agent 的直播课程。
本文探讨了强化学习环境中记忆系统的设计问题。各实验室通过可验证奖励（如测试通过与否）在沙盒环境中训练编码智能体。单个任务往往涉及数百次工具调用，而模型只能看到上下文窗口内的内容，harness 负责决定哪些历史信息进入窗口——这就是记忆系统。文章介绍了 AgeMem、CompactionRL 等研究如何将记忆管理（压缩、检索、写入）纳入策略本身进行训练，并用任务奖励进行评分。Cursor 认为生产环境的 harness 就是训练环境，在数十万并发沙盒中训练 Composer 模型。核心观点是：沙盒保持完整状态，但策略只看到 harness 构建的观察窗口，记忆即跨越这一边界的信息。
本文介绍如何从数亿条真实生产环境的浏览器代理任务流量中构建可扩展的强化学习环境。方法包括：去重与过滤不当任务、用对齐的标注代理（Gemini 3 Flash）筛选适合的任务、以标准虚拟身份替换个人数据、通过参考模型执行验证任务可行性与难度。文章还探讨了评判问题的核心思路：评分模型无需比代理更聪明，只需看到同一任务的大量尝试分布，从而构建公平稳定的奖励机制。
DAIR.AI 盘点本周 AI 领域重要论文：微软 Agent Lightning 通过端点代理将任意 Agent harness 接入 RL 训练；Skill 触发瓶颈论文提出三层协议缓解提示词槽位稀缺；Harness 级遗忘现象被命名并给出测量协议；对十个真实 Agent 应用的剖析发现非 LLM 组件主导一半应用的延迟；Skill 机制研究表明程序性锚定远胜知识注入且库规模过大导致精度崩塌。核心主题是 harness 应成为训练与优化栈中的一等公民。
Google提出EnvHarness（环境脚手架）框架，通过Stage、Contract、Chain三类组件在不改动环境底层的情况下动态操控环境，并引入环境搭建师EnvRigger，通过观察Agent轨迹、诊断缺陷、编写组件、实战验证的四步闭环自动搭建环境。在SWE-bench Verified基准上，Agent与环境实现螺旋式协同进化，成功率从47.67%提升至54.79%，且300个环境时性能仍持续上升。未来方向包括扩展组件库、拓展至非文本环境及探索语义化组合。
本文是基准测试科学系列第一部分，从第一性原理讲解LLM评测：为什么评测（为无法直接观测的能力提供决策证据）、评测什么（任务、数据与用户环境的代表性）、如何评测（指标、采样与统计）。作者将基准视为测量仪器而非问题集合，拆解了任务、数据集、评分器等核心组件，并强调分数不等于能力本身，声明离直接观测越远所需假设越多。后续部分将讨论基准失效、数据污染与榜单刷分等议题。
作者认为 Agent Evaluation 是少数仍需人力判断、未来难以被 AI 彻底取代的职业方向，并推荐了 Hugging Face 公开的 Training Agent 课程作为入门资料。课程共六节：1）Agentic Evaluations，讲解如何评估 Agent 及 benchmark 与真实体验的差异；2）Agent 强化学习的难点，包括环境搭建与 reward 设计；3）用 Agent 执行轨迹做 SFT 微调；4）将大模型能力蒸馏给小 Agent；5）SFT 后用 GRPO 继续 RL 训练；6）用 OpenEnv 搭建真实环境并训练 coding agent。视频公开在 YouTube，代码全部开源。
Sebastian Raschka 公开了一套完整课程《Building Reasoning Models from the Ground Up》，包含 8 节视频、11+ 小时内容，基于 Qwen3 0.6B 小模型，用 Python + PyTorch 实现现代推理模型的关键技术，包括 Inference-Time Scaling、Verifier、GRPO 强化学习、KL/Clipping 训练稳定性控制、Reward Hacking 以及基于 DeepSeek-R1 数据的推理蒸馏。课程让学习者可以亲手运行训练循环，观察模型生成推理路径、根据奖励更新参数的全过程，大幅降低了理解推理模型的门槛，使推理模型训练从少数实验室技术变为可动手验证的工程知识。
本文实测对比了 Kimi K3.1 Pro 与 GPT-6 Astra 在多个 3D 任务上的表现，包括古建筑建模、机械结构、透明材质和游戏开发等。结果显示，Kimi 在精细模型构建上更优，而 GPT 在大型场景稳定性上更好。成本方面，Kimi 比 GPT 便宜约 80%，性价比突出。文章还提供了使用 Kimi 进行 3D 建模的入门指南。
作者在 MiniMax M3.1 Flash 还以匿名模型 Space Bunny 身份活跃时，用自己维护的 300 题封闭测试集（HumanEval+/MBPP+ 代码题与 MMLU-Pro 推理题）进行了评测，匿名期得 240 分。正式版发布后用同一套题复测得 246 分，两版表现几乎一致，主要提升在代码题。代码能力与 DeepSeek V4.1 Flash-1017 基本打平；官方数据显示其在企业流程自动化和操作电脑两项为国产第一，且成本显著低于 Claude Opus 5。短板是困难推理。整套 300 题成本仅一元出头，性价比突出。
普林斯顿、斯坦福等机构联合发布 72 页综述「Emerging Trends in AI Agent Evaluation」，以 How（怎么做）、What（测什么）、Who（谁来做）三维度梳理智能体评测的 33 个趋势。核心论断：随着 AI 从回答问题走向自主行动，传统跑分范式失效，agent 评测正成为一门以心理测量学为骨架的新学科。文章介绍了效度危机、pass@k 与 pass∧k 区分、因果归因、污染新表面、LLM 裁判等方法论问题，以及模拟用户失真、田野实验负面结果、评测环境成为攻击面等实证发现，并直言评测生态受资金、访问权与议程影响，独立评测面临生存危机。
本文指出合成数据远不止大规模推理或预训练数据配比设计，而是一个深度的数据研究问题。作者认为生成器本身就是研究课题：并非所有部分都需要 LLM，状态转移模型和离散事件仿真可以通过显式规则生成内部一致的世界历史。同时，人类知识与合成系统应结合——人类帮助设计训练分布、提升内容真实感、补充机器检查的判断盲区。作者以客服 agent 训练为例说明事件驱动仿真的优势，并展望自适应课程设计，认为物理/数学仿真 + LLM + 人类专家的组合将大有可为，应以固定预算下的训练提升来评判生成器。
DeepSeek 发布 V4.1-Flash-1017 模型，性能更强、任务完成更快、输出更短，实现性能与成本的帕累托改进，已在官网、App 和 API 上线。模型通过强化学习自反馈优化端到端项目开发能力，覆盖游戏创建到 3D 建模等完整项目构建，并针对 DeepSeek Harness、腾讯 CodeBuddy、WorkBuddy 等工具优化。同时 Search & Fetch API 面向所有人开放，基于自研搜索引擎，每端点 $0.75/千次调用，已在 Hugging Face 和 ModelScope 开源。
