The science of benchmarking: from Zero to Hero [Part I]
本文是基准测试科学系列第一部分，从第一性原理讲解LLM评测：为什么评测（为无法直接观测的能力提供决策证据）、评测什么（任务、数据与用户环境的代表性）、如何评测（指标、采样与统计）。作者将基准视为测量仪器而非问题集合，拆解了任务、数据集、评分器等核心组件，并强调分数不等于能力本身，声明离直接观测越远所需假设越多。后续部分将讨论基准失效、数据污染与榜单刷分等议题。
相关文档
Does Your AI Agent Actually Work? A Guide to Eval-Driven Development
本文介绍 AI Agent 的评估驱动开发（Eval-Driven Development）。作者指出 vibe coding 可以快速构建应用，但仅靠手工测试提示词无法保证 Agent 质量上线。文章解释了评估的核心概念：eval 是应用于 trace 的评分器，包括 Case、Run 等基本构件，并详述四种评分方式——确定性检查、参考答案评分、规则评分和轨迹评分。文章还区分线上评估（监控生产环境真实流量）与线下评估（发布前测试），强调两者缺一不可，并通过 promotion 机制将生产问题转化为测试用例，形成持续改进闭环。
一套来自 Gemini/Meta 一线的 Agent 评测完整方法论：真实流量、失败分类、四层阶梯、过程打分
本文梳理 Meta AI 高级总监 Madhu Guru 的「How to Build Great Evals」十篇系列，总结一套 AI Agent 评测工程方法论。核心观点：评测应锚定真实用户流量而非实验室数据；先建立可信质量信号再降成本；挖掘 500-1000 条真实交互建立精确的失败分类；采用爬坡、回归、冒烟、上线四层阶梯组织评测；反对将质量压缩为单一平均分；按阶段度量中间步骤而非只看最终结果；评测体系须随用户行为演进持续更新。文章同时指出其局限：缺少统计测量学基础、未正面处理过程与结果评测的权衡。
为什么 RL 环境现在可行（而 2016 年不行）
文章回顾了强化学习（RL）环境的发展历程，指出其核心思想早在 2016 年 OpenAI 发布 Universe 时就已出现，但直到十年后的今天才真正成熟。作者梳理了从 Arcade Learning Environment、DQN、OpenAI Gym 到 World of Bits、WebArena、SWE-bench、Terminal-Bench 等关键节点的演化路径，解释了环境的定义（保持状态、执行动作、返回反馈）以及'基准先出现、训练环境随后诞生'的规律。文章还探讨了基准数据污染训练集的张力，并预告了结合 TRL 与 OpenEnv 训练编程 Agent 的直播课程。
AI Agent 跑通了，怎么证明它真的可以上线？
文章指出 Agent 最危险的失败不是报错，而是做错了却显示"已完成"。作者以一个资料研究 Agent 为例，搭建了一套最小可用的 Agent 评测框架，回答三个问题：任务有没有做成、失败发生在哪里、新版本能否发布。核心方法包括：先明确评测要回答的发布决策；把"做完"写成可检查的完成条件和 Hard Failure；建立 30 条起步的分层评测数据集（dev/holdout/regression/challenge）；将 Outcome 与 Trajectory 分开评估；采用 Rules + LLM Judge + Human 三层打分体系。最终通过重复运行对比 v1/v2、设置发布门禁、把线上失败送回评测集，形成完整评测闭环。
用 WikiBench 评估 OpenWiki
LangChain 开源了代码库文档生成与维护的 agent——OpenWiki，并构建了 WikiBench 来回答两个问题：wiki 是否真正帮助编码 agent？对 OpenWiki 的改动是否让它变得更好？WikiBench 基于 Harbor 框架运行，环境为固定 commit 的仓库，agent 生成 wiki，verifier 通过 reader agent 回答覆盖类和检索类问题，并用多个 LLM judge 基于事实 rubric 打分。实验显示：不同 harness 和模型在性能、成本和时间上差异显著；wiki 与源码结合使用效果最佳，wiki 更像索引而非替代品，可让 agent 回答更准确且成本更低。
2026 Agent Eval 全景图：从'会做'到'值得部署'
本文系统梳理了2026年Agent评估领域的全景图，指出Agent Eval正从'任务能否完成'转向'结果是否有效、过程是否可靠、系统是否值得部署'。文章从通用Agent、软件工程、GUI与SaaS、工具与事务、知识工作（Deep Research、数据分析、预测）、多模态内容生产、科研优化、组件与记忆、多Agent系统等赛道，介绍了代表benchmark及其演进，并强调了可靠性、成本、轨迹审计与证据包成为评估的新基本单位。
Kimi K3.1 Pro 来了：离最强只差 0.7 分，API 反而降价三分之一，权重 11 月 4 日白送
月之暗面发布 Kimi K3.1 Pro，基于 K3 做 post-training 升级，2.8T 总参数、104B 激活（MoE）、1M 上下文、多模态。Terminal-Bench 4.0 得分 65.7，超越 GPT-6 Astra（58.2），仅落后 Claude Opus 5.5（66.4）0.7 分，是开源模型离闭源最强最接近的一次。API 价格输入 $2/输出 $10，比上一代降价三分之一，权重将于 11 月 4 日开源。文章拆解了 14 项评测表现，指出其在编码、Agent、金融分析领域表现出色，但科学计算类任务偏科严重（38.1 vs 68.1），并给出小白使用入口与避坑清单。
Kimi K3.1 Pro 实测对比 GPT-6 Astra：3D 建模能力与成本分析
本文实测对比了 Kimi K3.1 Pro 与 GPT-6 Astra 在多个 3D 任务上的表现，包括古建筑建模、机械结构、透明材质和游戏开发等。结果显示，Kimi 在精细模型构建上更优，而 GPT 在大型场景稳定性上更好。成本方面，Kimi 比 GPT 便宜约 80%，性价比突出。文章还提供了使用 Kimi 进行 3D 建模的入门指南。
发布前我就测过的那只太空兔（Space Bunny），现在叫 MiniMax M3.1 Flash
作者在 MiniMax M3.1 Flash 还以匿名模型 Space Bunny 身份活跃时，用自己维护的 300 题封闭测试集（HumanEval+/MBPP+ 代码题与 MMLU-Pro 推理题）进行了评测，匿名期得 240 分。正式版发布后用同一套题复测得 246 分，两版表现几乎一致，主要提升在代码题。代码能力与 DeepSeek V4.1 Flash-1017 基本打平；官方数据显示其在企业流程自动化和操作电脑两项为国产第一，且成本显著低于 Claude Opus 5。短板是困难推理。整套 300 题成本仅一元出头，性价比突出。
How To Use Decision Models for Evals
文章介绍了决策模型（如 TypeSafe 的 Jev、Perplexity 的 Decider、Liquid 的 d1、Cloudflare 的 Clef、OpenAI 的 Decisions API）作为 LLM judge 的低成本替代方案在自动化评估中的应用。作者基于 100 条公寓租赁 Agent 的对话轨迹，测试各模型识别失败案例的性能与成本，并重点讲解决策阈值的调优：默认阈值 0.50 未必适合具体任务，需根据精确率与召回率的业务权衡（如 F1 优化或最低 80% 双重要求）来选择阈值。文章还提供了用编码 Agent 进行阈值调优的示例提示词，并讨论了校准与分数解释等实用方法。
当 AI 学会行动，我们却还没学会评判：普林斯顿、斯坦福等团队 72 页综述深度解读「智能体评测新学科」诞生
普林斯顿、斯坦福等机构联合发布 72 页综述「Emerging Trends in AI Agent Evaluation」，以 How（怎么做）、What（测什么）、Who（谁来做）三维度梳理智能体评测的 33 个趋势。核心论断：随着 AI 从回答问题走向自主行动，传统跑分范式失效，agent 评测正成为一门以心理测量学为骨架的新学科。文章介绍了效度危机、pass@k 与 pass∧k 区分、因果归因、污染新表面、LLM 裁判等方法论问题，以及模拟用户失真、田野实验负面结果、评测环境成为攻击面等实证发现，并直言评测生态受资金、访问权与议程影响，独立评测面临生存危机。