2026 Agent Eval 全景图：从'会做'到'值得部署'
本文系统梳理了2026年Agent评估领域的全景图，指出Agent Eval正从'任务能否完成'转向'结果是否有效、过程是否可靠、系统是否值得部署'。文章从通用Agent、软件工程、GUI与SaaS、工具与事务、知识工作（Deep Research、数据分析、预测）、多模态内容生产、科研优化、组件与记忆、多Agent系统等赛道，介绍了代表benchmark及其演进，并强调了可靠性、成本、轨迹审计与证据包成为评估的新基本单位。
相关文档
构建 agent 时什么时候将子 agent 合并到主 agent 循环中
本文是 Claude 官方文章的译文，探讨在构建 agent 系统时何时应将子 agent 折叠进主 agent 循环。文章指出，配备 skill 的单一 agent 在质量、成本和延迟方面常常优于多 agent 设计。作者分析了大型组织构建 agent 的常见失败模式（上下文管理、子 agent 泛滥、Frankenprompt、延迟等），介绍通过渐进式披露 skill 和 MCP 工具的 agent 循环设计，并给出将子 agent 迁移为单循环的分阶段方法：构建任务完成评估、合并领域 agent、将子 agent 转为工具调用、用 skill 和工具替代子 agent，以及多团队协作的治理模式。
FDE-Gym 论文解读：AI 能否胜任 Forward Deployed Engineer 工作
文章解读了一篇关于 FDE（Forward Deployed Engineer）的论文《FDE-Gym》。该论文将真实企业项目改造成覆盖金融、医疗、制造、能源等 18 个行业的 95 个任务，评测 AI Agent 承担真实企业交付工作的能力。Agent 仅获得客户最初的一句话需求，需自行读文档、查系统、确认信息并判断客户真正的问题。评分不仅要求完成需求，还要求交付系统真正改善业务指标，乱找人、反复试错都会产生成本。结果显示最强模型平均得分仅 0.56，95 个任务中仅真正解决 14 个，最大瓶颈在于未写入需求的业务规则、隐性约束以及客户未表达清楚的问题。文章指出 FDE 的难点在于在信息不完整、需求模糊的环境里判断该解决什么并真正交付。
从 Agent Loop 到推理引擎：哈佛 CS2680 现代AI系统课程深度解读
本文深度解读哈佛大学2026年秋季Juncheng Yang开设的研究生课程CS2680《现代AI系统：Agent与系统优化》。课程以一条主线贯穿agent循环到LLM推理serving栈，通过五个递进式作业逐层解剖系统：A1为Claude Code构建Web前端，A2从零实现最小agent harness，A3在黑盒API下优化成本与延迟并引入排行榜竞争，A4自建推理引擎部署开源模型，A5全栈profile驱动的假设验证优化。文章还分析了课程的AI使用政策（强制披露、Claude Code session存档审计）、leaderboard评分机制、严格的20% A档曲线以及体现系统研究方法论的期末项目设计，展示了'AI时代如何教系统课'的完整答案。
Agentic evals: 如何判断 AI Agent 是否真正完成了任务并保持可靠
本文面向构建基于 LLM 的 Agent 系统的工程师，讲解如何对 Agent 进行评估（Agentic Evals）。核心观点是：要评估 Agent 实际改变了什么，而非它说了什么。文章通过一个自行车店客服 Agent 的完整示例，展示五步评估法：编写带预期终态的任务、多次运行并保留完整轨迹、同时评估终态和路径、报告能力与可靠性两个数字、定位失败的第一步。文章还区分了单次回答模型与多步 Agent 在评估上的差异，强调没有可检验终态的任务不构成有效的评估，并讨论了模型作为评判者的可信度问题。
Jev-as-a-Judge for Agent Evaluations
本文介绍了如何使用 TypeSafe AI 的决策模型 Jev 作为 LLM Judge 来评估 Agent 的表现（Jev-as-a-Judge）。与只看最终回复不同，Jev 会阅读完整轨迹（用户请求、工具调用及结果、最终回复），将标准转化为预定义问题，并返回带置信概率的判定。文章通过退款 Agent 示例演示了 Playground 的使用，说明如何设定阈值将运行分为通过、失败和人工复核三类。研究显示，该接受-升级模式比 GPT-6 单独判断更准确且成本大幅降低。作者强调需先用人工标注验证 Jev 的可靠性，能用代码检查的事实性问题就不需要 Judge，将 Jev 保留给需要阅读理解的判断。
Free the models: harness design at the frontier
Replit 团队分享了其 Agent harness 的设计理念：与其使用模型路由器来选择 LLM，不如让主模型（core loop）自主决定子代理的层级、努力程度和委派方式。文章介绍了四个可组合的 harness 原语：领域感知子代理、子代理分层与努力度、可复用子代理、动态努力调整。在 DeepSWE 和 Terminal-Bench 基准上，Replit Agent 相比 Astra 单模型和 sidekick 架构实现了成本与得分的 Pareto 最优，作者将其视为 Sutton 'bitter lesson' 在 harness 设计中的体现：僵化的脚手架终将被可扩展的通用方法超越。
10 个带你从基础检索到生产级 AI 系统的 RAG 项目
文章指出仅掌握基础的'chat with PDF'式 RAG 流水线（分块、嵌入、向量检索、LLM）不足以构建真实生产系统，并推荐 10 个进阶项目：混合检索（BM25+向量）、元数据过滤、重排序、上下文分块、SQL+向量混合、知识图谱+向量、纠错式 RAG、自感知 RAG、多模态等。每个项目均说明要解决的问题、系统架构、技术栈（Python、pgvector、LangGraph、Neo4j 等）及学习要点，帮助开发者从语义相似度走向关键词匹配、结构化过滤、关系推理与检索质量反馈等生产级能力。
把 GLM-5.3-Flash 变成一个 Jev 式的 System One 模型
本文介绍一种无需微调的方法，把现成的 LLM（GLM-5.3-Flash）变成类似 Jev 的专用决策模型（System One 模型）。核心做法是给选项编号、预填答案、通过读取选项索引上的概率分布，让模型在一次前向传播中给出类型化决策及其置信度。文章详细说明了 vLLM 部署中的三个实现细节（allowed_token_ids、logprob_token_ids、tokenizer 分词），并在 29 个公开数据集上与 Jev、Laya 进行基准对比：文本决策准确性与 Jev 相当，延迟相近但成本较高；由于具备视觉能力，还能做图像上的类型化决策，这是 Jev 和 Laya 做不到的。文章还讨论了推理模式的准确性收益与成本代价、选项数量与重命名对结果的影响，并开源了实现与基准代码。
一次独立复现：CLM 的 DeepSWE 数字能跑出来，但它不是平均值
作者对开源项目 CLM（Contrastive Language Models）声称的 DeepSWE 81.6% SOTA 成绩进行了独立复现。通过三重验证（常数分数测试、用作者自带分数复算、checkpoint 哈希校验），确认 fold1 的 81.579% 可精确复现。但深入分析发现，该项目采用三折交叉验证，公布的数字是最优折，三折平均仅为 78.66%，跨度达 19 个百分点，fold2 甚至低于随机基线（主要因小样本高方差）。文章还验证了 CLM 训练成本低（纯 CPU 分钟级）、编码器可在 macOS 上运行、预训练头在 1000 条数据以内有效等结论，并指出 README 中复现命令路径失效、评估脚本未公开等问题。
Building Prod with Jev and LangGraph
TypeSafe AI 发布了决策模型 Jev，不同于传统 LLM，它不生成文本，而是返回带概率的结构化决策结果，在路由、分类等窄任务上比领先 LLM 快 200 倍、便宜 400 倍，并具有一致性和可并行性。LangChain 团队认为这与其'prod, not god'理念契合：代码掌控工作流，AI 只处理需要语义判断的分支。文章介绍如何用 LangGraph 编排 Jev 决策，包括节点、状态和边的架构，以及持久化执行、人在环路和可观测性等可靠运行时能力，实现可靠、可测试的 AI 驱动生产系统。
怎么做好 Knowledge Agents？不应该复制 Coding Agents，做好检索能力、任务编排与专业分工
本文介绍 Ben Clavié 在 AI Engineer World's Fair 的演讲，主张知识型 Agent 不应照搬 Coding Agent 范式。核心观点：编程智能体的成功源于代码环境的结构化红利；而法律、医疗、投研等知识任务的难点在于正确定位、理解和验证证据。要构建可用的知识 Agent，需具备面向任务的高质量检索工具（含图表、扫描件等多模态内容），以及主智能体负责任务分解、子智能体承担专业分工的编排架构。文章还给出企业级建设的优先级建议：定义可验证任务、建设证据层、按需拆分智能体、多维度评估并保留人工审核。
start ugly, write evals anyway：Agent 评估入门指南
文章探讨了 Agent 评估（evals）的重要性与实践方法。作者将 Agent 定义为模型加 Harness 的组合，区分了模型评估与 Harness 评估，并对比了 SDLC 中的测试与 ADLC 中的评估差异。文章澄清了评估的核心概念（task、trial、outcome、grader 等），指出评估的冷启动门槛比想象中低，从真实失败案例中提取 20-50 个任务即可起步。作者强调应只构建任务完成率和正确性两个基础指标，主张评估结果而非路径，并建议纳入负向用例、部分得分机制，坚持阅读轨迹记录，关注分心、token 消耗、延迟、上下文膨胀和一致性等信号。
