Eval工程：如何真正评估AI系统是否变得更好
文章介绍了“评估工程”的概念，强调主观感觉无法替代系统化测试。构建可靠的AI评估体系需要三个核心部分：具有代表性的数据集、客观的打分器和预设的及格阈值。作者详细阐述了如何构建包含常规、边缘和已知失败的数据集，以及如何选择精确匹配、规则打分或模型打分机制。最后强调，评估必须在每次系统变更时自动运行，以防微小的改动引发严重的隐性回归。
相关文档
Claude Code 团队如何进行代码评审
本文介绍了 Claude Code 团队在 AI 生成约 90% 代码的情况下如何重构代码评审流程。团队将代码评审从人工逐行阅读转变为分层自动化体系：包括 PR 前的 Claude 自验证、子代理 diff 审查、内部 skill（bug 猎捕、diff 缩减等）、以及每个 PR 的 AI 评审，仅将人类注意力保留给高风险决策。通过 CLAUDE.md 和 REVIEW.md 等文件向评审者注入项目上下文，并快速回滚机制兜底。6 月至 9 月间合并 PR 数量翻倍，回滚率下降超 40%，实现了用最少人工环节保障代码质量的目标。
为什么我们需要 Agent 评测
本文是 Agent 评测系列的第一篇文章，作者结合业界共识与个人实践，阐述了 Agent 评测的重要性。文章从一次线上问题修复切入，说明传统后端开发流程难以应对 Agent 的概率性输出与执行路径的不确定性。作者给出 Agent 评测的定义：围绕具体任务，按明确标准检查 Agent 执行过程（trace）和结果的方法。核心价值包括：防止越修越坏、判断改动是否真的变好、确认任务稳定性、明确完成标准、指导迭代优先级。文章还提出评测落地的五步流程：整理任务、写清标准、准备一致环境、运行新旧版本对比、持续更新案例，并提醒注意评测集划分、标准本身可能出错等问题。
Evals: 如何判断 AI 系统是否真正有效
本文系统讲解了 AI 系统评估的基础知识，面向构建、购买或审批 LLM 应用的工程师、产品经理和管理者。文章以一个自行车商店客服助手为例，介绍评估的核心循环：收集带标准答案的输入、运行系统、用代码规则或模型裁判进行打分、生成带误差范围的指标。内容涵盖测试集与开发集的划分、失败模式分析、代码评分器与模型裁判的优劣、基准测试与评估的区别、以及如何将评估纳入日常开发流程，强调评分器本身也需要被检验。
Agent 都会自进化了，我们还能做什么？
文章探讨了 Agent 自动改进系统（Meta-Harness）的构建方法。核心问题是如何让 Agent 自动进步又无法伪造进步。作者提出将三种权力拆开：Agent 负责提出修改，评测系统负责拿证据，上线门禁决定是否升级。文章通过一个补货建议 Demo，演示了从失败记录到修改验证的完整闭环，包括锁定 Agent 不可修改的文件（密封考题、评分器、上线标准）、生成结构化故障单、构建逐层收窄的评测漏斗等实践。同时分析了 Agent 容易刷分的三种捷径：讨好评分器、记住考题、自己宣布通过，并指出 Meta-Harness 只在基础 Eval 成熟、人工改进成为瓶颈时才值得搭建。
我们说的 AI 工程化，到底是什么？今天一篇文章讲清楚
文章系统梳理了 AI 工程化领域的各种新概念（Context、Harness、Loop、Eval、Graph Engineering），指出这些 Engineering 拆到最后，核心仍然是提示词。作者认为，现代提示词已不只是聊天框里的几句话，还包括系统规则、任务资料、工具说明、历史结果、失败反馈和完成标准。Agent 的难点在于把事情真正做完：避免重复步骤、选错工具、提前结束等问题。文章分别阐述了五大 Engineering 的职责——Context 管每轮给模型看什么，Harness 管工具与环境的接入说明，Loop 管根据反馈迭代，Eval 管验证任务是否真完成，Graph 管流程节点与路由。最终结论：代码管边界（权限、轮次），提示词管边界内的判断。
Your Agent Harness Should Repair Itself
文章探讨 Agent 系统如何在不更新模型权重的情况下自我改进。作者阐述了两条反馈路径：成功运行产生可复用的程序性记忆（以 Hermes 的 SKILL.md 文件和 GEPA 离线优化为代表），失败运行则通过 Opik 的执行 trace 进行诊断，定位故障源头（模型、工具、配置或代码），提出修复方案，经人工审核后重跑并添加回归测试。文章强调失败必须被记录为可验证的预期行为和测试用例，才能转化为可复用的知识，并详细介绍了 trace 结构、失败检测与根因分析的工作流程。
从 0 到 1 搭 Multi-Agent Eval：预测准不准，协作值不值，决策能不能用
本文介绍如何为多 Agent 团队搭建评估体系，以电商场景为例，通过五步流程：设计含陷阱的测试用例、保存 trace 回放协作过程、用结果/协作/决策三张成绩单分别评分、与单 Agent 及重试基线在同等预算下对比、将失败案例加入回归集。文章强调交接信息完整性、冲突解决、角色消融与协调增益等关键检查点，并给出可直接运行的最小 harness 代码示例。
我把 Eval 装进 Codex 后，AI Coding 的工作方式变了
作者分享了将 Eval（评估体系）融入 Codex 工作流后的实践心得。核心观点是：AI Coding 越强，Eval 越重要，因为 Build 变便宜了，但'什么叫完成'并未变简单。文章指出 Tests Passed 不等于任务正确，Testing 是底线，Eval 是交付线。作者重构了工作流程：Baseline → Build → Test → Eval → Analyze → Fix → Re-Eval → Release，强调先跑 Baseline 而非上来就改 Prompt，利用失败分类找出瓶颈，通过 Release Gate 定义验收标准。同时提出 Ground Truth 必须由人工确认，AI 不能既出题又评分。最终结论：人应从让 AI 写代码，转向给 AI 定义验收标准。
How we Build Agent Environments & Tasks
本文是 LangChain 团队关于构建合成 Agent 环境与任务的实践指南。文章提出一个两步流水线：第一步通过 traces、代码和人工输入生成详细的任务 spec；第二步将 spec 转化为评测任务及其运行环境。核心概念包括“World Spec”用于沉淀跨任务的共享知识、脚本与定义，整个流程高度迭代。该方法已封装为 eval-engineering skill，供各团队自主搭建 Agent 评测基准，从而更高效地识别回归、优化 Agent 表现。
做 AI Agent 一年，90% 的时间都在做表面功夫
作者通过一年的 AI Agent 开发实践，发现 90% 的时间浪费在手动测试上。受芯片“验证不对称”理念启发，作者提出构建可验证的架构：通过前后端分离（ACI）使系统对 AI 友好，并引入“确定性断言”和“LLM 裁判”两级回归测试体系。最终实现了由 Coding Agent 自动运行的闭环开发，将开发者从繁琐的手工验证中解放出来，重塑了 AI 时代的开发效率。
傻子可懂的 Harness Engineering 入门教程 + 项目实战
本文深入浅出地讲解了 AI 编程领域热门的 Harness Engineering 概念。文章将其定义为围绕 AI 模型搭建的一整套工作环境与流程，对比了提示词工程、上下文工程的演进关系，并详细拆解了上下文架构、执行能力、任务编排、反馈机制和架构护栏五大核心模块。作者结合“万能视频下载总结器”的全栈项目实战，展示了如何利用 Plan Mode、MCP 工具、Browser Use 及文档沉淀等技巧，让 AI 持续、靠谱地完成复杂工程任务。
AI 早报：Anthropic 交付架构、LangChain 设计智能体与 Ai2 新颖性裁判研究
本期早报围绕智能体系统建设展开：一是 Anthropic 负责人解释 Claude 交付架构，将会话记录、运行框架与沙箱执行环境分离，使失败恢复不影响工作连续性；二是 LangChain 分享设计智能体的实践，将设计师的审美判断沉淀为技能与知识库，中位费用从 8 美元降至 0.50 美元；三是 Ai2 研究检验 LLM 判断研究想法新颖性的可靠性，发现提示词变化可导致准确率剧烈波动。此外还涵盖 Google A2UI 推理格式、Optiver 模型接入平台、小红书 AllSpark 数据管线及 K2 Lab 垂直 AI 产品等内容。
