Eval Engineering: 构建无需人工干预的 Agent 合并闸门(6 步指南)
本文介绍了如何构建一个评估工程闸门,使 Agent 能够在无需人工审查的情况下自动合并代码。文章提出了六个关键步骤:避免评估偏见、将评估结果作为运行控制、评估过程轨迹而非仅关注答案、利用历史日志生成测试用例、固定评估模型版本,以及确保评估规模。核心在于建立可靠的证据和规则,而非盲目信任模型。
本文介绍了如何构建一个评估工程闸门,使 Agent 能够在无需人工审查的情况下自动合并代码。文章提出了六个关键步骤:避免评估偏见、将评估结果作为运行控制、评估过程轨迹而非仅关注答案、利用历史日志生成测试用例、固定评估模型版本,以及确保评估规模。核心在于建立可靠的证据和规则,而非盲目信任模型。
文章分享了作者在2026年作为Claude Code全操作系统用户时,通过构建和测试100个子代理后筛选出的30个最佳子代理。这些代理拥有独立的系统提示词和工具访问权限,能显著提升工程、DevOps及产品设计等领域的效率,涵盖了代码审查、Bug捕获、数据库迁移验证及规格编写等具体场景。
文章介绍了近期海外开发者圈爆火的 AI 工具 Jev。它不是生成型模型,而是专注于毫秒级、极低成本的大量小判断,核心能力包括 Choice(选择)、Score(评分)和 Noul(概率判断)。作者整理了 20 个适合国内用户的应用案例:内容创作领域包括小红书标题爆款体检、检测文章 AI 味、筛选海量新闻素材、个性化信息流过滤;企业场景包括客服工单自动分类、销售线索分级、表单自动填写;开发者场景包括代码审查、AI 代码质检、编码 Agent 监工、MCP 集成、Agent 执行前的安全检查、长期运行 Agent 的记忆清理,以及智能家居和浏览器 Agent 操作等。
本文探讨了软件工厂(software factories)的概念及其可行性。文章指出,随着AI代理编写代码的速度超过人类审查能力,软件工厂应运而生,旨在通过自动化流水线实现代码的标准化交付。然而,HumanLayer CEO Dex Horthy 的系列文章《Why Software Factories Fail》引发了广泛讨论,他认为由于模型训练中缺乏对代码可维护性的评估,完全无人干预的“暗灯”软件工厂难以规模化。文章分析了软件工厂的现状、争议点,并指出其核心问题在于将“决定构建什么”与“构建”分离,建议代理需要更深入的问题上下文才能做出更好的架构决策。
本文介绍了 Claude Code 中的“循环”概念,即智能体重复执行任务直到满足停止条件。文章详细讲解了基于回合、基于目标、基于时间和主动式四种循环类型,并提供了相应的使用场景与示例。同时,文章还分享了保持代码质量和管理 Token 用量的最佳实践,帮助开发者高效利用 Claude Code 完成复杂的自动化任务。
文章指出大多数开发者像使用初级工程师一样使用 Claude Code,缺乏有效的流程。作者提出了一套利用 Claude Code 内置原语(Plan Mode、Subagents、Hooks 等)构建的 9 步闭环流程,旨在模拟资深工程师的工作方式。该流程强调在编写代码前先探索代码库并制定计划,使用 CLAUDE.md 固化标准,利用 Hooks 强制执行不可协商的规则,并通过独立 Agent 进行代码审查,从而实现高质量、自动化的代码交付。
本文介绍了如何通过构建 Claude Code 系统来大幅提升开发效率。作者分享了三个核心实践:建立行为规范(如使用 CLAUDE.md)、定义特定角色(如 Explore 和 Plan)以及利用 /goal 命令实现自动化。通过这些方法,可以将项目维护成本降至最低,实现真正的“人负责判断,系统负责执行”。
文章介绍了一项关于 Agentic Harness Engineering (AHE) 的研究。该框架通过自动进化工具、中间件和记忆等 Harness 组件,在不修改底层模型或提示词的情况下,显著提升了编程智能体的性能。实验表明,AHE 在 Terminal-Bench 2 上将 pass@1 从 69.7% 提升至 77.0%,并在 SWE-bench-verified 上表现出更高的成本效率。研究还发现,仅依赖提示词优化反而会导致性能下降,而工具和中间件的进化才是性能提升的关键。