Towards Automating Eval Engineering Viv 2026-07-23 6.9 KB 487.5K 890 ☆ 收藏 𝕏 文章列表 文章介绍了Eval Engineering Skill，这是一个帮助编码代理使用仓库上下文和代理跟踪构建评估的技能。该技能通过检查代理结构、挖掘模式并与用户交互，生成可执行的Harbor格式评估。文章还强调了迭代设计评估的重要性，以及容器化评估在持续学习中的作用。 Eval EngineeringAgentLangChainHarbor自动化评估容器化持续学习编码代理 # Towards Automating Eval Engineering **作者**: Viv **日期**: 2026-07-22T17:04:58.000Z **来源**: [https://x.com/Vtrivedy10/status/2079976006644072796](https://x.com/Vtrivedy10/status/2079976006644072796) ---  Today we’re releasing our Eval Engineering Skill, a skill that helps coding agents build evals using context from a repository and agent traces. The skill inspects how an agent is structured, mines patterns from traces if available, and proposes abilities to test. The skill is designed to interview the user who can give feedback on proposals and iteratively approve each eval. The end product is a set of executable evals in Harbor format. ## Building the Environment & Task The skill first reads the repository and maps the agent surface including prompts, models, tools, skills, hooks, etc. It also identifies the data and services that back those behaviors such such as API calls. Users can also point the agent to traces which can be retrieved using tools like the langsmith-cli. Traces show how tools behave in practice such as their arguments, results, and errors. These observed contracts help the skill reproduce relevant production behavior in a controlled environment. Crawling the repo and traces gives the agent knowledge of a which abilities are important for the agent as it proposes eval tasks. We found that interviewing the user, leads to much better eval acceptance than one-shot generation. The user chooses from the proposed eval directions, and gives guidance on questions such as which tools & dependencies should run live or need to be simulated. For example, tool calls that incur costs or require writes to production can be simulated instead of being run on every eval invocation. We tested this flow on our documentation Q&A agent, chat-langchain. For this agent, the environment required a data corpus exposed through agent search tools modeled on the production agent. The tasks included realistic documentation question pulled from real traces and a verifier that checked the answer using a golden answer string and cited documents.  ## Eval Design is iterative We found that while agents are sometimes able to one-shot evals, the best evals came from users providing feedback and specifying which capabilities were worth measuring in agents. Coding agents & skills provide a natural interface where domain knowledge on how to build a good eval are encoded and users can iterate over them over time. For example, we found that when building verifiers, the first verifier was rarely the final one. A useful way to improve it was to run the eval and inspect both sides of the result: - the agent trajectory, including its messages, tool calls, and actions. - the verifier trajectory, evidence, reasoning, and final score. This helped reveal if the task or verifier design was measuring what we cared about or if it could be reward hacked where agents could take shortcuts. These shortcuts could include overciting irrelevant sources to receive full credit on the eval, claim an action it never took, exploit exposed answer material, or satisfy a proxy without completing the task. Observing the traces for how agents solve problems often reveal the source of these failures. The task, environment, and verifier can then be revised and run again. ## Evals are in Harbor format The skill builds evals as Harbor tasks: 1. An Instruction: the message given to the agent at start describing the task 2. An environment: given as a Dockerfile containing the setup for the task such as what tools to install or what data to populate in the filesystem 3. A verifier that scores whether the agent completed the task correctly. The skill builds these components together as a Harbor task: ``` evals/<task-id>/ ├── task.toml ├── instruction.md ├── environment/ └── tests/ ``` Harbor runs the agent in the environment and records its trajectory, artifacts, reward, and errors. The same eval can then run against different models, prompts, tools, and agent versions. ## Why this matters Continual learning can be thought of as a continuous data mining problem where production data is used to build evals that improve agents over time. Teams mine traces to find recurring user requests, errors, failed tool calls, and incorrect state changes. which become evals so the same behavior can be measured and prevented in the future. Evals are training data for agents. Teams can fit agent behavior to them through harness engineering such as changing prompts & tools or fine-tuning. The eval provides a fixed target for deciding whether those changes improved the intended capability. Containerized evals make this process faster. The task and environment remain stable while the agent configuration changes, so builders can swap models, tools, prompts, or complete agent versions and compare results directly. Multiple configurations can run in parallel. Reproducible environments are critical to that signal. When an eval mirrors the relevant tools, data, permissions, state, and failure modes from production, builders get a stable testbed that is still representative of how the agent operates. They can experiment quickly without relying on changing production systems or writing to production state. The resulting loop is: mine traces -> identify a failure -> build an eval -> improve the agent -> rerun ## Try it today The Eval Engineering Skill is available in the langchain-ai/langchain-skills repository. Install the skill in Codex or Claude Code, open the repository containing the agent you want to evaluate, point to agent to a set of traces if available, and start with a simple prompt: We’re looking forward to expanding this skill and building tooling to make it easier to automatically build evals and fit agents to them autonomously. ## 相关链接 - [Viv](https://x.com/Vtrivedy10) - [@Vtrivedy10](https://x.com/Vtrivedy10) - [90K](https://x.com/Vtrivedy10/status/2079976006644072796/analytics) - [Harbor](https://github.com/harbor-framework/harbor) - [langsmith-cli](https://docs.langchain.com/langsmith/langsmith-cli) - [chat-langchain](https://github.com/langchain-ai/chat-langchain) - [Harbor tasks](https://www.harborframework.com/docs/tasks) - [Continual learning can be thought of as a continuous data mining problem](https://www.langchain.com/blog/improving-agents-is-a-data-mining-problem) - [langchain-ai/langchain-skills repository.](https://github.com/langchain-ai/langchain-skills/tree/main/config/skills/eval-engineering) - [Upgrade to Premium](https://x.com/i/premium_sign_up) - [1:04 AM · Jul 23, 2026](https://x.com/Vtrivedy10/status/2079976006644072796) - [90.6K Views](https://x.com/Vtrivedy10/status/2079976006644072796/analytics) - [View quotes](https://x.com/Vtrivedy10/status/2079976006644072796/quotes) --- *导出时间: 2026/7/23 10:56:36* --- ## 中文翻译 # 迈向评估工程的自动化 **作者**: Viv **日期**: 2026-07-22T17:04:58.000Z **来源**: [https://x.com/Vtrivedy10/status/2079976006644072796](https://x.com/Vtrivedy10/status/2079976006644072796) ---  今天我们发布了我们的评估工程技能，这是一项帮助编码代理利用仓库上下文和代理轨迹来构建评估的技能。 该技能会检查代理的结构，如果轨迹可用，则从中挖掘模式，并提出需要测试的能力。 该技能设计用于与用户进行交互，用户可以对提案提供反馈，并迭代地批准每个评估。最终产物是一组 Harbor 格式的可执行评估。 ## 构建环境与任务 该技能首先读取仓库并映射代理的表面，包括提示词、模型、工具、技能、钩子等。它还会识别支持这些行为的数据和服务，例如 API 调用。 用户还可以将代理指向可以使用 langsmith-cli 等工具检索的轨迹。轨迹展示了工具在实际运行中的行为，例如它们的参数、结果和错误。这些观察到的契约有助于该技能在受控环境中重现相关的生产行为。 爬取仓库和轨迹让代理了解了哪些能力对代理很重要，因为它会提出评估任务。我们发现，与一次性生成相比，与用户交互能带来更好的评估接受度。用户从提议的评估方向中进行选择，并就诸如哪些工具和依赖项应该实时运行或需要模拟等问题提供指导。例如，产生成本或需要写入生产环境的工具调用可以被模拟，而不是在每次评估调用时都运行。 我们在我们的文档问答代理 chat-langchain 上测试了这个流程。对于该代理，环境需要一个通过代理搜索工具暴露的数据语料库，这些工具是基于生产代理建模的。任务包括从真实轨迹中提取的真实文档问题，以及一个使用黄金答案字符串和引用文档来检查答案的验证器。  ## 评估设计是迭代的 我们发现，虽然代理有时能够一次性生成评估，但最好的评估来自于用户提供反馈并指定哪些能力值得在代理中进行测量。编码代理和技能提供了一个自然的接口，其中关于如何构建良好评估的领域知识被编码在内，用户可以随时间推移对其进行迭代。 例如，我们发现，在构建验证器时，第一个验证器很少是最终版本。改进它的一个有用方法是运行评估并检查结果的两端： - 代理轨迹，包括其消息、工具调用和操作。 - 验证器轨迹、证据、推理和最终得分。 这有助于揭示任务或验证器设计是否正在衡量我们关心的内容，或者它是否可能被“奖励黑客”利用，即代理可能会走捷径。这些捷径可能包括过度引用不相关的来源以在评估中获得满分，声称它从未采取过的操作，利用暴露的答案材料，或者在不完成任务的情况下满足代理指标。观察代理解决问题的轨迹通常会揭示这些失败的根源。然后可以修改任务、环境和验证器并再次运行。 ## 评估采用 Harbor 格式 该技能将评估构建为 Harbor 任务： 1. 指令：在开始时发送给代理的消息，用于描述任务 2. 环境：以 Dockerfile 形式给出，包含任务的设置，例如安装哪些工具或在文件系统中填充哪些数据 3. 验证器：用于对代理是否正确完成任务进行评分。 该技能将这些组件一起构建为一个 Harbor 任务： ``` evals/<task-id>/ ├── task.toml ├── instruction.md ├── environment/ └── tests/ ``` Harbor 在环境中运行代理，并记录其轨迹、产物、奖励和错误。然后可以对不同的模型、提示词、工具和代理版本运行相同的评估。 ## 为什么这很重要 持续学习可以被认为是一个连续的数据挖掘问题，其中生产数据被用来构建评估，从而随时间推移改进代理。团队挖掘轨迹以找到重复的用户请求、错误、失败的工具调用和不正确的状态更改。这些将成为评估，以便可以衡量相同的行为并在未来防止它们。 评估是代理的训练数据。团队可以通过约束工程（例如更改提示词和工具或微调）使代理行为适应它们。评估为确定这些更改是否提高了预期能力提供了一个固定目标。 容器化的评估使这个过程更快。当代理配置更改时，任务和环境保持稳定，因此构建者可以交换模型、工具、提示词或完整的代理版本，并直接比较结果。多个配置可以并行运行。 可重现的环境对于该信号至关重要。当评估反映了生产环境中的相关工具、数据、权限、状态和失败模式时，构建者将获得一个仍然代表代理运行方式的稳定测试平台。他们可以快速进行实验，而无需依赖变化的生产系统或写入生产状态。 产生的循环是： 挖掘轨迹 -> 识别失败 -> 构建评估 -> 改进代理 -> 重新运行 ## 立即试用 评估工程技能可在 langchain-ai/langchain-skills 仓库中获取。 在 Codex 或 Claude Code 中安装该技能，打开包含您想要评估的代理的仓库，如果可用，将代理指向一组轨迹，然后从一个简单的提示词开始： 我们期待扩展这一技能，并构建工具，以便更容易地自动构建评估并使代理自主适应它们。 ## 相关链接 - [Viv](https://x.com/Vtrivedy10) - [@Vtrivedy10](https://x.com/Vtrivedy10) - [90K](https://x.com/Vtrivedy10/status/2079976006644072796/analytics) - [Harbor](https://github.com/harbor-framework/harbor) - [langsmith-cli](https://docs.langchain.com/langsmith/langsmith-cli) - [chat-langchain](https://github.com/langchain-ai/chat-langchain) - [Harbor tasks](https://www.harborframework.com/docs/tasks) - [Continual learning can be thought of as a continuous data mining problem](https://www.langchain.com/blog/improving-agents-is-a-data-mining-problem) - [langchain-ai/langchain-skills repository.](https://github.com/langchain-ai/langchain-skills/tree/main/config/skills/eval-engineering) - [Upgrade to Premium](https://x.com/i/premium_sign_up) - [1:04 AM · Jul 23, 2026](https://x.com/Vtrivedy10/status/2079976006644072796) - [90.6K Views](https://x.com/Vtrivedy10/status/2079976006644072796/analytics) - [View quotes](https://x.com/Vtrivedy10/status/2079976006644072796/quotes) --- *导出时间: 2026/7/23 10:56:36*
E Eval Engineering: 构建无需人工干预的 Agent 合并闸门（6 步指南） 本文介绍了如何构建一个评估工程闸门，使 Agent 能够在无需人工审查的情况下自动合并代码。文章提出了六个关键步骤：避免评估偏见、将评估结果作为运行控制、评估过程轨迹而非仅关注答案、利用历史日志生成测试用例、固定评估模型版本，以及确保评估规模。核心在于建立可靠的证据和规则，而非盲目信任模型。 技术 › Agent Hanako 2026-08-06 AgentEval Engineering自动化评估LLMDevOps代码审查质量保障模型偏见测试用例自动化
E Eval Engineering: the step that turns a $200 model into a $200,000 system 文章探讨了 Eval Engineering 的重要性，指出通过构建评估层，可以将基础模型转化为高价值系统。作者介绍了一种利用现有工具（如 LangChain、AWS 等）搭建评估引擎的方法，强调通过自动化的评估反馈机制来提升 Agent 的准确性和可靠性。 技术 › Agent Argona 2026-07-29 Eval EngineeringAgent评估系统自动化LangChainAWS模型优化编码助手
A AI 早报：Anthropic 交付架构、LangChain 设计智能体与 Ai2 新颖性裁判研究 本期早报围绕智能体系统建设展开：一是 Anthropic 负责人解释 Claude 交付架构，将会话记录、运行框架与沙箱执行环境分离，使失败恢复不影响工作连续性；二是 LangChain 分享设计智能体的实践，将设计师的审美判断沉淀为技能与知识库，中位费用从 8 美元降至 0.50 美元；三是 Ai2 研究检验 LLM 判断研究想法新颖性的可靠性，发现提示词变化可导致准确率剧烈波动。此外还涵盖 Google A2UI 推理格式、Optiver 模型接入平台、小红书 AllSpark 数据管线及 K2 Lab 垂直 AI 产品等内容。 技术 › LLM ginobefun 2026-10-28 AnthropicLangChainAi2AgentLLM架构设计智能体模型评测自动化科研早报
构 构建企业级 Agent Harness 的五大核心组件 LangChain 创始人 Harrison Chase 分享了在营销、销售和工程团队内部构建 Agent（GTM Agent、OpenSWE、Content Studio）的经验，总结出构建企业 harness 的五大核心要素：1) 用户体验——Agent 嵌入员工日常使用的 Slack，支持 breakout 独立线程；2) 身份——区分 On-behalf-of 代理用户身份与固定服务凭证两种模式；3) 记忆——分为全局记忆与用户级记忆两层；4) 代码执行——通过沙箱安全运行代码并借助 secret proxy 访问服务；5) 计划运行——大量任务由定时任务或事件触发而非用户显式调用，形成环境感知型 Agent。所有 Agent 均基于 Managed Deep Agents 构建。 技术 › Agent Harrison Chase 2026-10-25 AgentLangChainSlack沙箱身份认证记忆系统环境AgentManaged Deep Agents企业级AI
让 让 AI 帮你做事，但希望你仍然可以不断学习 作者总结了半年高强度使用 AI 和 Agent 的实践经验：通过沉淀确定性知识库、将高频任务封装为 Skill、用 Plugin 弥补能力不足、多 Agent 分工协作以及构建外部记忆层来搭建可靠的 Harness 工作环境。同时强调 AI 是工具而非决策者，切勿把思考让渡给 AI；AI 并没有创造新需求，重塑的是服务边界；瓶颈在于人的认知与判断力。作者认为 Agent 已能交付生产级成果，真正的护城河是个人的业务理解与持续学习，建议以明确目标驱动闭环，先动手试用再说。 技术 › Agent 饭团儿 2026-10-15 AgentHarnessSkillMCPAI工具持续学习人机协作认知边界AI焦虑工作流
H How to Build a Model Router in the Harness 文章介绍 LangChain 如何为开源编码代理 Open SWE 构建模型路由器。作者首先通过 LangSmith 追踪数据分析任务类型与复杂度分布，发现许多任务无需前沿级模型；随后基于 Artificial Analysis 智能指数挑选快速、均衡、高性能三档模型（GLM-5.3-Flash、GPT-5.6 Sol、GPT-6 Astra）；最后在 agent harness 的中间件层实现路由器，由分类模型根据任务标准选择最便宜可胜任的模型。结果显示每线程成本中位数降低 64%，质量无明显变化。文章强调路由决策应置于 harness 中，因其拥有网关所缺乏的任务与领域上下文。 技术 › LLM Sydney Runkle 2026-10-02 模型路由Agent成本优化LangChainOpen SWEHarnessLLM模型选择中间件
W WTF Is Jev? 9 Things People Are Already Building With It Jev 是由 ChatGPT 联合创造者、RLHF 联合发明人 Diogo Almeida 在隐身两年后推出的决策型 AI 模型。它不做对话生成，而是为软件提供快速决策：选择题、评分、是/否判断，号称比前沿 LLM 快约 200 倍、便宜 400 倍，响应仅需几十毫秒。文章盘点了社区基于 Jev 构建的 9 个实际应用，包括 7 秒找机票的浏览器代理、上下文即时压缩工具、编码代理安全审查器、模型路由中间件等。其命名源自 19 世纪经济学家 Jevons，暗喻资源越便宜消耗越多的悖论。 技术 › LLM Matt Van Horn 2026-09-18 JevTypeSafeLLMAgent决策模型模型路由RLHFClaude CodeDiogo AlmeidaLangChain
B Building a Harness with Jev 本文介绍 TypeSafe AI 发布的新模型 Jev，一种名为 System One 的非传统 LLM 模型。Jev 不生成文本，而是通过 RLCD 强化学习训练，对给定状态快速返回结构化决策（Choice、Score、Noul 三种问题类型）及概率，推理速度最高快 200 倍、成本低至 1/400。文章展示了如何通过 LangChain 的 TypeSafeClassifier 集成 Jev，并给出两大应用场景：模型路由（根据任务复杂度自动选择低成本或高性能模型）和 Auto Mode（对危险工具调用进行分类守护，提升 Agent 可信度）。Jev 适合作为 LLM 的补充，在 Agent 循环中承担快速、低成本的分类决策。 技术 › Agent Sydney Runkle 2026-09-18 JevLLMAgentLangChainSystem OneRLCD模型路由分类模型Harness EngineeringTypeSafe AI
我 我们说的 AI 工程化，到底是什么？今天一篇文章讲清楚 文章系统梳理了 AI 工程化领域的各种新概念（Context、Harness、Loop、Eval、Graph Engineering），指出这些 Engineering 拆到最后，核心仍然是提示词。作者认为，现代提示词已不只是聊天框里的几句话，还包括系统规则、任务资料、工具说明、历史结果、失败反馈和完成标准。Agent 的难点在于把事情真正做完：避免重复步骤、选错工具、提前结束等问题。文章分别阐述了五大 Engineering 的职责——Context 管每轮给模型看什么，Harness 管工具与环境的接入说明，Loop 管根据反馈迭代，Eval 管验证任务是否真完成，Graph 管流程节点与路由。最终结论：代码管边界（权限、轮次），提示词管边界内的判断。 技术 › Agent Miles Ma 2026-09-17 AI工程化提示词工程Context EngineeringHarness EngineeringAgentEvalLangChainLLM工作流
H How we built LangChain's Paid Media Agent LangChain 分享了其付费媒体 Agent 的构建经验。该 Agent 运行在 Slack 中，每周整合广告平台数据与业务管道数据，自动生成分析报告并提出优化建议。核心设计理念是将 Agent 视为知识工作者：为其提供配备沙箱、软件、业务文档的工作空间；用代码处理计算和规则以保证一致性，用模型专注判断与建议；围绕完整工作流设计，包括提案、人工审批与验证环节。借助 Deep Agents 作为 Agent harness 和 LangSmith 沙箱，六个月内付费媒体贡献了 20% 的营销管道，CPL 下降 30%，报告工作流成本降低 40 倍、速度提升 13 倍。项目已开源。 技术 › Agent LangChain 2026-09-15 LangChainAgentDeep AgentsLangSmith付费媒体营销自动化沙箱上下文工程开源GTM
O Open Memory, Own the Intelligence 本文探讨了AI Agent开发中开放Harness与记忆所有权的重要性。作者引用Harrison Chase的观点——'不拥有Harness就不拥有记忆'，并区分了Memory（从上下文窗口记录的事实，如用户偏好、仓库知识）和Intelligence（利用这些事实让会话更智能的机制）。文章详细介绍了Mem0的方案：通过custom_instructions和infer=False控制记忆提取，用语义+BM25+实体搜索进行检索，并借助Dream实现记忆合并、替代与综合。作者主张将记忆层置于Harness之外，存储于SQL、向量数据库和实体存储中，从而实现跨Harness的记忆与智能的可移植性，即使前沿实验室的循环保持封闭。 技术 › Agent mem0 2026-09-15 Mem0AgentMemoryHarnessLLM开源可移植性LangChainClaude Code
H Harness Engineering: 从零开始 explained 文章从零讲解 Harness Engineering（线束工程）的概念：模型只负责生成文本，而 harness 是围绕模型的软件系统，负责将模型的输出转化为实际工作。作者通过 OpenAI、LangChain、Anthropic 的案例说明，不换模型也能大幅提升 Agent 能力，关键在于模型周围的系统建设。文章以'给文章添加点赞按钮'为例，逐步拆解 harness 的构成：给模型的六件套（tools、循环、记忆、上下文、工作环境、目标与验证），以及给用户的三件套（权限限制、可观测性、评估），展示了模型'提出请求'、harness'执行动作'的协作模式。 技术 › Harness Engineering santi 2026-09-13 Harness EngineeringAgentLLMClaude CodeCodexAnthropicOpenAILangChain
