Eval Engineering: 构建无需人工干预的 Agent 合并闸门（6 步指南）
本文介绍了如何构建一个评估工程闸门，使 Agent 能够在无需人工审查的情况下自动合并代码。文章提出了六个关键步骤：避免评估偏见、将评估结果作为运行控制、评估过程轨迹而非仅关注答案、利用历史日志生成测试用例、固定评估模型版本，以及确保评估规模。核心在于建立可靠的证据和规则，而非盲目信任模型。
全部文档 / 标签: 自动化评估
2 篇
Towards Automating Eval Engineering
文章介绍了Eval Engineering Skill，这是一个帮助编码代理使用仓库上下文和代理跟踪构建评估的技能。该技能通过检查代理结构、挖掘模式并与用户交互，生成可执行的Harbor格式评估。文章还强调了迭代设计评估的重要性，以及容器化评估在持续学习中的作用。
