LLM-as-Judge Architectures: Putting Evals Into Your Agent Runtime

Josh Rosen 2026-09-09 13.2 KB 90.3K 681

文章探讨将 LLM-as-Judge 从离线评估工具迁移到 Agent 运行时架构中的趋势。传统确定性软件可通过类型检查、断言等方式验证结果，而 AI 应用输出往往需要判断性评估，LLM judge 能让应用自我完成这些判断。作者介绍了几种常见模式：使用另一个模型（包括专用小型评估模型以降低成本）、将大而模糊的判断拆解为多个小判断并用 DAG 结构组合、用成对比较代替打分以规避位置偏差、在 Agent 工作过程的关键节点（如检索、方案选择）设置检查点而非仅评估最终答案，以及使用多评委投票、辩论等机制提升可靠性。