Agentic evals: 如何判断 AI Agent 是否真正完成了任务并保持可靠
本文面向构建基于 LLM 的 Agent 系统的工程师，讲解如何对 Agent 进行评估（Agentic Evals）。核心观点是：要评估 Agent 实际改变了什么，而非它说了什么。文章通过一个自行车店客服 Agent 的完整示例，展示五步评估法：编写带预期终态的任务、多次运行并保留完整轨迹、同时评估终态和路径、报告能力与可靠性两个数字、定位失败的第一步。文章还区分了单次回答模型与多步 Agent 在评估上的差异，强调没有可检验终态的任务不构成有效的评估，并讨论了模型作为评判者的可信度问题。
