Agent评测入门，我最推荐Anthropic这篇文章
作者结合自身开发问答机器人Agent评测系统的工程实践，推荐并解读Anthropic的文章《Demystifying evals for AI agents》。文章分享了8个核心经验：Agent看到的信息与Judge评分时能获取的证据可能不一致，导致高准确率仍被判失败；LLM Judge的输出需要像外部API一样严格校验；信息不足时应允许Judge返回Unknown而非强行打分；评测环境配置、数据集同步、systemd部署等基础设施问题常导致结果不可信；需区分评分低与评分无效；要区分Capability Eval与Regression Eval，并使用pass@k、pass^k指标评估稳定性；以及务必人工检查Transcript而非只看分数。文章提供了大量真实踩坑案例，对Agent评测落地极具参考价值。
