npm 创始人 Laurie Voss：如何判断你的 AI 智能体是否足够优秀

Saito 2026-10-27 8.6 KB 453 2

本文整理了 npm 联合创始人 Laurie Voss 在 AI Engineer 纽约 workshop 上关于 AI Agent 评估方法的分享。他从一份分析师共识加总为 116% 的特斯拉研报切入，阐述 trace（日志）与 eval（评估）的区别，强调先人工精读十几条记录再设计评估的重要性。文章详细介绍了从免费代码断言、LLM 裁判到黄金数据集校准裁判的完整评估体系，指出选择正确的评估问题比调优评估更重要，并以'评结果而非评步骤'为原则，演示了通过一行 prompt 修改将可操作性从 5/16 提升到 48/48 的案例。最后他强调将评估接入 CI、区分能力评估与回归评估，才能持续保证 Agent 质量。