AI Evals 课程沉淀的 8 个 Skills：错误分析 → 评测器 → 校准 → 监控
文章介绍了来自 Hamel Husain 和 Shreya 的 AI Evals 课程沉淀的 8 个 Skills，帮助工程师和产品经理为自己的 AI 产品构建评测体系。核心理念是先看数据再写评测：先手动阅读真实 trace 做错误分析，发现失败模式，再针对每个模式构建评测器，并用约 100 条人工标注校准（TPR/TNR 目标 >90%）。8 个 Skills 覆盖入口路由、错误分析、评测审计、合成数据生成、Judge 提示词编写、评测器校准、RAG 评测和标注界面构建。方法论强调二值评判、单一 judge 测单一失败模式、Rogan-Gladen 偏差修正等最佳实践。
