Wiki 知识库

全部文档 / 作者: Park / 标签: repo-evals

1 篇
清除

AI 时代的 eval 究竟应该怎么做

作者提出在 AI 时代执行成本越来越低,eval(评估)才是一等公民。他建立了 repo-evals 项目,系统测评各类工具和 skill,并详细介绍了完整的评估方法论:先看真实产出而非介绍;将工具分为原子、分子、复合物三个层级并采用不同检查标准;打分四档且分数拆开可解释;明确 who/when/how 使用场景;绘制工作流并与同类工具对比;标注部署成本和 license;把 README 承诺拆成一条条 claim 逐条核对实测证据;最后按层级使用不同检查清单(确定性、幂等性、工作流正确性、错误传播等)。文章以 guizang social card 为例演示了完整评估页面结构。

技术 › Harness Engineering Park 2026-10-1012.5 KB 1.2K 8 88