start ugly, write evals anyway：Agent 评估入门指南
文章探讨了 Agent 评估（evals）的重要性与实践方法。作者将 Agent 定义为模型加 Harness 的组合，区分了模型评估与 Harness 评估，并对比了 SDLC 中的测试与 ADLC 中的评估差异。文章澄清了评估的核心概念（task、trial、outcome、grader 等），指出评估的冷启动门槛比想象中低，从真实失败案例中提取 20-50 个任务即可起步。作者强调应只构建任务完成率和正确性两个基础指标，主张评估结果而非路径，并建议纳入负向用例、部分得分机制，坚持阅读轨迹记录，关注分心、token 消耗、延迟、上下文膨胀和一致性等信号。
