Wiki 知识库

全部文档 / 作者: Ethan 恩宇 / 标签: Golden Set

2 篇
清除

我把 Eval 装进 Codex 后,AI Coding 的工作方式变了

作者分享了将 Eval(评估体系)融入 Codex 工作流后的实践心得。核心观点是:AI Coding 越强,Eval 越重要,因为 Build 变便宜了,但'什么叫完成'并未变简单。文章指出 Tests Passed 不等于任务正确,Testing 是底线,Eval 是交付线。作者重构了工作流程:Baseline → Build → Test → Eval → Analyze → Fix → Re-Eval → Release,强调先跑 Baseline 而非上来就改 Prompt,利用失败分类找出瓶颈,通过 Release Gate 定义验收标准。同时提出 Ground Truth 必须由人工确认,AI 不能既出题又评分。最终结论:人应从让 AI 写代码,转向给 AI 定义验收标准。

技术 › Codex Builder 2026-08-2911.1 KB 18.6K 142 85

什么是 Eval?为什么它决定了 AI 项目能不能真正落地

文章系统讲解了 Eval(评估)在 AI 工程中的核心地位。作者将 Eval 比喻为'给 AI 考试',介绍了构成评估闭环的关键要素:Golden Set(考题库)、Rubric(评分标准)、评分方式(规则、人工、LLM-as-a-Judge)和 Eval Report(成绩单)。文章指出没有 Eval 的 AI 开发容易沦为'凭感觉调 Prompt',无法回答版本是否真的提升、幻觉率是否下降等关键问题。作者强调 AI 项目应遵循 Build → Eval → Analyze → Improve 的迭代流程,Eval 是 AI FDE 的核心能力,'能运行'和'可交付'之间隔着一套完整的评估体系。

技术 › LLM Builder 2026-08-2814.6 KB 30.8K 290 78