Wiki 知识库

全部文档 / 作者: Ethan 恩宇 / 标签: Release Gate

2 篇
清除

我让 Codex 自己开发、自己 Eval、自己修:一次真实 AI 工作流实验

作者以真实 GEO 视频工作流中的语义素材检索模块为实验对象,构建了 24 个 Case 的测试集,让 Codex 遵循「Baseline 考试 → 失败分析 → 最小修改 → 重新考试 → Release Gate 判定」的闭环流程自主工作。Baseline 通过率 79.17%,通过分析 5 个失败案例的共同点,Codex 仅增加一层确定性的 Query Rewrite,通过率提升至 91.67%,且无回归案例,但高风险 Case 未改善。最终 Release Gate 判定 FAIL,作者强调 Eval 让 AI Coding 从「生成代码」走向「对结果负责」,人类应聚焦于定义目标、边界和质量标准。

技术 › Codex Builder 2026-08-2911.0 KB 5.1K 38 85

我把 Eval 装进 Codex 后,AI Coding 的工作方式变了

作者分享了将 Eval(评估体系)融入 Codex 工作流后的实践心得。核心观点是:AI Coding 越强,Eval 越重要,因为 Build 变便宜了,但'什么叫完成'并未变简单。文章指出 Tests Passed 不等于任务正确,Testing 是底线,Eval 是交付线。作者重构了工作流程:Baseline → Build → Test → Eval → Analyze → Fix → Re-Eval → Release,强调先跑 Baseline 而非上来就改 Prompt,利用失败分类找出瓶颈,通过 Release Gate 定义验收标准。同时提出 Ground Truth 必须由人工确认,AI 不能既出题又评分。最终结论:人应从让 AI 写代码,转向给 AI 定义验收标准。

技术 › Codex Builder 2026-08-2911.1 KB 18.6K 142 85