Wiki 知识库

全部文档 / 标签: 评估驱动开发

2 篇
清除

Does Your AI Agent Actually Work? A Guide to Eval-Driven Development

本文介绍 AI Agent 的评估驱动开发(Eval-Driven Development)。作者指出 vibe coding 可以快速构建应用,但仅靠手工测试提示词无法保证 Agent 质量上线。文章解释了评估的核心概念:eval 是应用于 trace 的评分器,包括 Case、Run 等基本构件,并详述四种评分方式——确定性检查、参考答案评分、规则评分和轨迹评分。文章还区分线上评估(监控生产环境真实流量)与线下评估(发布前测试),强调两者缺一不可,并通过 promotion 机制将生产问题转化为测试用例,形成持续改进闭环。

技术 › LLM Alex Lieberman 2026-10-0615.7 KB 108.8K 386 84

AI 工程技能图谱:构建与部署 AI 应用

吴恩达详细阐述了 AI 工程技能图谱中的核心技能——构建与部署 AI 应用,包含六大方面:LLM 基础(分词、上下文窗口、工具调用等)、用数据为模型提供基础(RAG、向量索引、知识图谱)、构建 Agentic 系统(工作流、Agent harness、多智能体编排)、评估驱动开发(evals 与错误分析循环)、生产环境运营(可观测性、回归测试、成本与延迟优化)以及机器学习基础。该技能图谱基于大量招聘信息、专家访谈和调研形成,强调 AI 系统因输出不可预测而比传统软件开发更具迭代性。

技术 › LLM Andrew Ng 2026-08-227.9 KB 2.1M 12.1K 73