Wiki 知识库

全部文档 / 作者: Alex Lieberman

2 篇
清除

Does Your AI Agent Actually Work? A Guide to Eval-Driven Development

本文介绍 AI Agent 的评估驱动开发(Eval-Driven Development)。作者指出 vibe coding 可以快速构建应用,但仅靠手工测试提示词无法保证 Agent 质量上线。文章解释了评估的核心概念:eval 是应用于 trace 的评分器,包括 Case、Run 等基本构件,并详述四种评分方式——确定性检查、参考答案评分、规则评分和轨迹评分。文章还区分线上评估(监控生产环境真实流量)与线下评估(发布前测试),强调两者缺一不可,并通过 promotion 机制将生产问题转化为测试用例,形成持续改进闭环。

技术 › LLM Alex Lieberman 2026-10-0615.7 KB 108.8K 386 84

构建AI原生的软件开发生命周期

随着AI编程智能体的兴起,传统的敏捷开发流程已无法有效扩展。文章深入解析了Tenex团队开发的AI原生软件开发生命周期系统——MetaHarness。该系统旨在解决智能体执行速度超越系统上下文维护能力的风险,提出了将“上下文即代码”、制定允许动态调整的详细计划等八大核心原则。通过引入严格的文档语法、单一事实来源以及连接紧密的工程蓝图,MetaHarness实现了人机高效协作,使软件开发变得更快速、健壮且可衡量。

技术 › Harness Engineering Alex Lieberman 2026-08-0719.9 KB 64K 95 85