Wiki 知识库

全部文档 / 标签: 评估指标

2 篇
清除

7 rules for self-improving agent loops every AI engineer should know

本文介绍了自改进智能体循环的七条规则,强调在智能体编写代码时,定义“好”的标准才是真正的工程工作。文章指出,循环可以自动化一切,但无法告诉你“更好”意味着什么,因此指标成为你编写的工件。通过自定义指标(如 retention_offered)和分级(grading)打破循环的盲目性,并利用 agents-cli 工具实现测量与改进的自动化。七条规则包括:从单一案例开始、让评判者解释原因、对确定性答案使用代码、评分行为而非路径、将不稳定案例视为发现、防止提议者移动标准、最后进行一次性自动优化。这些规则确保人类保持对自动循环的控制,并使评估与可观测性统一为同一循环的两种采样方式。

技术 › Agent Google Cloud Tech 2026-08-119.9 KB 127.1K 83

私有知识库第4篇:评估集 + 增量更新,让 RAG 能长期跑下去

文章探讨了 RAG(检索增强生成)系统长期运行的两大难题:评估与更新。作者提出建立包含50个问题的“评估集”,通过 Recall、Precision 和 LLM 辅助的答案准确率来量化系统效果,避免盲目调参。同时,针对文档更新导致的全量重建成本问题,介绍了基于内容 Hash 的增量更新策略,仅处理变动文档,大幅降低资源消耗与停机时间。

技术 › LLM A Ando 2026-07-0817.6 KB