Wiki 知识库

全部文档 / 标签: agents-cli

2 篇
清除

使用 Google Agents CLI 构建智能体评估内循环

本文是 Google 关于智能体质量飞轮的实操续篇,介绍如何用 agents-cli 手动运行评估内循环。作者构建了一个汇率转换智能体 fx-agent,并故意在指令中植入缺陷(未要求在回复末尾列出所使用的工具),通过六个测试用例的评估集验证:内置 AutoRaters 指标会遗漏此类缺陷,因此需要将关键行为提升为自定义指标(LLM 评审与正则代码检查双重视角)来单独度量。随后修复一行指令,并用分数变化证明修复有效。文章强调评估的意义在于检查智能体是否遵守规则,而非答案表面质量。

技术 › Agent Google Cloud Tech 2026-08-2815.9 KB 31.9K 289 85

7 rules for self-improving agent loops every AI engineer should know

本文介绍了自改进智能体循环的七条规则,强调在智能体编写代码时,定义“好”的标准才是真正的工程工作。文章指出,循环可以自动化一切,但无法告诉你“更好”意味着什么,因此指标成为你编写的工件。通过自定义指标(如 retention_offered)和分级(grading)打破循环的盲目性,并利用 agents-cli 工具实现测量与改进的自动化。七条规则包括:从单一案例开始、让评判者解释原因、对确定性答案使用代码、评分行为而非路径、将不稳定案例视为发现、防止提议者移动标准、最后进行一次性自动优化。这些规则确保人类保持对自动循环的控制,并使评估与可观测性统一为同一循环的两种采样方式。

技术 › Agent Google Cloud Tech 2026-08-119.9 KB 127.1K 83