作者分享了在咨询项目中管理项目知识库的方法，旨在同时服务 AI 编码代理和工程师两类读者。核心设计是对一棵 Markdown 文件树执行五种操作：存储（将原始资料、事实和生成产物分目录管理）、创建（新资料经过切片、摘要、生成视图和规范的固定流水线）、更新（通过哈希检测变更，沿链接反向重建所有依赖产物）等。设计强调每个摘要、视图和规范都链接到其来源事实，配合两条质量护栏确保生成内容有据可依，使文档变更后系统能自动同步更新所有下游内容，为编码代理提供始终最新的详细规范。
本文面向构建基于 LLM 的 Agent 系统的工程师，讲解如何对 Agent 进行评估（Agentic Evals）。核心观点是：要评估 Agent 实际改变了什么，而非它说了什么。文章通过一个自行车店客服 Agent 的完整示例，展示五步评估法：编写带预期终态的任务、多次运行并保留完整轨迹、同时评估终态和路径、报告能力与可靠性两个数字、定位失败的第一步。文章还区分了单次回答模型与多步 Agent 在评估上的差异，强调没有可检验终态的任务不构成有效的评估，并讨论了模型作为评判者的可信度问题。
这是一篇面向 AI 项目决策者的科普文章，无需技术背景，逐层拆解 AI Agent 的十三层结构。作者从核心三要素（模型、上下文、工具）讲起：模型是无状态、只会预测下一个词的神经网络；上下文包含系统提示、技能、规则、工具定义等，按 token 计费；工具在用户侧运行。后续层涵盖如何优化输出质量（上下文卫生、专有信息、大小与位置）、什么是 Agent、幻觉、知识库、记忆、Harness、子代理、长时循环、评估、交互式与无头模式、助手与自主 AI 的区别，以及 Skill 的价值。所有数据均来自已发表论文或标注为厂商声明的文档，文末附向团队提问的清单与要点总结。
本文系统讲解了 AI 系统评估的基础知识，面向构建、购买或审批 LLM 应用的工程师、产品经理和管理者。文章以一个自行车商店客服助手为例，介绍评估的核心循环：收集带标准答案的输入、运行系统、用代码规则或模型裁判进行打分、生成带误差范围的指标。内容涵盖测试集与开发集的划分、失败模式分析、代码评分器与模型裁判的优劣、基准测试与评估的区别、以及如何将评估纳入日常开发流程，强调评分器本身也需要被检验。
