Wiki 知识库

全部文档 / 作者: Sergii Makarevych / 标签: Agent

2 篇
清除

How to organise a project's knowledge for AI coding agent and an engineer

作者分享了在咨询项目中管理项目知识库的方法,旨在同时服务 AI 编码代理和工程师两类读者。核心设计是对一棵 Markdown 文件树执行五种操作:存储(将原始资料、事实和生成产物分目录管理)、创建(新资料经过切片、摘要、生成视图和规范的固定流水线)、更新(通过哈希检测变更,沿链接反向重建所有依赖产物)等。设计强调每个摘要、视图和规范都链接到其来源事实,配合两条质量护栏确保生成内容有据可依,使文档变更后系统能自动同步更新所有下游内容,为编码代理提供始终最新的详细规范。

技术 › Agent Sergii Makarevych 2026-10-2673.4 KB 12.7K 207 83

Evals: 如何判断 AI 系统是否真正有效

本文系统讲解了 AI 系统评估的基础知识,面向构建、购买或审批 LLM 应用的工程师、产品经理和管理者。文章以一个自行车商店客服助手为例,介绍评估的核心循环:收集带标准答案的输入、运行系统、用代码规则或模型裁判进行打分、生成带误差范围的指标。内容涵盖测试集与开发集的划分、失败模式分析、代码评分器与模型裁判的优劣、基准测试与评估的区别、以及如何将评估纳入日常开发流程,强调评分器本身也需要被检验。

技术 › LLM Sergii Makarevych 2026-10-0449.0 KB 138.5K 1.5K 89