AI 工程评估方法详解：Manual、Code 与 LLM-as-a-judge
文章阐述了 AI 工程闭环中评估环节的重要性，详细介绍了手动评估、基于代码的确定性评估以及 LLM-as-a-judge 三种主要方法。作者建议从手动审查开始建立直觉，逐步定义并自动化具体的失败模式。文章还探讨了基于参考与无参考评估的区别，并强调应结合多种方法，优先使用二值评分以确保评估的清晰性与可靠性。
相关文档
什么是 Eval？为什么它决定了 AI 项目能不能真正落地
文章系统讲解了 Eval（评估）在 AI 工程中的核心地位。作者将 Eval 比喻为'给 AI 考试'，介绍了构成评估闭环的关键要素：Golden Set（考题库）、Rubric（评分标准）、评分方式（规则、人工、LLM-as-a-Judge）和 Eval Report（成绩单）。文章指出没有 Eval 的 AI 开发容易沦为'凭感觉调 Prompt'，无法回答版本是否真的提升、幻觉率是否下降等关键问题。作者强调 AI 项目应遵循 Build → Eval → Analyze → Improve 的迭代流程，Eval 是 AI FDE 的核心能力，'能运行'和'可交付'之间隔着一套完整的评估体系。
Designing eval datasets for LLM applications
本文是 Langfuse Academy 系列的一部分，深入探讨了 AI 工程生命周期中的数据集设计。文章解释了数据集如何连接生产监控与开发迭代，详细介绍了数据集项的三个核心字段（输入、期望输出、元数据）及不同的评估模式。此外，文章还分享了构建高质量数据集的最佳实践，包括如何定义范围、确定规模，以及如何从生产 Trace、手工编写和合成数据中起步。
Claude Code 团队如何进行代码评审
本文介绍了 Claude Code 团队在 AI 生成约 90% 代码的情况下如何重构代码评审流程。团队将代码评审从人工逐行阅读转变为分层自动化体系：包括 PR 前的 Claude 自验证、子代理 diff 审查、内部 skill（bug 猎捕、diff 缩减等）、以及每个 PR 的 AI 评审，仅将人类注意力保留给高风险决策。通过 CLAUDE.md 和 REVIEW.md 等文件向评审者注入项目上下文，并快速回滚机制兜底。6 月至 9 月间合并 PR 数量翻倍，回滚率下降超 40%，实现了用最少人工环节保障代码质量的目标。
Use Jev to extract signals from millions of chat agent traces
本文介绍如何利用 Jev 类模型大规模分析数百万条聊天 Agent 生产轨迹，从中提取失败信号。传统 LLM-as-a-judge 评估依赖采样以控制成本，而 Jev 类模型可在同一上下文中并行回答多个问题，以极低成本对全部轨迹进行全面评估。文中讨论了显式反馈、行为追踪、事实结果和对话信号等不同类型的用户信号，并以航班改签客服对话为例，展示如何同时捕捉后续提问、用户挫败感和结果满意度等维度。文章最后介绍如何在 Langfuse 中配置基于 Jev 的批量评估模板，实现生产信号的监控与可视化。
如何构建可持续维护的评估集
本文介绍了如何为AI Agent构建可长期维护的评估（eval）指标体系。指标分三类：目标指标、护栏指标和运营指标，三者结合使用。候选指标来源于错误分析和产品目标与硬约束。并非所有候选都值得跟踪：一次性问题用prompt修改解决即可，只有需要持续追踪的泛化问题才建指标；每个指标必须与具体决策挂钩，否则就是噪音。从零开始时，可先阅读30-50条trace并用自由文本笔记聚类失败模式。此外需定期重跑错误分析、退役失效指标，并警惕Goodhart定律导致的过拟合。
BestBlogs 早报 · 07-17｜Bun 借 AI 重写、Hook 堵越权、Nemotron 登顶检索
本期早报聚焦 AI 工程落地，精讲 Bun 用 64 个智能体 11 天重写 53.5 万行代码、腾讯 DECO 用 Hook 治理 LLM 偷懒越权、NVIDIA Nemotron 登顶检索榜。此外涵盖 Kimi K3、Inkling 模型、全双工语音等速览，强调竞争焦点从模型参数向工程实践迁移。
写好一份 Spec 的实战手册
本文属于「AI 时代的编码新范式」系列，旨在解答在 AI Agent 开发中如何编写 Spec。文章首先厘清了 Spec 与 PRD、设计文档及用户故事的区别，指出 Spec 应定义软件行为而非描述需求。接着提出了 Spec 的五要素：目标、约束、边界、验收标准和技术上下文。最后倡导从三句话开始，将 Spec 视为随项目生长的活文档，以提高 Agent 开发的准确性和安全性。
10万 Star开源库 agency-agents 详解：给AI装上专家团队
文章深入解读了 GitHub 上的热门开源库 agency-agents。它并非独立的 AI 应用或平台，而是一套“AI 专家角色模板库”（Prompt 模板）。其核心价值在于将 AI 的角色标准化，通过定义前端、后端、产品经理等不同“工牌”，解决通用 AI 角色不稳定的问题。该库支持 Claude Code、Cursor 等多种工具，将 AI 从“泛泛聊天”转变为“专业干活”，是理解 Agent 工作流设计的优秀案例。
How I got banned from GitHub due to my harness pipeline
作者 Junghwan NA 记录了一次极端的“线束工程”（Harness Engineering）实验。他在 72 小时内通过构建一个包含 13 个阶段的自动化流程，利用 OMX 和 Ouroboros 等 AI 代理工具，向包括 Kubernetes、Hugging Face 在内的 100 多个开源仓库提交了 500 多次提交。虽然大部分 PR 质量极高并被维护者直接合并，但这种高频行为触发了 GitHub 的滥用检测机制，导致其账户被封禁。文章深入探讨了实现该流程的技术细节（如本地复现、合并模式匹配），并阐述了在自动化时代，人类判断力和“认证”依然是维持开源系统信任的关键瓶颈。
AI 早报：Anthropic 交付架构、LangChain 设计智能体与 Ai2 新颖性裁判研究
本期早报围绕智能体系统建设展开：一是 Anthropic 负责人解释 Claude 交付架构，将会话记录、运行框架与沙箱执行环境分离，使失败恢复不影响工作连续性；二是 LangChain 分享设计智能体的实践，将设计师的审美判断沉淀为技能与知识库，中位费用从 8 美元降至 0.50 美元；三是 Ai2 研究检验 LLM 判断研究想法新颖性的可靠性，发现提示词变化可导致准确率剧烈波动。此外还涵盖 Google A2UI 推理格式、Optiver 模型接入平台、小红书 AllSpark 数据管线及 K2 Lab 垂直 AI 产品等内容。
如何把 Opus 5.5 变成工作室：动效设计、Harness 与循环的完整指南
文章介绍了 Anthropic 发布的 Claude Opus 5.5 模型，其性能达到 Fable 5.1 水平但运行成本低 40%，尤其在长时间自主任务中表现突出。作者指出动效设计、Harness 工程和循环工程三者实为一个完整技术栈，并以五部分结构展开讲解：模型本身的基准数据与定价、如何用它做纯代码驱动的动效/动画创作、让输出可靠化的 Harness 工程、让 Agent 持续自主工作的循环机制，以及如何用单个模型串联整个工作流。文章强调缓存读取降价 60% 使长循环成本可控，并列举了大规模代码迁移、翻译 HAProxy 等实际案例。
Kimi K3.1 Pro 来了：离最强只差 0.7 分，API 反而降价三分之一，权重 11 月 4 日白送
月之暗面发布 Kimi K3.1 Pro，基于 K3 做 post-training 升级，2.8T 总参数、104B 激活（MoE）、1M 上下文、多模态。Terminal-Bench 4.0 得分 65.7，超越 GPT-6 Astra（58.2），仅落后 Claude Opus 5.5（66.4）0.7 分，是开源模型离闭源最强最接近的一次。API 价格输入 $2/输出 $10，比上一代降价三分之一，权重将于 11 月 4 日开源。文章拆解了 14 项评测表现，指出其在编码、Agent、金融分析领域表现出色，但科学计算类任务偏科严重（38.1 vs 68.1），并给出小白使用入口与避坑清单。
