本文整理了 npm 联合创始人 Laurie Voss 在 AI Engineer 纽约 workshop 上关于 AI Agent 评估方法的分享。他从一份分析师共识加总为 116% 的特斯拉研报切入，阐述 trace（日志）与 eval（评估）的区别，强调先人工精读十几条记录再设计评估的重要性。文章详细介绍了从免费代码断言、LLM 裁判到黄金数据集校准裁判的完整评估体系，指出选择正确的评估问题比调优评估更重要，并以'评结果而非评步骤'为原则，演示了通过一行 prompt 修改将可操作性从 5/16 提升到 48/48 的案例。最后他强调将评估接入 CI、区分能力评估与回归评估，才能持续保证 Agent 质量。
本文是硅谷101 Alignment 峰会 Day 1 下半场的深度纪要，总结出 AI 落地的四道坎：本体、评估、信任、维护，且四道坎都不在模型本身。机器人领域模型大小被物理参数封顶，数据质量与多样性之争可统一为数据金字塔，触觉数据与跨本体抽象是关键；世界模型定义仍在发散，AMD 收购 World Labs 释放垂直整合信号，评估工具的缺失是最大短板；Agent 的真正瓶颈是信任而非模型，企业需渐进开放权限，云端 agent 基础设施有大量脏活，交互范式需摆脱聊天框。作者结合一线信号给出创业与投资判断。
本文介绍 Hamel Husain 主编的演讲合集《Beyond Naive RAG》，汇集 9 位一线检索专家的共识：朴素 RAG（切块+单向量+余弦检索）已失效，但检索增强生成本身远未死亡。全书论证三条主线：长上下文不能替代检索（Context Rot 证明上下文越长模型越不可靠）；评估先于优化（公开基准已污染，须建自有黄金数据集）；复杂性不是目的（慎用图数据库等过度工程）。涵盖 ColBERT 后期交互、推理增强检索（Promptriever、Rank1）、多重表示与智能路由、FreshStack 评估指标等前沿方法，提出'评估驱动+多表示+推理增强+克制架构'的实践观。
文章介绍哥伦比亚大学 2026 秋季首门 Agentic Engineering 课程（COMS W4995-009），其核心立场是：Agent 本质是包裹模型的软件工程（harness），而非模型本身。课程分基础、架构、设计与生产化、期末项目四个模块共 13 讲，配备三个重实践的 Studio 实验：委托与可观测运行、长上下文压力测试与记忆架构、Agent 循环受控对比。文章还解读了课程的五层 Agent 生产栈分类法（L0 模型 API 到 L4 协调系统）与六大学习目标，认为该课将喧闹的 AI Agent 话题还原为可严肃讲授的工程学科，其课程网站和 Studio 设计即使不选课也值得从业者研读。
文章探讨将 LLM-as-Judge 从离线评估工具迁移到 Agent 运行时架构中的趋势。传统确定性软件可通过类型检查、断言等方式验证结果，而 AI 应用输出往往需要判断性评估，LLM judge 能让应用自我完成这些判断。作者介绍了几种常见模式：使用另一个模型（包括专用小型评估模型以降低成本）、将大而模糊的判断拆解为多个小判断并用 DAG 结构组合、用成对比较代替打分以规避位置偏差、在 Agent 工作过程的关键节点（如检索、方案选择）设置检查点而非仅评估最终答案，以及使用多评委投票、辩论等机制提升可靠性。
文章系统讲解了 Eval（评估）在 AI 工程中的核心地位。作者将 Eval 比喻为'给 AI 考试'，介绍了构成评估闭环的关键要素：Golden Set（考题库）、Rubric（评分标准）、评分方式（规则、人工、LLM-as-a-Judge）和 Eval Report（成绩单）。文章指出没有 Eval 的 AI 开发容易沦为'凭感觉调 Prompt'，无法回答版本是否真的提升、幻觉率是否下降等关键问题。作者强调 AI 项目应遵循 Build → Eval → Analyze → Improve 的迭代流程，Eval 是 AI FDE 的核心能力，'能运行'和'可交付'之间隔着一套完整的评估体系。
本文翻译并评述了 Chill Interview 的 Anthropic FDE 面试指南。FDE 岗位要求候选人同时具备生产级工程能力、Claude 与智能体系统能力、客户需求梳理能力、安全与可靠性意识，以及在不确定环境中自主推进的能力。文章详细拆解了面试流程各环节（简历筛选、招聘初筛、技术编程轮、Applied AI 构建轮、客户需求访谈、系统设计、价值观面试等）的考察重点、常见题型、评分点与备考建议，并强调候选人要避免表现得像「只会做 AI 演示原型的人」，需能交付经得起企业现实考验的生产系统。
本文深入探讨了应用型AI公司的核心运作模式，以保险行业为例，阐述了从初始70%准确率到承诺98% SLA的差距如何通过工程、GTM和应用AI团队的协作来弥合。文章强调了“harness”作为产品的重要性，包括工具、集成、文件系统、编排和监管五个方面，并指出评估（evals）作为平台核心原语的关键作用。作者认为，应用型AI公司通过紧密的客户反馈循环和垂直领域的深度整合，构建了难以复制的竞争优势，而非传统的数据护城河。
本文介绍了如何在12个月内通过六个阶段的学习和实践，成为一名AI工程师。重点是掌握Python编程、模型API使用、构建RAG系统、开发Agent、评估和部署能力。强调通过实际项目作品集而非学历来证明能力。
本文通过 Superpowers 6 的案例，指出 AI 已突破代码生成，开始具备流程优化与管理能力。AI 审计并改进了自己的工作流，实现了降本增效。文章强调，在 AI 自动化“判断力”的时代，人类的核心价值已从操作机器转向构建诚实可靠的评估系统，即在幻觉与自我欺骗面前，坚持用 Eval 记分牌揭示真相。
文章阐述了 AI 工程闭环中评估环节的重要性，详细介绍了手动评估、基于代码的确定性评估以及 LLM-as-a-judge 三种主要方法。作者建议从手动审查开始建立直觉，逐步定义并自动化具体的失败模式。文章还探讨了基于参考与无参考评估的区别，并强调应结合多种方法，优先使用二值评分以确保评估的清晰性与可靠性。
本文是 Langfuse Academy 系列的一部分，深入探讨了 AI 工程生命周期中的数据集设计。文章解释了数据集如何连接生产监控与开发迭代，详细介绍了数据集项的三个核心字段（输入、期望输出、元数据）及不同的评估模式。此外，文章还分享了构建高质量数据集的最佳实践，包括如何定义范围、确定规模，以及如何从生产 Trace、手工编写和合成数据中起步。
本文是 Philipp Schmid 关于如何编写高效 AI Agent Skills（技能）的实用指南。文章指出技能虽然灵活但难以掌握，并提出了 8 个核心建议：明确技能定义（能力型 vs 偏好型）、精确描述触发条件、编写指令而非冗长文章、保持内容精简、给予 Agent 适当的自由度而非死板的步骤、定义负向触发条件、通过多轮测试评估效果，以及当模型能力提升时及时淘汰冗余技能。
