本文介绍 AI Agent 的评估驱动开发（Eval-Driven Development）。作者指出 vibe coding 可以快速构建应用，但仅靠手工测试提示词无法保证 Agent 质量上线。文章解释了评估的核心概念：eval 是应用于 trace 的评分器，包括 Case、Run 等基本构件，并详述四种评分方式——确定性检查、参考答案评分、规则评分和轨迹评分。文章还区分线上评估（监控生产环境真实流量）与线下评估（发布前测试），强调两者缺一不可，并通过 promotion 机制将生产问题转化为测试用例，形成持续改进闭环。
这是一篇面向 AI 项目决策者的科普文章，无需技术背景，逐层拆解 AI Agent 的十三层结构。作者从核心三要素（模型、上下文、工具）讲起：模型是无状态、只会预测下一个词的神经网络；上下文包含系统提示、技能、规则、工具定义等，按 token 计费；工具在用户侧运行。后续层涵盖如何优化输出质量（上下文卫生、专有信息、大小与位置）、什么是 Agent、幻觉、知识库、记忆、Harness、子代理、长时循环、评估、交互式与无头模式、助手与自主 AI 的区别，以及 Skill 的价值。所有数据均来自已发表论文或标注为厂商声明的文档，文末附向团队提问的清单与要点总结。
本文介绍如何利用 Jev 类模型大规模分析数百万条聊天 Agent 生产轨迹，从中提取失败信号。传统 LLM-as-a-judge 评估依赖采样以控制成本，而 Jev 类模型可在同一上下文中并行回答多个问题，以极低成本对全部轨迹进行全面评估。文中讨论了显式反馈、行为追踪、事实结果和对话信号等不同类型的用户信号，并以航班改签客服对话为例，展示如何同时捕捉后续提问、用户挫败感和结果满意度等维度。文章最后介绍如何在 Langfuse 中配置基于 Jev 的批量评估模板，实现生产信号的监控与可视化。
文章指出 Agent 最危险的失败不是报错，而是做错了却显示"已完成"。作者以一个资料研究 Agent 为例，搭建了一套最小可用的 Agent 评测框架，回答三个问题：任务有没有做成、失败发生在哪里、新版本能否发布。核心方法包括：先明确评测要回答的发布决策；把"做完"写成可检查的完成条件和 Hard Failure；建立 30 条起步的分层评测数据集（dev/holdout/regression/challenge）；将 Outcome 与 Trajectory 分开评估；采用 Rules + LLM Judge + Human 三层打分体系。最终通过重复运行对比 v1/v2、设置发布门禁、把线上失败送回评测集，形成完整评测闭环。
本文介绍了如何为AI Agent构建可长期维护的评估（eval）指标体系。指标分三类：目标指标、护栏指标和运营指标，三者结合使用。候选指标来源于错误分析和产品目标与硬约束。并非所有候选都值得跟踪：一次性问题用prompt修改解决即可，只有需要持续追踪的泛化问题才建指标；每个指标必须与具体决策挂钩，否则就是噪音。从零开始时，可先阅读30-50条trace并用自由文本笔记聚类失败模式。此外需定期重跑错误分析、退役失效指标，并警惕Goodhart定律导致的过拟合。
作者提出2026年AI Agent工程师的12步路线图，围绕决定Agent成败的七大支柱展开：上下文、工具、记忆、循环、图、Harness与评估。文章指出Agent失败的核心原因是上下文膨胀、循环不收敛、缺乏评估。前半部分详细讲解上下文工程（如Claude Code启动即加载约7850 token、精简系统提示、CLAUDE.md分层管理）、工具与MCP设计（用类型代替示例、延迟加载）、记忆管理（计划文件、主动压缩）等内容，强调七者是同一技能的不同投影，需按依赖顺序学习。
本文是基准测试科学系列第一部分，从第一性原理讲解LLM评测：为什么评测（为无法直接观测的能力提供决策证据）、评测什么（任务、数据与用户环境的代表性）、如何评测（指标、采样与统计）。作者将基准视为测量仪器而非问题集合，拆解了任务、数据集、评分器等核心组件，并强调分数不等于能力本身，声明离直接观测越远所需假设越多。后续部分将讨论基准失效、数据污染与榜单刷分等议题。
Marc Andreessen 借鉴 Replit 创始人 Amjad 的观点，探讨 AI Agent 如何进入企业并推动“自动驾驶公司”的到来。文章提出“混乱”是颠覆性技术落地的重要信号：回顾个人电脑、电子表格和电子邮件的历史，它们均以未经批准、自下而上的混乱方式进入职场，随后企业通过建立合适的“栖息地”（habitat）将其驯服，在保留员工自主性和热情的同时实现有序管控。作者认为 AI Agent 当下的无序使用（聊天窗口、个人账号、零散脚本）正是重大变革的前兆，关键在于谁能“让混乱 reign，再驾驭 chaos”，从而释放组织深层对齐与生产力。
作者开源了一个名为 Story Studio 的 AI Agent Skill，用于自动化生产历史/人物故事类短视频，涵盖选题策划、黄金钩子文案、豆包大模型配音、毫秒级字音对齐、三套画风分镜生图、自动生成剪映草稿等全链路。作者靠该流水线在视频号实现单条爆款播放100W+、单日带货4000+的战绩。文章详细拆解了各环节实操方法，并分享图书带货、银发健康产品、创作者分成计划、私域导流等四条变现路径，强调工具完全免费开源。
本文整理了 npm 联合创始人 Laurie Voss 在 AI Engineer 纽约 workshop 上关于 AI Agent 评估方法的分享。他从一份分析师共识加总为 116% 的特斯拉研报切入，阐述 trace（日志）与 eval（评估）的区别，强调先人工精读十几条记录再设计评估的重要性。文章详细介绍了从免费代码断言、LLM 裁判到黄金数据集校准裁判的完整评估体系，指出选择正确的评估问题比调优评估更重要，并以'评结果而非评步骤'为原则，演示了通过一行 prompt 修改将可操作性从 5/16 提升到 48/48 的案例。最后他强调将评估接入 CI、区分能力评估与回归评估，才能持续保证 Agent 质量。
Thorsten Ball 分享了 2026 年 10 月他与 AI Agent 协作的工作方法：使用最新最强的模型，不必担心代码库积累 slop；提示时描述 What 而非 How；让 agent 贯通整个软件开发生命周期（运行、部署、看日志、处理 bug 报告），并为其提供定制工具；通过盲测实验评估 agent 对代码库知识的利用；不要手动管理上下文，让 compaction 工作；请求不可反驳的证明（端到端演示、前后对比数据）；拥抱异步工作流，给 agent 更大任务；利用定时唤醒等自动化功能；只审查高影响范围的代码。这些实践展示了 agent 驱动开发的新范式。
文章系统讲解了构建生产级 AI Agent 的五个层次：上下文工程、循环工程、Jev 工程、Harness 工程和评估工程，并以新员工类比逐一解释。核心内容包括：上下文窗口管理（稳定内容前置、利用 prompt caching、工具过多时改用搜索、用子代理减少主上下文占用）；循环与工作流的区别（能否预先写清步骤），强调循环需要明确目标、外部检查器等四要素。每个层次都配有构建方法与面向初学者的捷径方案（通过 Viktor 这类 AI 员工工具实现）。目标是让小团队用可靠的 Agent 承担重复性工作，实现不增人力的规模扩张。
文章指出大多数人在错误的层面修复 AI Agent 问题：模型失败时反复改提示词、换模型、加工具，却忽略了真正的问题是模型周围的环境——Harness。Harness Engineering 是构建围绕模型的系统，决定模型能看到什么、能做什么、记住什么、如何判定成功与失败。作者提出六大实践：将请求转化为带完成条件的任务契约；用渐进式披露提供项目地图而非塞满上下文；在模型与工具之间设置网关校验与策略授权；将记忆（事实、决策、状态、经验）移出对话外部存储；以可观测证据作为任务完成的门槛，优先用确定性检查。好的 Harness 能提升每一次运行的质量。
