本文面向构建基于 LLM 的 Agent 系统的工程师，讲解如何对 Agent 进行评估（Agentic Evals）。核心观点是：要评估 Agent 实际改变了什么，而非它说了什么。文章通过一个自行车店客服 Agent 的完整示例，展示五步评估法：编写带预期终态的任务、多次运行并保留完整轨迹、同时评估终态和路径、报告能力与可靠性两个数字、定位失败的第一步。文章还区分了单次回答模型与多步 Agent 在评估上的差异，强调没有可检验终态的任务不构成有效的评估，并讨论了模型作为评判者的可信度问题。
本文指出，AI系统首次运行成功并不能证明其可靠性，因为环境变化或输入差异可能导致失败。作者强调，评估（Evals）是确定AI系统可信度的关键，它要求基于实际工作场景收集案例，并明确“好”的标准。通过持续测试和迭代，评估集能帮助团队了解系统的边界和失败模式。文章还区分了公共基准与产品级评估，认为后者必须基于具体业务场景。最后，作者提倡将评估作为系统开发的核心部分，以确保AI在实际工作中的可靠性。
本文基于对 ShareAI 创始人新璐的访谈，深入解读了 Agent Harness 的核心概念与架构设计。文章指出，Harness 是模型之外赋予 AI 行动能力、记忆与协作能力的“身体”。通过剖析 Claude Code 的三层结构——执行层、记忆层与治理层，作者阐述了从“流程驱动”向“模型自主决策”转变的工程实践。文章强调，优秀的 Harness 应提供类 UNIX 的稳定环境与结构化的记忆机制，从而释放模型的潜能，使其成为真正的智能合作伙伴。
本文深入剖析了 Agent 系统的工程实现，强调 Harness（测试与约束基础设施）比模型能力更关键。文章详细阐述了 Agent Loop 的稳定性、上下文分层管理以避免 Context Rot、工具设计的 ACI 原则、记忆系统的多维度分类，以及基于失败案例的评测体系。最后通过 OpenClaw 案例，展示了如何利用 Prompt Caching 和按需加载 Skills 来优化系统架构。
本文介绍了 Claude Code 团队在 AI 生成约 90% 代码的情况下如何重构代码评审流程。团队将代码评审从人工逐行阅读转变为分层自动化体系：包括 PR 前的 Claude 自验证、子代理 diff 审查、内部 skill（bug 猎捕、diff 缩减等）、以及每个 PR 的 AI 评审，仅将人类注意力保留给高风险决策。通过 CLAUDE.md 和 REVIEW.md 等文件向评审者注入项目上下文，并快速回滚机制兜底。6 月至 9 月间合并 PR 数量翻倍，回滚率下降超 40%，实现了用最少人工环节保障代码质量的目标。
文章系统解释了 AI 领域中 harness（套件/执行框架）的概念。作者指出 LLM 默认只能生成文本，要真正执行操作需要工具、调用语法、解析系统、结果回传和工具清单，这一切组成了 harness。文中区分了界面（如 Claude Code 的 TUI/GUI）与底层 harness（如 Anthropic Agent SDK、Codex App Server），并用厨房比喻说明 harness 与工具的关系。文章还解释了 MCP 的作用——类似'食谱'，让代码可以在外部运行，以及 agent 的定义：LLM 与 harness 的结合体。
文章介绍了 MIT Media Lab 2026 年秋季开设的研究生课程 MAS.S62「How to AI an AI」，主题为自演化 AI（Self-Evolving AI）。课程提出四层演化框架：上下文演化（提示优化、记忆）、Harness 演化（agent 工具链自我改进）、模型演化（持续学习、self-play、测试时训练）、任务与环境演化（合成任务生成、世界模型）。文章详述了教学设计、评分结构、作业与顶会论文成果，并评价该课程是对松散领域的体系化定义尝试，建议以阅读清单和开源工具自学。
本文整理了 Lee Robinson 在斯坦福 CS146S 的讲座，完整拆解常驻主动式智能体（如 GrokBot）的工程架构。内容涵盖：从工具到同事的四个时代演进、模型层六大关键变化（长程指令遵循、子智能体、computer use、技能系统等）、常驻 agent 内部架构（休眠-唤醒模型、Firecracker 微虚机云电脑、薄客户端单工具设计、Temporal 持久化工作流、升级阶梯）、安全模型（auto review、提示注入防护），以及上下文工程核心技巧（prompt caching 经济学、压缩时机、分层记忆），最后展望训练飞轮与行业走向，并给出给学生的三条建议。
这是一篇面向 AI 项目决策者的科普文章，无需技术背景，逐层拆解 AI Agent 的十三层结构。作者从核心三要素（模型、上下文、工具）讲起：模型是无状态、只会预测下一个词的神经网络；上下文包含系统提示、技能、规则、工具定义等，按 token 计费；工具在用户侧运行。后续层涵盖如何优化输出质量（上下文卫生、专有信息、大小与位置）、什么是 Agent、幻觉、知识库、记忆、Harness、子代理、长时循环、评估、交互式与无头模式、助手与自主 AI 的区别，以及 Skill 的价值。所有数据均来自已发表论文或标注为厂商声明的文档，文末附向团队提问的清单与要点总结。
文章介绍 LangChain 如何为开源编码代理 Open SWE 构建模型路由器。作者首先通过 LangSmith 追踪数据分析任务类型与复杂度分布，发现许多任务无需前沿级模型；随后基于 Artificial Analysis 智能指数挑选快速、均衡、高性能三档模型（GLM-5.3-Flash、GPT-5.6 Sol、GPT-6 Astra）；最后在 agent harness 的中间件层实现路由器，由分类模型根据任务标准选择最便宜可胜任的模型。结果显示每线程成本中位数降低 64%，质量无明显变化。文章强调路由决策应置于 harness 中，因其拥有网关所缺乏的任务与领域上下文。
DeepSeek 悄悄开源了 dsh-libreoffice-kit 组件，原本隐藏在 DeepSeek Harness 中。该组件解决了 AI 生成文档却看不到排版效果的痛点：可将 Word、PPT 渲染成图片让 AI 查看排版，真实计算 Excel 公式以核对结果，自带字体管理避免中文乱版，并支持文件级隔离处理防止单点故障。这使 AI 能够自己写、自己看、自己改文档，无需人工逐页返工。文章指出 AI 办公领域的竞争不只在于模型能力，底层基础设施同样关键。
作者通过逆向工程分析 AI Agent 应用 Instinct 为何体验如此出色。Instinct 是免费、邀请制的个人助理，直接运行在 iMessage 和 WhatsApp 上，让不懂技术的家人也能轻松使用。文章拆解了其 Harness 架构：采用单线程对话模型，由主对话 Agent 负责人格、记忆与上下文管理，任务 Agent 负责具体执行；使用 git 跟踪的 Markdown 文件做记忆存储而非向量数据库；支持非循环式消息交互，用户无需等待即可继续发消息。作者认为 ChatGPT/Claude 的多线程模式是历史包袱，并称赞 Instinct 通过 Gmail 集成、克制的信息风格和大胆超配资源的产品策略，实现了真正的个人助理体验。
本文介绍 Replit AI 团队关于 agent harness 设计的实证文章：与其让较弱的 router 替强模型选择 LLM，不如解放模型自己决定 effort 档位、何时委派任务以及交给谁。Replit Agent 通过四个可组合委派原语（领域感知子 agent、档位与 effort、可复用子 agent、动态 effort 调整）实现这一目标。生产数据显示，GPT-6 Astra 是首个无需吩咐就例行把实现交给通用 worker 的模型，回访已有子 agent 的比例达 42%。基准测试中 Replit Agent 在 DeepSWE 和 Terminal-Bench 上均优于 sidekick 架构 11~16 个点，且具备成本-质量帕累托有效性。作者将其解读为 Sutton「苦涩的教训」的实例：模型越强，harness 越应少做决定。
