文章探讨了 Agent 自动改进系统（Meta-Harness）的构建方法。核心问题是如何让 Agent 自动进步又无法伪造进步。作者提出将三种权力拆开：Agent 负责提出修改，评测系统负责拿证据，上线门禁决定是否升级。文章通过一个补货建议 Demo，演示了从失败记录到修改验证的完整闭环，包括锁定 Agent 不可修改的文件（密封考题、评分器、上线标准）、生成结构化故障单、构建逐层收窄的评测漏斗等实践。同时分析了 Agent 容易刷分的三种捷径：讨好评分器、记住考题、自己宣布通过，并指出 Meta-Harness 只在基础 Eval 成熟、人工改进成为瓶颈时才值得搭建。
文章系统梳理了 AI 工程化领域的各种新概念（Context、Harness、Loop、Eval、Graph Engineering），指出这些 Engineering 拆到最后，核心仍然是提示词。作者认为，现代提示词已不只是聊天框里的几句话，还包括系统规则、任务资料、工具说明、历史结果、失败反馈和完成标准。Agent 的难点在于把事情真正做完：避免重复步骤、选错工具、提前结束等问题。文章分别阐述了五大 Engineering 的职责——Context 管每轮给模型看什么，Harness 管工具与环境的接入说明，Loop 管根据反馈迭代，Eval 管验证任务是否真完成，Graph 管流程节点与路由。最终结论：代码管边界（权限、轮次），提示词管边界内的判断。
本文深入介绍xAI（文中称SpaceXAI）的Grok Bot如何运作：每个Bot运行在持久化的云端Linux虚拟机上，拥有浏览器、文件系统和终端。核心亮点是'团队化'使用模式——以Chief of Staff为中心，配合各司其职的专家Bot，并由人工审批关键操作。文中以客服事件处理为例：三个Bot（IncidentWatch、Support Bot、IncidentSweep）协作，10分钟内清理204个工单。文章分7部分讲解Bot的组织架构、工程harness、技能与记忆、审批机制及可复制的搭建方案。
作者分享了将 Eval（评估体系）融入 Codex 工作流后的实践心得。核心观点是：AI Coding 越强，Eval 越重要，因为 Build 变便宜了，但'什么叫完成'并未变简单。文章指出 Tests Passed 不等于任务正确，Testing 是底线，Eval 是交付线。作者重构了工作流程：Baseline → Build → Test → Eval → Analyze → Fix → Re-Eval → Release，强调先跑 Baseline 而非上来就改 Prompt，利用失败分类找出瓶颈，通过 Release Gate 定义验收标准。同时提出 Ground Truth 必须由人工确认，AI 不能既出题又评分。最终结论：人应从让 AI 写代码，转向给 AI 定义验收标准。
文章探讨了从“提示词工程”到“Harness Engineering（驾驭工程）”的范式转变。基于Lilian Weng的论文，指出AI Agent的成功不再仅依赖模型本身，而是其外围的系统（Harness）。Harness涵盖了工作流、上下文、记忆、权限和评估等运行时组件，类似于操作系统。与提供灵活性的框架不同，Harness专注于生产环境中的执行可靠性、持久状态和严格控制。文章还分析了三种设计模式及通向自我改进的优化阶梯，强调将持久状态存储于文件而非上下文中，是实现系统可靠性与自动优化的关键。
本文探讨了“循环工程（Loop Engineering）”的概念，即从人工提示Agent转变为构建自动提示Agent的系统。文章追溯了其起源，并将之置于提示、上下文、测试床之上，作为自动化运行的最高层。作者详细拆解了循环系统的五个核心组件：触发器、任务、验证门、状态文件和停止条件。最后，文章介绍了Claude Code中四种循环类型及其应用场景，强调通过客观的评估器和状态持久化来实现夜间无人值守的自动化开发任务。
DAIR.AI 汇总了本周五篇重要的 AI 论文：(1) Harness Learning，通过 RL 训练提议模型在测试时修订 agent 的 harness 代码而非模型权重，实现可泛化的适应能力；(2) CorpusMap，微软提出的基于实体的语料库导航层，让 agent 搜索更准且省 34%-57% 的 token；(3) VeriHarness，Google 提出的 agentic 验证方法，揭示多数投票的盲点，在长周期任务上提升选择准确率；(4) HERMES，将仓库组件变成主动参与者的 harness，使 GPT-5.6 在仓库迁移任务上从 6.5% 提升至 31%；(5) Sakana AI 的 MASS，用同一基座模型兼任 agent、评估者与优化者，实现多智能体自我监督进化。
文章总结了 Claude Code 中十二种可复用的代理 Harness 设计模式，分为四大类：记忆与上下文（持久指令文件、范围化上下文组装、分层记忆、空闲整理、渐进式上下文压缩）、工作流与编排（探索-计划-执行循环、上下文隔离子代理、分叉-合并并行）、工具与权限（渐进式工具扩展、命令风险分类、单一职责工具设计）以及自动化（确定性生命周期钩子）。作者强调这些是架构层面的决策而非临时提示技巧，即使模型能力提升仍具价值。
作者提出在 AI 时代执行成本越来越低，eval（评估）才是一等公民。他建立了 repo-evals 项目，系统测评各类工具和 skill，并详细介绍了完整的评估方法论：先看真实产出而非介绍；将工具分为原子、分子、复合物三个层级并采用不同检查标准；打分四档且分数拆开可解释；明确 who/when/how 使用场景；绘制工作流并与同类工具对比；标注部署成本和 license；把 README 承诺拆成一条条 claim 逐条核对实测证据；最后按层级使用不同检查清单（确定性、幂等性、工作流正确性、错误传播等）。文章以 guizang social card 为例演示了完整评估页面结构。
文章指出，现代生产力的最大瓶颈不是思考慢，而是工作碎片化地在多个应用间切换，决策只需三十秒，而协调却要二十分钟。Grok Bot 类持久化 Agent 的价值在于以任务结果为界面，让应用成为实现细节，消除工具间的转换成本。作者阐述了以职位描述定义工作流、持久化环境保存上下文、将流程固化为可复用例程、从人类行为中学习自动化等理念，并强调 Agent 架构应分层：生成模型负责创造内容，快速决策层负责调度，确定性代码负责规则约束，从而构建真正自主的工作系统。
本文系统讲解了 AI 系统评估的基础知识，面向构建、购买或审批 LLM 应用的工程师、产品经理和管理者。文章以一个自行车商店客服助手为例，介绍评估的核心循环：收集带标准答案的输入、运行系统、用代码规则或模型裁判进行打分、生成带误差范围的指标。内容涵盖测试集与开发集的划分、失败模式分析、代码评分器与模型裁判的优劣、基准测试与评估的区别、以及如何将评估纳入日常开发流程，强调评分器本身也需要被检验。
本文是 AI 术语科普系列的第一期，面向小白读者，用通俗易懂的语言讲解 11 个常见 AI 概念：大语言模型（LLM）、多模态、提示词（Prompt）、Token（词元）、上下文、记忆、知识库、Agent（智能体）、Skills（技能）、工作流和 AI 幻觉。作者金尘马解释了模型与应用的区别、Token 与计费和上下文窗口的关系、记忆与上下文的差异，并对比了工作流的固定流程与 Agent 的自主决策，帮助读者扫清学习 AI 路上的术语障碍。
作者以个人技术视角回顾了 2022 年底 ChatGPT 上线至 2026 年约四年的 AI 发展历程。从最初围绕聊天框的 Prompt Engineering，到 2023-2024 年 RAG、工具调用与工作流编排（LangChain、n8n、Dify、MCP）；2025 年 Codex CLI、Claude Code 等编程 Agent 兴起，本地部署与浏览器 Agent 出现，长任务催生上下文工程与 Harness 机制；2026 年 Skills 生态、OpenClaw 个人助手、多 Agent 协作与电脑操作能力成熟。文章梳理了从聊天框到完整任务执行系统的演进脉络，展示了 Agent 工具、技能与协作形态的迭代过程。
