你的 Agent Harness 应该自我修复
文章探讨了 Agent 系统如何在不更新模型权重的情况下实现自我改进。作者提出两条独立回路:成功运行可产出可复用流程(如 Hermes 的 SKILL.md 程序性记忆),失败运行可产出经审查的修复和回归用例。通过 Opik 工具链,生产失败被转化为结构化反馈:trace 记录、源码级诊断、人工批准 diff、重跑验证、回归测试。文章强调改动需版本管理、评估需确定性校验器,系统并非自动学习,而是把事故变成可审查的改进输入。
文章探讨了 Agent 系统如何在不更新模型权重的情况下实现自我改进。作者提出两条独立回路:成功运行可产出可复用流程(如 Hermes 的 SKILL.md 程序性记忆),失败运行可产出经审查的修复和回归用例。通过 Opik 工具链,生产失败被转化为结构化反馈:trace 记录、源码级诊断、人工批准 diff、重跑验证、回归测试。文章强调改动需版本管理、评估需确定性校验器,系统并非自动学习,而是把事故变成可审查的改进输入。
文章系统阐述了Agent自我修复的机制,信息密度高,分析深入,提供了具体工具和操作流程,观点新颖,且发布于当天,时效性极强,结构清晰易读。
文章探讨 Agent 系统如何在不更新模型权重的情况下自我改进。作者阐述了两条反馈路径:成功运行产生可复用的程序性记忆(以 Hermes 的 SKILL.md 文件和 GEPA 离线优化为代表),失败运行则通过 Opik 的执行 trace 进行诊断,定位故障源头(模型、工具、配置或代码),提出修复方案,经人工审核后重跑并添加回归测试。文章强调失败必须被记录为可验证的预期行为和测试用例,才能转化为可复用的知识,并详细介绍了 trace 结构、失败检测与根因分析的工作流程。
文章介绍了在 LLM/Agent 产品中,除了搭建在线评估器之外,更应优先捕获用户评判信号(signals of judgment)。用户在使用过程中已通过行为在'评判'AI 输出质量,只需在应用中埋点捕获。信号分为四类:显式评分(点赞/星级,明确但稀少)、行为信号(复制、重新生成、放弃等,覆盖率高)、会话信号(改写问题、纠正、要求转人工等)和结果信号(草稿被原样发送、工单保持关闭等,最强但最难实现)。文章还讨论了信号解读方法:负信号值得逐条排查,正信号只看趋势;以及自我选择、幸存者偏差、界面曝光、群体差异等固有偏差,提醒不要单以正信号为优化目标。
作者结合实际工作经验,整理出一份 AI Harness 开发的 11 条技能清单,涵盖后端与系统设计、RAG 与向量数据库、记忆与上下文管理、工具调用与 MCP、Agent 编排、护栏校验、评测、可观测性、模型路由降级、排队负载均衡以及推理部署引擎。作者指出 Harness 开发是硅谷热门方向(如 YC Demo Day 上大量项目),建议普通开发者从 AI 应用入手,把模型接入具体业务,并给出将清单交给 AI 逐项学习的 prompt 方法。
文章探讨如何在不训练模型的前提下,让编码智能体在后续任务中持续变好。作者将编码智能体拆解为“冻结模型 + harness 程序”,并以 Pi 和 Hermes 为例说明通用 harness 的循环结构:组装提示、调用工具、追加结果、压缩上下文。核心观点是,真正带来“自进化”的并非内层循环本身,而是引入第二个写入者——在回合结束后或任务进行中,由额外代理将经验写入 MEMORY.md、SKILL.md 或四类存储,使下一个上下文窗口能加载这些持久化知识。Hermes 通过 fork 代理定期写记忆与技能,Prime Agent 则用 /refine 从轨迹中做最小可回滚编辑。两者都保留不可变基础提示,只改变下一窗口内容。
本文详细拆解了 Hermes Agent 的底层架构,将其定义为工业级运行时而非简单的 LLM 循环。文章类比前端工程模式,阐述了 Agent = Harness + Model 的核心公式。重点解析了从平台入口、适配器层、事件总线、GatewayRunner 核心调度层到 AI Agent 执行层的五层架构,揭示了 Hermes 如何通过共享线程池、会话复用和生命周期管理,实现高并发、有状态且安全可靠的 Agent 运行环境。
文章基于 Harness Engineering 三大支柱(评估闭环、架构约束、记忆治理),深度对比了 Nous Research 的 Hermes-Agent 与作者基于 OpenClaw 自建的 MemOS 系统。Hermes 主打“有界热记忆 + CLI 优先”,适合个人快速启动;自建方案则采用“无界记忆 + Hook 机制强制捕获”,实现多 Agent 协作与权限隔离,适合团队长期积累。
作者对比了 Pi Agent 和 DeepSeek Harness 两款 Agent 工具的选择问题。Pi Agent 核心精简,适合喜欢自己掌控工作流、DIY 工具和 Context 的用户,但插件装多易冲突;DeepSeek Harness 采用 Everything is a Plugin 思路,配有桌面 App,适合想快速上手、不喜欢终端的用户,但仍处测试版且有破坏性升级风险。作者指出省 Token 的关键不在初始 Context,而在工具加载方式、历史内容携带、任务重复执行及 Prompt Cache 复用率。最后建议:熟悉终端的写码者选 Pi,偏好图形界面者选 DSH。
文章系统解释了 AI 领域中 harness(套件/执行框架)的概念。作者指出 LLM 默认只能生成文本,要真正执行操作需要工具、调用语法、解析系统、结果回传和工具清单,这一切组成了 harness。文中区分了界面(如 Claude Code 的 TUI/GUI)与底层 harness(如 Anthropic Agent SDK、Codex App Server),并用厨房比喻说明 harness 与工具的关系。文章还解释了 MCP 的作用——类似'食谱',让代码可以在外部运行,以及 agent 的定义:LLM 与 harness 的结合体。
本文是一篇面向小白的 DeepSeek Harness(DSH)完整上手教程。作者介绍了 DSH 的核心特点:门槛低(DeepSeek 账号登录即用)、一切皆插件(连 Agent 循环都可替换,社区插件超 6000 个)、过程可回放(轨迹功能)。文章详细讲解了下载安装、登录方式(账号与 API Key 两种)、界面各功能入口(模式、权限、模型、推理强度等)的含义,并分析了计费方式与省钱技巧,同时提醒它仍是预览版,未经过安全审计,需注意数据安全。后续还将涵盖插件市场、原理拆解、实战练习及与 Pi、Claude Code、Codex 的对比。
文章介绍了 MIT Media Lab 2026 年秋季开设的研究生课程 MAS.S62「How to AI an AI」,主题为自演化 AI(Self-Evolving AI)。课程提出四层演化框架:上下文演化(提示优化、记忆)、Harness 演化(agent 工具链自我改进)、模型演化(持续学习、self-play、测试时训练)、任务与环境演化(合成任务生成、世界模型)。文章详述了教学设计、评分结构、作业与顶会论文成果,并评价该课程是对松散领域的体系化定义尝试,建议以阅读清单和开源工具自学。