你的 Agent 框架应该能够自我修复
文章探讨了AI Agent在生产环境中失败时，传统可观测性工具仅能提供追踪数据，而无法自动解决修复问题的瓶颈。作者介绍了开源平台Opik，它通过四层架构（Tracing追踪、Ollie诊断与修复、Test Suites测试集、Agent Sandbox沙盒）形成闭环。该平台能自动诊断错误链路，内置代码代理提出修复方案，并将真实失败转化为回归测试，从而实现Agent框架的自我修复与持续优化。
相关文档
你的 Agent Harness 应该自我修复
文章探讨了 Agent 系统如何在不更新模型权重的情况下实现自我改进。作者提出两条独立回路：成功运行可产出可复用流程（如 Hermes 的 SKILL.md 程序性记忆），失败运行可产出经审查的修复和回归用例。通过 Opik 工具链，生产失败被转化为结构化反馈：trace 记录、源码级诊断、人工批准 diff、重跑验证、回归测试。文章强调改动需版本管理、评估需确定性校验器，系统并非自动学习，而是把事故变成可审查的改进输入。
What is a "harness"?
文章系统解释了 AI 领域中 harness（套件/执行框架）的概念。作者指出 LLM 默认只能生成文本，要真正执行操作需要工具、调用语法、解析系统、结果回传和工具清单，这一切组成了 harness。文中区分了界面（如 Claude Code 的 TUI/GUI）与底层 harness（如 Anthropic Agent SDK、Codex App Server），并用厨房比喻说明 harness 与工具的关系。文章还解释了 MCP 的作用——类似'食谱'，让代码可以在外部运行，以及 agent 的定义：LLM 与 harness 的结合体。
让 AI 自我进化：MIT 课程「How to AI an AI」——四层演化框架解析
文章介绍了 MIT Media Lab 2026 年秋季开设的研究生课程 MAS.S62「How to AI an AI」，主题为自演化 AI（Self-Evolving AI）。课程提出四层演化框架：上下文演化（提示优化、记忆）、Harness 演化（agent 工具链自我改进）、模型演化（持续学习、self-play、测试时训练）、任务与环境演化（合成任务生成、世界模型）。文章详述了教学设计、评分结构、作业与顶会论文成果，并评价该课程是对松散领域的体系化定义尝试，建议以阅读清单和开源工具自学。
Verification Engineering 时代
文章探讨 AI Native 组织中 Verification（验证工程）正成为关键工程环节。当 AI 和多个 agent 高频生成并提交代码时，验证速度和可靠性成为新瓶颈。作者提出设立专门的 Verification Engineer 岗位，并分享实践：用 Rust 工具链缩短反馈时间、程序化 E2E 分层、agent 定期真实操作巡检、使用 PGlite 减轻环境负担、merge queue 验证合并后代码、mutation testing 验证测试有效性，以及为验证系统本身建立可观测性指标（如反馈耗时、缓存命中率、flaky 测试跟踪），以实现更快、更可信的代码验证闭环。
How to Build a Model Router in the Harness
文章介绍 LangChain 如何为开源编码代理 Open SWE 构建模型路由器。作者首先通过 LangSmith 追踪数据分析任务类型与复杂度分布，发现许多任务无需前沿级模型；随后基于 Artificial Analysis 智能指数挑选快速、均衡、高性能三档模型（GLM-5.3-Flash、GPT-5.6 Sol、GPT-6 Astra）；最后在 agent harness 的中间件层实现路由器，由分类模型根据任务标准选择最便宜可胜任的模型。结果显示每线程成本中位数降低 64%，质量无明显变化。文章强调路由决策应置于 harness 中，因其拥有网关所缺乏的任务与领域上下文。
JevOps: 决策模型正在改变 DevOps 的早期信号
文章探讨了决策模型 Jev 在 DevOps 领域的早期应用，提出“JevOps”概念。DevOps 充满大量小型语义决策（如日志是否值得调查、告警是否严重、修复是否有效等），传统依赖确定性规则、分类器或 LLM。Jev 以低成本、低延迟的方式将这些语义决策直接嵌入运维系统。文章列举了多个案例：Cribl 探索遥测管道中的语义决策、Jev Logs 实现日志分流、Jevernetes 应用于 Kubernetes 日志、Datadog 将 Jev 用于生产环境 Agent 评估、SREGym 在 SRE Agent 旁构建第二评估循环、以及 Jev 对高风险动作的语义门控审查，展示了决策模型在各运维环节的广阔前景。
Use Jev to extract signals from millions of chat agent traces
本文介绍如何利用 Jev 类模型大规模分析数百万条聊天 Agent 生产轨迹，从中提取失败信号。传统 LLM-as-a-judge 评估依赖采样以控制成本，而 Jev 类模型可在同一上下文中并行回答多个问题，以极低成本对全部轨迹进行全面评估。文中讨论了显式反馈、行为追踪、事实结果和对话信号等不同类型的用户信号，并以航班改签客服对话为例，展示如何同时捕捉后续提问、用户挫败感和结果满意度等维度。文章最后介绍如何在 Langfuse 中配置基于 Jev 的批量评估模板，实现生产信号的监控与可视化。
Jev 这种类型决策模型出现意味着什么？
文章探讨 Jev 这类'认知 ASIC'式类型决策模型的意义。作者指出传统 LLM 的直觉只是符号层面的 System 1，与人类根植于具身经验的直觉存在本质断裂；CoT 推理模型则是显式展开的符号 System 2。Jev 将高频、受 Schema 约束的判断从语言生成中剥离，编译为强类型决策原语，实现低延迟确定性收敛，类比 CPU 与 ASIC 的分工。文章进一步论证 Agent 虽有因果介入权却缺乏不可逆的生存代价，无法产生真实品味，因此需构建价值声明治理体系，守住人类主体经验的溯源锚点。
MiniMax Code CLI 正式开源
MiniMax 宣布 Code CLI v0.4.12 以 MIT 许可证向全球开发者开源。在第三方 FrontierHarness Eval 评测中，MiniMax Code 取得了最高的通过率、最快的平均任务完成时间以及次低的 token 消耗。官方认为精心设计的 harness 能充分释放模型能力并减少开发者等待时间。开源后，开发者可以审查工具调用与权限处理机制，构建可靠的企业级应用。MiniMax 同时邀请社区参与问题反馈与修复，通过真实使用和社区审查持续强化安全防护，共同打造安全、可靠、高性能的 harness，实现 Intelligence with Everyone。
start ugly, write evals anyway：Agent 评估入门指南
文章探讨了 Agent 评估（evals）的重要性与实践方法。作者将 Agent 定义为模型加 Harness 的组合，区分了模型评估与 Harness 评估，并对比了 SDLC 中的测试与 ADLC 中的评估差异。文章澄清了评估的核心概念（task、trial、outcome、grader 等），指出评估的冷启动门槛比想象中低，从真实失败案例中提取 20-50 个任务即可起步。作者强调应只构建任务完成率和正确性两个基础指标，主张评估结果而非路径，并建议纳入负向用例、部分得分机制，坚持阅读轨迹记录，关注分心、token 消耗、延迟、上下文膨胀和一致性等信号。
Open Memory, Own the Intelligence
本文探讨了AI Agent开发中开放Harness与记忆所有权的重要性。作者引用Harrison Chase的观点——'不拥有Harness就不拥有记忆'，并区分了Memory（从上下文窗口记录的事实，如用户偏好、仓库知识）和Intelligence（利用这些事实让会话更智能的机制）。文章详细介绍了Mem0的方案：通过custom_instructions和infer=False控制记忆提取，用语义+BM25+实体搜索进行检索，并借助Dream实现记忆合并、替代与综合。作者主张将记忆层置于Harness之外，存储于SQL、向量数据库和实体存储中，从而实现跨Harness的记忆与智能的可移植性，即使前沿实验室的循环保持封闭。
如果你想做 AI 应用不妨考虑一下 Harness 开发
作者结合实际工作经验，整理出一份 AI Harness 开发的 11 条技能清单，涵盖后端与系统设计、RAG 与向量数据库、记忆与上下文管理、工具调用与 MCP、Agent 编排、护栏校验、评测、可观测性、模型路由降级、排队负载均衡以及推理部署引擎。作者指出 Harness 开发是硅谷热门方向（如 YC Demo Day 上大量项目），建议普通开发者从 AI 应用入手，把模型接入具体业务，并给出将清单交给 AI 逐项学习的 prompt 方法。
