Wiki 知识库

全部文档 / 标签: Harness Engineering

88 篇
清除

Codex 怎样用 apply_patch 实现编辑文件工具?

本文深入解析 OpenAI Codex 的 apply_patch 编辑文件工具的设计与实现。作者拆解了从模型生成 patch 到文件系统实际变更的五层链路:自定义 patch 语言生成、Lark grammar 解析、验证定位、安全审批与执行。文章对比了 Codex 自定义 patch 格式与标准 unified diff 的异同,详细说明了 hunk 匹配的四轮渐进容错策略、从后向前的替换顺序、写入前整份 patch 验证的意义,以及路径收集与 sandbox 权限审批机制,为 Agent 开发者提供了连接大模型文本生成与确定性文件操作的工程参考。

技术 › Codex VerySmallWoods 2026-09-1319.7 KB 18.3K 147 84

Harness Engineering: 从零开始 explained

文章从零讲解 Harness Engineering(线束工程)的概念:模型只负责生成文本,而 harness 是围绕模型的软件系统,负责将模型的输出转化为实际工作。作者通过 OpenAI、LangChain、Anthropic 的案例说明,不换模型也能大幅提升 Agent 能力,关键在于模型周围的系统建设。文章以'给文章添加点赞按钮'为例,逐步拆解 harness 的构成:给模型的六件套(tools、循环、记忆、上下文、工作环境、目标与验证),以及给用户的三件套(权限限制、可观测性、评估),展示了模型'提出请求'、harness'执行动作'的协作模式。

技术 › Harness Engineering santi 2026-09-1335.7 KB 1.1M 1.6K 78

Your Agent Harness Should Repair Itself

文章探讨 Agent 系统如何在不更新模型权重的情况下自我改进。作者阐述了两条反馈路径:成功运行产生可复用的程序性记忆(以 Hermes 的 SKILL.md 文件和 GEPA 离线优化为代表),失败运行则通过 Opik 的执行 trace 进行诊断,定位故障源头(模型、工具、配置或代码),提出修复方案,经人工审核后重跑并添加回归测试。文章强调失败必须被记录为可验证的预期行为和测试用例,才能转化为可复用的知识,并详细介绍了 trace 结构、失败检测与根因分析的工作流程。

技术 › Agent Avi Chawla 2026-09-1218.9 KB 53K 415 81

Codex 'RESET' 负责人 Tibo 深度访谈:Codex 是如何建成的?为什么选择开源?为什么与 ChatGPT 合并?

本文是对 OpenAI Codex 团队负责人 Tibo Sottiaux 的深度访谈编译。访谈回顾了 Codex 从内部研究项目成长为热门 AI 编码工具的历程,详解三个反直觉决策:用 Rust 编写、全面开源、模型无关。核心洞察包括“harness 永远领先模型一点”的拐杖理论,以及 AI 重写软件开发生命周期:代码评审自动化、维护成本坍塌、意图讨论成为人类评审核心。还介绍了 Codex 与 ChatGPT 合并的架构工程、未来混合执行环境,以及 Tibo 对工程师职业发展的建议。

技术 › Codex meng shao 2026-09-1014.1 KB 7.7K 15 82

Harness 和 LLM 的动态博弈

文章探讨了 LLM 与 Harness(智能体外壳)之间的动态博弈。作者回顾了工具编排的四代演进:从 Function Calling、Tool Search、Code Mode 到 Model-native Code Execution。以 OpenCode 2 接入 GPT-6 Astra 后模型绕过定制解释层、直接写原生 Python 为例,指出前沿模型已将编程能力内化为默认行动策略,强行约束是逆着模型行事。架构思路因此从编排层变薄、控制层变厚迁移:权限拦截、可观测性、状态管理等责任转移至外部系统。作者还分析 Harness 难以自进化的原因——缺乏廉价反馈与客观评估标准。结论是 Harness 设计须保持动态滑动边界,模型已内化的能力果断让渡,控制面继续完善。

技术 › Harness Engineering LanLance 2026-09-099.5 KB 6.3K 36 75

The AI-pilled Software Factory

作者基于对30多家公司和50多位从业者的研究,提出AI成熟度模型L0-L5之外更深层的洞察:真正的AI原生公司不是给员工配AI工具提升效率,而是构建'软件工厂'。工程团队的角色从写产品软件转变为构建harness——提供上下文、权限、评估、模型路由和护栏,让全公司(市场、销售、财务、PM)都能自主开发软件。作者提出软件工厂测试五要素:看见(See)、构建(Build)、传播(Propagate)、记忆(Remember)、察觉(Notice)。通过Ramp Glass/Inspect、Vercel d0等案例说明,当软件开发成本坍缩,瓶颈从构建能力转向识别值得解决的问题的能力。

技术 › LLM Ann Miura-Ko 2026-09-0916.8 KB 17.9K 92 76

Post-training RLM agents for end-to-end M&A Diligence

Harvey与Baseten合作,为M&A尽职调查构建了递归语言模型(RLM)harness:将整个dataroom(最多80M token)加载进Python REPL,由根代理协调子代理分工审阅文档。在LAB Diligence基准上,该harness使七个模型的平均评分标准通过率提升39.1个百分点。此外,通过强化学习对Qwen3.5-122B-A10B编排模型进行后训练,将通过率从29.9%提升至63.0%。结果表明,任务专用harness内的后训练是文档密集型法律工作的可行路径,团队正在扩展训练GLM-5.3作为根模型。

技术 › LLM Niko 2026-09-0920.6 KB 273.4K 280 78

让 Agent 不只成功一次:Better Harness 的探索

文章探讨如何让 Coding Agent 从'单点做成'走向'规模运营',提出个人、团队、组织三个层级的 Harness 关注点:个人需明确任务规范并准备上下文与工具;团队要将有效经验沉淀为 Skill、模板、MCP 与质量规则;组织需建立跨 Agent 任务证据链,治理可复用能力并基于结果决定投入。作者介绍 Better Harness 开源项目及 Dashboard,支持从十余种 Coding Agent 读取本地执行数据,将分散的执行记录转化为可观察的任务反馈,把活动与验收结果连接起来,降低完成合格任务的整体成本,实现可验证、可复制、可治理的 Agent 交付能力。

技术 › Harness Engineering phodal 2026-09-0910.4 KB 4K 34 76

Anthropic 如何构建产品,软件工程又将如何改变 | 深度解读 Claude Code 一线工程师 70 分钟访谈

本文深度解读 Claude Code 开发者 Thariq Shihipar 的 70 分钟访谈,揭示 Anthropic 内部如何用 AI 做工程。核心观点包括:工程师抽象层级必须上移,把 Claude 当思考伙伴;知识工作皆可代码化;模型越强 harness 越复杂;自主性取决于 ticket 质量;提示工程被重新定义为注入上下文的一切;品味成为稀缺资源;验证能力重要性暴涨(测试代码需多 100 倍);写作与信任文化规范;以及 loop engineering、生成式界面等将扩散到全行业的转变。

技术 › Claude Code meng shao 2026-09-079.6 KB 9.1K 54 85

Harness Engineering: 构建可靠 AI Agent 的完整指南

文章指出许多 Agent 失败并非模型推理问题,而是环境(Harness)设计缺陷。作者系统阐述了 Harness Engineering 这一工程学科:将模糊请求转化为包含目标、范围、约束、验收标准和审批要求的任务契约;通过渐进式披露提供项目地图而非信息轰炸;构建带校验和风险控制的工具网关而非工具堆砌;分离大脑(推理)、双手(执行)和历史(状态)三大职责;将对话历史转化为包含事实、决策、进度和教训的持久化状态,从而将模型智能转化为可靠的工作成果。

技术 › Harness Engineering Lunar 2026-09-0722.2 KB 1.3M 621 81

几个月心血搭好的 AI 元技能,我为什么全拆掉?

作者几个月前搭建了一套名为「刚柔」的元 Skill,用图 IR、契约闸和检查机制防止模型偷懒、打折扣执行任务。随着 GPT-6 Astra 发布,模型遵循指令和多步执行能力大幅提升,OpenAI 官方建议检查 AGENTS.md 和 Skills 中可能影响模型行为的指令。作者由此意识到,许多为弥补旧模型短板而设的约束如今反而妨碍任务完成,于是委托 Codex + GPT-6 在秘书 Grok Bot 协调下彻底拆除该元技能。文章详细记录了清理的难度、推理档位选择、具体执行过程(如取消从零重跑、自动三路候选)及打包脚本隐私问题的修复,最终指出:该留的是把工作可靠完成的目标,而不是特定的脚手架,技术条件变了就该果断调整。

技术 › Skill Wang Shuyi 2026-09-0618.3 KB 4.2K 6 78

Codex No.1教程:喝茶聊天谈合同,最速项目一天交付

文章提出一套基于蜂群OS(SwarmOS)的Codex多Agent工程方法论,超越传统提示词教程。核心理念是'人类控制目标,系统控制流程,模型负责执行,证据决定完成'。作者将Codex、Claude、Kimi等多家CLI视为可替换的工程员工,通过AGENTS.md定义身份权限、行为边界、工程规范和记忆沉淀四层治理架构,把合同、素材等原始输入'编译'为任务图、验收Oracle和可恢复的交付链,并通过角色资格、身份健康、可信额度、幂等保护四道调度门实现多模型动态派单与并行开发。

技术 › Codex AI最严厉的父亲 2026-09-0536.7 KB 160.8K 428 75

AI 使用实战复盘——怎么写SKILL

文章提出 Skill 本质是一个微型 Harness,一个完整 AI 工作系统包含六层:信息边界、执行编排、记忆与状态、工具系统、约束恢复、评估观测。作者给出六步写作法:先写 description 作为触发开关,再按任务脆弱程度定正文松紧,超过 500 行的资料拆成参考文件,重复操作固化为脚本,写明失败时的默认行为,最后用真实任务验证迭代。文章强调 description 是主要触发机制、模型天生欠触发、上下文窗口是公共资源、卡的下限由失败处理决定等实战经验,并提供最小可用卡模板和发布前检查清单。

技术 › Skill O MO 2026-09-0411.6 KB 58.9K 121 91

Grok Bot for Engineering:用 AI 机器人团队重构工程工作流

SpaceXAI 工程师 Lingxi Li 分享了用 Grok Bot 构建和管理工程机器人团队的经验。他将 Grok Bot 视为能干的技术实习生,可管理多个编码代理并从工作方式中学习。文章介绍了五个各司其职的工程师机器人(覆盖 iOS、桌面端、Android、基础设施和 Harness),以及负责运营的 Jenny 机器人。通过 Notion 数据库、Cursor 云代理、截图验证等多模态反馈闭环,机器人团队可同时管理 200+ 云代理,自动完成 CI 检查、代码审查和 PR 合并,显著提升团队交付速度和效率。

技术 › Agent Lingxi Li 2026-09-0114.0 KB 1M 3.7K 74

How to protect your agent harness from abuse with Firebase

本文介绍了如何使用 Firebase 保护 AI Agent 的 harness 免受滥用。作者首先阐述了 harness 的概念:围绕 AI 模型的基础设施、资源与护栏。由于沙箱隔离和生产数据写保护等策略无法解决访问控制问题,保护人机边界成为防御外部威胁的第一道防线。文章详细讲解了 Firebase Authentication 通过联合身份提供商标识用户身份,Firebase App Check 通过设备与应用证明(依托 DeviceCheck、Play Integrity、reCAPTCHA Enterprise 等)验证请求来源的合法性。此外还介绍了基于 TTL 的会话令牌及通过 getLimitedUseToken() 和后端标记消费实现的防重放机制,为敏感端点提供额外保护。

技术 › 网络安全 Roger Martinez 2026-09-015.7 KB 20.5K 133 71

Trace Engineering: 自主 AI Agent 的可观测性架构

文章指出生产环境中多 Agent 系统的故障调试不是提示词问题,而是分布式系统可观测性问题。作者提出 Trace Engineering 架构,区分了日志、轨迹与分布式执行追踪三种对象:日志记录文本输出,轨迹记录顺序对话轮次,而追踪以 DAG 形式刻画因果图,支持并行分叉与子 Agent 委托。文章进一步阐述确定性重放与因果状态重建,通过事件溯源(append-only 事件账本)记录工具载荷、随机种子与采样参数,实现 Mocked Replay(离线零成本验证)与 Live State Resumption(从快照恢复现场)两种调试模式,避免不可控的递归重试烧毁大量 Token 成本。

技术 › Agent marfin 2026-08-3127.6 KB 264.1K 207 76

Top AI Papers of the Week(8月24-30日)

DAIR.AI 本周精选五篇 AI 论文:1)Netflix 的 LLM Judge 生命周期管理,通过推理对齐的评分标准调优实现生产级评估,A/B 测试显著提升用户浏览转化;2)NVIDIA 的 Skill Lift,用配对运行测量 Agent Skill 的实际增益,发现结构扫描分数与质量几乎不相关;3)阿里巴巴 Scroll,以代码方式管理上下文,用事件日志与沙箱内核替代预设 schema,在长记忆基准上取得最佳成绩;4)JIT-Agent,按任务即时生成 Harness,使多个骨干模型大幅提升;5)Prime Intellect 开源长程任务 Harness,支持跨轨迹持久化历史、记忆与技能,实现可复利的自我改进。

技术 › LLM DAIR.AI 2026-08-3114.2 KB 39.2K 88 83

Harness Engineering: Build a Reliable AI Agent in 6 Layers

文章提出构建可靠 AI Agent 的关键不在于更好的提示词,而在于模型周围的 Harness(工程脚手架)。作者借鉴 OpenAI 用 Codex 零手写代码构建产品的经验,提出六层最小可行 Harness:1) 将请求转化为明确的任务契约,定义目标、约束与完成条件;2) 用上下文编译器按需提供高信号信息而非堆料;3) 在模型与工具之间设置网关,做权限校验与结构化观察结果;4) 将记忆外化为持久状态,区分事实、决策、状态与教训;5) 以证据门控完成判定,用测试与验证结果决定接受、重试或上报;6) 建立追踪与恢复循环。

技术 › Harness Engineering Ichigo 2026-08-3015.6 KB 1.3M 744 85

一文弄懂Agent Harness 与 Agent Runtime的区别

本文系统对比了 AI 智能体两大组成层面:Agent Harness 与 Agent Runtime。Harness 是位于 LLM 之上的应用逻辑层,负责执行循环、提示拼装、上下文管理、工具调用、状态跟踪与错误处理,决定智能体“想什么、怎么做”;Runtime 是承载执行的基础设施层,负责沙箱隔离、资源限制、网络与凭证管控、持久化与并发调度,决定“在哪、如何安全执行”。文章从定义、职责、生命周期、接口、资源管理、安全隔离、可扩展性、可观察性、部署模型、性能、故障恢复和典型用例等方面逐一比较,并给出示例代码与部署模式总结,帮助读者全面理解并实践二者设计。

技术 › Agent Smartpig 2026-08-3019.7 KB 24.5K 140 74

AI Native SDLC 如何重构软件开发:Google、OpenAI、Anthropic 与 LangChain 四份报告深度解读

文章交叉解读Google、OpenAI、Anthropic与LangChain四份行业报告,指出AI对软件工程的最大影响不是提高单环节效率,而是迫使企业重构整个软件开发生命周期。核心观点包括:代码生成正从稀缺能力变为基础能力,交付瓶颈向需求、验证、审查和治理迁移;Context与Harness比模型能力更关键;测试与Evals须形成持续闭环;人类从主要实施者转向意图定义者与风险责任人。文章详细阐述了从意图制品到生产反馈的AI原生工作流、vibe coding与agentic engineering的区别,以及治理如何通过Skills与Hooks等机制在行动时强制执行。

技术 › LLM meng shao 2026-08-3027.7 KB 35.4K 174 80

构建弹性生产级 Agent Harness 的 5 层架构

文章指出 Agent 可靠性的关键在于模型之外的确定性软件基础设施,即 Harness Engineering。作者提出构建弹性生产 harness 的 5 层方法:1)从模型优先转向系统优先架构,结构化工作流可将任务完成率从 31.7% 提升至 78.0%;2)实现持久化状态与检查点,避免长时间运行中丢失进度;3)通过角色分离(规划者、生成者、评估者)构建验证闭环;4)利用 hooks 和隔离运行时(如沙箱、网关)确保安全边界,防御提示注入;5)记录结构化追踪便于调试与自动化修复。文中结合 Google Antigravity、ADK 2.0、Gemini Enterprise 等工具给出实践建议。

技术 › Harness Engineering Google Cloud Tech 2026-08-298.7 KB 35.7K 263 81

什么是 Harness Engineering:如何用零手写代码交付软件产品

文章介绍了 Harness Engineering(脚手架工程)这一编码智能体领域的重要趋势。作者以 OpenAI 团队用 Codex 零手写代码交付产品的实验为例,说明开发者的角色从编写逻辑转变为设计智能体运行环境:包括设置严格的沙箱边界、构建自动修复循环、以结构化仓库代替冗长指令。文章用 Google ADK 2.0 和 Antigravity SDK 的代码示例演示了如何实现沙箱限制、测试验证节点、无限循环的 kill switch,以及用图工作流将代理与测试节点连接成自主修复系统。

技术 › Harness Engineering Google Cloud Tech 2026-08-2512.5 KB 55.5K 786 75

System Design for Agent Systems (Part 1)

本文深入探讨了代理系统设计的基础与核心组件。作者指出,将前沿模型放入设计糟糕的代理系统只会得到更清晰的失败,因此工程重点应放在模型之外的代理框架(harness)上。文章首先对比了代理工作负载与传统Web请求的差异,强调代理任务耗时、I/O密集、非确定性和高边际成本,并由此推导出架构设计原则。随后,文章详细介绍了代理框架的四个关键组件:工具(Tools)的设计契约与最佳实践、提示词工程(Prompt Engineering)的结构化方法与版本管理、记忆(Memory)的短期与长期区分及上下文管理,以及多代理编排(Orchestration)的并行与顺序模式。所有内容均基于一个真实的五代理系统DevVoice,提供了实用的设计决策与代码示例。

技术 › Agent Karan 2026-08-2019.9 KB 76.4K 796 81

想让 AI 帮你做完整项目?小白先学会这套工作流

本文介绍了一套利用 AI 开发完整项目的工作流,以 DeepSeek Harness 科普网站为例,演示了从模糊需求到分阶段开发、测试、验收和迭代的完整过程。作者强调了将需求具体化、使用 spec 和 tickets 管理任务、人工验收、以及将新需求和新 bug 记录为 ticket 的重要性。文章还提供了可复用的规则和工具,帮助读者将这套流程应用到自己的项目中。

技术 › 工具与效率 Erwin 2026-08-198.3 KB 3.5K 13 73

The $1.2M Agent Engineering skill is now open source. Here it is.

本文基于Anthropic对40万次真实编码会话的研究,揭示了高效使用AI代理的关键:人类负责规划,AI负责执行。文章指出,领域专家通过单一指令能获得更完整的任务结果,而代理的复杂任务完成能力每七个月翻倍。作者详细介绍了Anthropic开源的长期运行代理框架,包括Default-FAIL验证、独立评估器和会话间状态保存等核心设计,并对比了SWE-agent与Agentless方法,强调复杂性与任务匹配的重要性。最后,文章重新定义了工程师的角色:从编写代码转向设计代理环境、分解任务和验证结果。

技术 › Agent Sprytix 2026-08-1214.7 KB 450.5K 171 76

Can software factories actually work?

本文探讨了软件工厂(software factories)的概念及其可行性。文章指出,随着AI代理编写代码的速度超过人类审查能力,软件工厂应运而生,旨在通过自动化流水线实现代码的标准化交付。然而,HumanLayer CEO Dex Horthy 的系列文章《Why Software Factories Fail》引发了广泛讨论,他认为由于模型训练中缺乏对代码可维护性的评估,完全无人干预的“暗灯”软件工厂难以规模化。文章分析了软件工厂的现状、争议点,并指出其核心问题在于将“决定构建什么”与“构建”分离,建议代理需要更深入的问题上下文才能做出更好的架构决策。

技术 › Agent PostHog 2026-08-1213.4 KB 10.5K 79 73

本周AI前沿论文导读

本文汇总了本周AI领域的多篇前沿研究。主要涵盖:1) 提出了智能体系统失败的分类法,以区分模型与支架的故障;2) 零Token记忆操作大幅降低延迟与成本;3) 研究发现在同等消耗下,简单重复采样优于模型自我反思;4) 利用单独的模型自动修复智能体支架;5) 针对异构数据的企业级分析基准DataSpace;6) 探讨提示词诱导导致的编码智能体资源浪费问题。这些研究为AI智能体开发和评估提供了重要指导。

技术 › Agent DAIR.AI 2026-08-1014.8 KB 38.3K 152 78

Harness Engineering:构建决定AI Agent可靠性的七层架构

文章指出,AI Agent的可靠性不取决于模型权重,而取决于周围的脚手架(Harness)。Harness分为七层:执行环境、工具接口、上下文管理、编排与生命周期、可观测性、验证和权限边界。这七层都是需要编写和版本控制的代码,而非模型属性。此外,Harness还分为由模型构建者提供的内部Harness和开发者自行组装的外部Harness。

技术 › Agent zostaff 2026-08-0920.2 KB 26.4K 45 88

Harness Engineering: 构建模型外围的系统

文章探讨了从“提示词工程”到“Harness Engineering(驾驭工程)”的范式转变。基于Lilian Weng的论文,指出AI Agent的成功不再仅依赖模型本身,而是其外围的系统(Harness)。Harness涵盖了工作流、上下文、记忆、权限和评估等运行时组件,类似于操作系统。与提供灵活性的框架不同,Harness专注于生产环境中的执行可靠性、持久状态和严格控制。文章还分析了三种设计模式及通向自我改进的优化阶梯,强调将持久状态存储于文件而非上下文中,是实现系统可靠性与自动优化的关键。

技术 › Harness Engineering h100envy 2026-08-0825.0 KB 13.3K 29 86

Claude循环工程:如何构建自动化Agent

本文探讨了“循环工程(Loop Engineering)”的概念,即从人工提示Agent转变为构建自动提示Agent的系统。文章追溯了其起源,并将之置于提示、上下文、测试床之上,作为自动化运行的最高层。作者详细拆解了循环系统的五个核心组件:触发器、任务、验证门、状态文件和停止条件。最后,文章介绍了Claude Code中四种循环类型及其应用场景,强调通过客观的评估器和状态持久化来实现夜间无人值守的自动化开发任务。

技术 › Agent Mr. Buzzoni 2026-08-0825.6 KB 86