Wiki 知识库

全部文档 / 标签: Harness Engineering

88 篇
清除

Grok Bot Engineering: 像SpaceXAI一样打造你自己的Bot团队

本文深入介绍xAI(文中称SpaceXAI)的Grok Bot如何运作:每个Bot运行在持久化的云端Linux虚拟机上,拥有浏览器、文件系统和终端。核心亮点是'团队化'使用模式——以Chief of Staff为中心,配合各司其职的专家Bot,并由人工审批关键操作。文中以客服事件处理为例:三个Bot(IncidentWatch、Support Bot、IncidentSweep)协作,10分钟内清理204个工单。文章分7部分讲解Bot的组织架构、工程harness、技能与记忆、审批机制及可复制的搭建方案。

技术 › Agent NO1ennn 2026-10-2736.4 KB 105.3K 106 83

如何构建成本降低 80% 的编码 Agent:Jev + Opus 5.5 完整架构

文章指出当前编码 Agent 在简单决策(如选择加载哪些笔记、任务路由、工具失败处理、测试优先级)上滥用昂贵的前沿大模型,造成成本浪费。作者提出三层架构:Opus 5.5 负责规划、写代码、调试等开放性推理;Jev(TypeSafe 出品,毫秒级响应、输入 $0.042/百万 token、输出免费)负责从固定选项中做小决策并返回概率;Harness 层构建选项、校验概率阈值并在低置信度时回退到 Opus。文章给出四个具体决策点及代码实现:按标题分块并用 Jev 并行评分筛选相关笔记(将 30k token 降至 6k)、任务路由、工具失败处理、测试优先级选择。实测一个功能开发会话成本从 $6.42 降至 $2.00,降低 69%,且架构可作为函数调用插入现有 Agent 循环,无需重写。

技术 › Agent CyrilXBT 2026-10-2626.0 KB 515.7K 385 87

The 5 levels of AI agents: From a single prompt to a production agent

文章系统讲解了构建生产级 AI Agent 的五个层次:上下文工程、循环工程、Jev 工程、Harness 工程和评估工程,并以新员工类比逐一解释。核心内容包括:上下文窗口管理(稳定内容前置、利用 prompt caching、工具过多时改用搜索、用子代理减少主上下文占用);循环与工作流的区别(能否预先写清步骤),强调循环需要明确目标、外部检查器等四要素。每个层次都配有构建方法与面向初学者的捷径方案(通过 Viktor 这类 AI 员工工具实现)。目标是让小团队用可靠的 Agent 承担重复性工作,实现不增人力的规模扩张。

技术 › Agent Yarchi 2026-10-2622.2 KB 636.5K 411 80

如何把 Opus 5.5 变成工作室:动效设计、Harness 与循环的完整指南

文章介绍了 Anthropic 发布的 Claude Opus 5.5 模型,其性能达到 Fable 5.1 水平但运行成本低 40%,尤其在长时间自主任务中表现突出。作者指出动效设计、Harness 工程和循环工程三者实为一个完整技术栈,并以五部分结构展开讲解:模型本身的基准数据与定价、如何用它做纯代码驱动的动效/动画创作、让输出可靠化的 Harness 工程、让 Agent 持续自主工作的循环机制,以及如何用单个模型串联整个工作流。文章强调缓存读取降价 60% 使长循环成本可控,并列举了大规模代码迁移、翻译 HAProxy 等实际案例。

技术 › LLM NO1ennn 2026-10-2638.3 KB 848.7K 561 84

Harness Engineering: How to Build AI Agents That Actually Work

文章指出大多数人在错误的层面修复 AI Agent 问题:模型失败时反复改提示词、换模型、加工具,却忽略了真正的问题是模型周围的环境——Harness。Harness Engineering 是构建围绕模型的系统,决定模型能看到什么、能做什么、记住什么、如何判定成功与失败。作者提出六大实践:将请求转化为带完成条件的任务契约;用渐进式披露提供项目地图而非塞满上下文;在模型与工具之间设置网关校验与策略授权;将记忆(事实、决策、状态、经验)移出对话外部存储;以可观测证据作为任务完成的门槛,优先用确定性检查。好的 Harness 能提升每一次运行的质量。

技术 › Harness Engineering Mori 2026-10-2617.5 KB 853.6K 475 84

The Path to L4 Software Engineering

文章提出从“智能体参与SDLC”到“软件工厂”之间存在关键差距,借鉴自动驾驶L0-L5分级框架,提出L4软件工程愿景:系统能在限定范围内自主完成授权的软件交付生命周期,包括验证、受控发布与安全回退,无需人工介入兜底。作者强调优先级应为系统>智能体>模型,团队需工程化地定义自主边界(仓库范围、权限、任务资格),以构建可验证、可自我修复的有界自主软件工厂,实现工程努力的复利效应。

技术 › Agent Itamar Friedman 2026-10-2519.2 KB 16K 111 75

DeepSeek V4.1 Flash 1017 实测:性能更强、费用更低的一次升级

DeepSeek 于 10 月 17 日发布 V4.1-Flash-1017 版本,AI 编程跑分显著提升,DeepSWE 达 77.0 超越 Claude Opus 5,任务平均费用降至原来的三分之一。作者使用 DeepSeek Harness 实测四个项目:3D 城市生成器对比显示新版的重庆、西安等地标建筑辨识度大幅提升,耗时从 102 分钟降至 61 分钟;许愿式编程能快速产出 3D 地铁跑酷游戏和天坛祈年殿建模;基于新开放的 Search/Fetch 接口开发的 AI 搜索引擎完成度很高。总花费仅 12.81 元,性价比突出,是一次实打实的帕累托改进。

技术 › LLM 程序员鱼皮 2026-10-1915.6 KB 8.2K 9 84

用 DeepSeek Harness 手搓一个自己的 Agent

作者基于 DeepSeek Harness 从零搭建一个客服 Agent 的实战教程。文章梳理了客服 Agent 的四大核心能力:快速检索、记忆、人机协同与工具执行;并从交互模式接入、System Prompt 精简、Session 管理与持久化、工具与 Skill 的取舍、安全边界(接口鉴权与 Sandbox 只读)等方面逐步实现。作者强调通过收缩工具数量和精简 System Prompt 降低推理与 Token 开销,用 Skill 约束行为方式、用受控 Tool 约束能力边界,最后分享了利用 DSH 分步完成开发的流程与实用技巧。

技术 › Agent c cecilia 2026-10-1915.2 KB 75

关于 DeepSeek Bot 的开发中的思考和取舍

作者分享了基于 DeepSeek Harness 构建的持久化 Bot 团队 DeepSeek Bot 的开发经验,重点讲解上下文和记忆系统的设计。文章对比了传统压缩派(cc)和 Codex 的实验性上下文管理(ecm),提出智能路由方式(icm):由独立的 context manager 决定压缩还是切会话。为确保智能路由真正有效,作者采用爬山算法优化,通过搭建用例、设置训练测试集、逐步迭代提示词来提升效果,并强调屏蔽噪声和成本控制的重要性。记忆系统采用轻量设计并支持外接插件。文章最后感谢社区认可并预告 Computer use、Browser use 等更新。

技术 › Agent FeiZ 2026-10-177.2 KB 11.4K 87 78

本周 Top AI 论文精选

DAIR.AI 汇总了本周五篇重要的 AI 论文:(1) Harness Learning,通过 RL 训练提议模型在测试时修订 agent 的 harness 代码而非模型权重,实现可泛化的适应能力;(2) CorpusMap,微软提出的基于实体的语料库导航层,让 agent 搜索更准且省 34%-57% 的 token;(3) VeriHarness,Google 提出的 agentic 验证方法,揭示多数投票的盲点,在长周期任务上提升选择准确率;(4) HERMES,将仓库组件变成主动参与者的 harness,使 GPT-5.6 在仓库迁移任务上从 6.5% 提升至 31%;(5) Sakana AI 的 MASS,用同一基座模型兼任 agent、评估者与优化者,实现多智能体自我监督进化。

技术 › LLM DAIR.AI 2026-10-1216.7 KB 100.1K 937 73

Pi Durable 从入门到精通:从一个开源小助手,到你自己的 Hermes

文章介绍了 Earendil 随 Pi 1.0 发布的实验性框架 Pi Durable,它解决的痛点是 Agent 长任务中断后无法继续。作者从零动手搭建了一个网页版个人 Agent「Pi Durable 小助手」(已开源),逐个演示其核心特性:任务每步存档、进程崩溃后从断点恢复;Document 让待办等应用状态与对话记录一致保存;后台任务实现回答后仍能触发提醒;子 Agent 与归属树支持派活与追踪;Fork 可从任意消息分叉新对话;多端同步与插话让多设备共享同一会话。最后指出可用它构建属于自己的 Hermes 式持久 Agent。

技术 › Harness Engineering 小墨同学 2026-10-1128.7 KB 31.7K 229 87

12 Agentic Harness Patterns From Claude Code

文章总结了 Claude Code 中十二种可复用的代理 Harness 设计模式,分为四大类:记忆与上下文(持久指令文件、范围化上下文组装、分层记忆、空闲整理、渐进式上下文压缩)、工作流与编排(探索-计划-执行循环、上下文隔离子代理、分叉-合并并行)、工具与权限(渐进式工具扩展、命令风险分类、单一职责工具设计)以及自动化(确定性生命周期钩子)。作者强调这些是架构层面的决策而非临时提示技巧,即使模型能力提升仍具价值。

技术 › Harness Engineering Bilgin Ibryam 2026-10-115.7 KB 20.4K 241 85

正式介绍开源的 DeepSeek Bot

作者 FeiZ 正式发布开源插件 DeepSeek Bot(ds bot),基于 DeepSeek Harness(dsh)构建,支持使用自己的 API Key 拥有一组持久化运行的 Bot,具备上下文管理与记忆能力。产品包含 Main Bot 总管家、多 Bot 群聊协作(通过管理员机制优化费用),并可接入任意模型乃至本地 agent。作者已完成多项 dsh 插件的兼容性测试,未来计划支持浏览器与电脑操控。项目目前处于早期阶段,用户可通过 GitHub 仓库或 dsh desktop 插件页安装体验并反馈问题。

技术 › Agent FeiZ (@Fei2411) 2026-10-115.1 KB 72

从 Pi Durable 看 Harness 的演进

文章以 Pi coding agent 的 Durable 版本为切入点,拆解 Harness 架构的演进。传统 Harness 将持久化系统、agent loop 和执行环境耦合在同一个 Node.js 进程中并强依赖 VM,而 Durable 将持久化外置为 SQLite 存储、执行环境与操作系统解耦,并实现无损状态恢复,使 agent 可部署在 serverless 等更灵活的计算节点上。文章还介绍了 pi 的 MCP 原生支持、codemode(通过 QuickJS 批量调度工具)以及 server/client/protocol 分离等变化,最后设计了一套可扩展的长期 Harness 架构,目标是硬件资源消耗降低一个数量级。

技术 › Agent Ludamn 2026-10-107.6 KB 16.5K 138 77

为什么编码 agent 这么蠢?

文章批判性分析了当前 coding agent(如 Claude Code、Codex、OpenCode)的种种缺陷:任务管理糟糕、不会并行处理和委派、对自身功能一无所知、计划表达混乱、轻易停下等待用户、缺乏真正的沙箱安全边界。作者区分了模型(大脑)与 agent(身体),指出模型进步很快但 agent 层才是瓶颈,并列举了理想 agent 应具备的能力:任务拆分与模型委派、人类易读的计划、OS 级沙箱、ETA 估算、自省改进等。最后猜想这是委托—代理问题——AI 高管与一线开发者脱节,只关注 demo 和基准测试而非开发者体验。

技术 › Agent yibie 2026-10-1019.4 KB 3.1K 9 76

Why LLMs can't write well and how Sherpa fixes it

Pocket FM 创始人 Rohan Nayak 分享其 AI 写作系统 Sherpa 的构建历程。通用 LLM 因训练目标(逻辑推理、快速给答案)与创意写作需求(张力、情感、悬念、节奏变化)相悖而写不好故事,且缺乏清晰的强化学习成功信号。微调现成模型的尝试均告失败后,团队自研 Sherpa harness,由规划器、叙事世界模型(NWM,维护结构化故事状态与记忆)和散文引擎三大组件构成,并利用 Pocket FM 亿级用户的收听数据做强化学习,用户留存与完听率成为写作质量的天然反馈信号。盲测中 Sherpa 在 65.6%-97.1% 的配对比较中胜出,NWM 多跳检索准确率达 86.7%,成本约为同类方案的 1/21。

技术 › LLM Rohan Nayak 2026-10-0112.5 KB 349.1K 507 74

如何为知识工作构建 Agentic 系统

文章探讨如何为智能体(Agent)构建知识工作系统。作者认为需要三点:持久化的知识与工作上下文、契合个人工作方式的系统、可复用的基础。提出“知识系统”概念,整合领域对象、证据、工作方法、进行中的工作和界面。介绍其开发的本地优先框架 ars umbris:agent repo 将类型化 Markdown 知识、Agent 能力(skills、MCP 工具)和界面捆绑在一起,仓库间可像代码包一样相互依赖。核心思想是让知识库像代码库一样工作,具备类型系统、诊断、包管理等机制,让编码 Agent 将其代码能力迁移到研究和企业经营等知识工作领域。

技术 › Agent Heinrich 2026-10-0118.4 KB 97.3K 894 76

关于 Goal 的 What、Why、How

文章从第一性原理探讨 AI Agent 的 /goal 模式:为什么需要 Goal(解决模型长程任务中的偷懒、中途停止和目标漂移问题),以及 Codex 和 Claude Code 的底层实现差异。Codex 由执行任务的 Agent 自己判断完成状态,Claude Code 则采用独立上下文的对抗性审查,由验收模型判定目标是否达成。作者认为 Goal 本质上是 Harness 层为模型能力缺陷打的补丁,未来必然会被模型内化,并给出设定清晰可验证目标的实践建议。

技术 › Agent 川处安 2026-09-2916.1 KB 5.5K 55 81

浅谈 AI 进化史

作者以个人技术视角回顾了 2022 年底 ChatGPT 上线至 2026 年约四年的 AI 发展历程。从最初围绕聊天框的 Prompt Engineering,到 2023-2024 年 RAG、工具调用与工作流编排(LangChain、n8n、Dify、MCP);2025 年 Codex CLI、Claude Code 等编程 Agent 兴起,本地部署与浏览器 Agent 出现,长任务催生上下文工程与 Harness 机制;2026 年 Skills 生态、OpenClaw 个人助手、多 Agent 协作与电脑操作能力成熟。文章梳理了从聊天框到完整任务执行系统的演进脉络,展示了 Agent 工具、技能与协作形态的迭代过程。

技术 › LLM lencx 2026-09-2830.0 KB 5.3K 17 70

How to build motion design studio with Opus 5.5 (Full-course)

本文是一份使用 Claude Opus 5.5 搭建 AI 动态设计工作室的完整教程。作者指出,模型本身只能输出代码,真正的视频是由模型编写的程序经无头浏览器逐帧截图、ffmpeg 合成的。文章详解了环境搭建(Node、Playwright、ffmpeg、Claude Code)、渲染契约(seek(t) 纯函数、种子噪声、确定性渲染)、CLAUDE.md 规则文件、导演式提示词写法,以及 12 步工作流,强调提示词只占 10%,其余 90% 在于 harness 与反馈闭环。

技术 › Claude Movez 2026-09-2848.4 KB 3.5M 9.4K 82

We built a 20x faster Grok bot

Cerebras 团队测试了主流 AI 个人助理完成订餐任务的表现,发现现有助理耗时过长(如 Grok Bot 需 7 分 40 秒)。团队使用 Qwen 3.8 27B 模型运行在 Cerebras 硬件上,以 Pi 作为 Agent Harness,通过三项优化将任务压缩至 22 秒:1) 并行执行独立的检查操作;2) 借助 Cerebras 快速推理加速模型调用;3) 将探索网站的经验固化为 Skill 复用,减少 80% 以上的工具调用。文章展示了 Harness Engineering、快速推理和经验沉淀对 Agent 效率的巨大提升潜力。

技术 › Agent Cerebras (Sarah Chieng, @0xSero) 2026-09-267.4 KB 685.5K 1.9K 70

MIT 公开课 6.S950 Agency with AI:Spec 先于 Prompt,验证先于信任

文章全景解读 MIT EECS 2026 秋季新课程 6.S950《Agency with AI》。课程不教工具使用,而教 AI 时代的工程判断力:什么该委托给 AI、什么该验证、什么该留给自己。方法论核心是四问法(解决什么问题/方案/老思想/新在哪)与增量思维。12 讲沿真实 ML 项目生命周期展开,涵盖文献阅读、spec 驱动开发、版本控制、抽象阶梯、数据审查、LLM 机制、评测设计与审计等主题。Lab 设计精妙地控制 AI 在场与否,考核要求任何无法说明理由的工作不得分,强调决策的可辩护性与人类作者性的保留。

技术 › LLM meng shao 2026-09-2616.8 KB 17.9K 115 80

BestBlogs 早报 · 09-23|Claude Opus 5.5 发布,MiMo-V2 扩展强化学习,美团分享统一推荐基座大模型实践

本期早报精讲三条内容:Anthropic 发布 Claude Opus 5.5,能力接近上代旗舰而成本下降 40%,并强化行动控制与可审计机制;小米发布 MiMo V2.6,通过更大的 Batch、全异步架构和可验证任务环境扩展强化学习,并开源训练框架与轻量 Harness;美团分享 MTFM 统一推荐基座在外卖多业务场景的落地,通过异构 Tokenizer 与混合注意力实现跨业务统一建模,订单量提升 2.06%-6.68%。速览涵盖腾讯工程师转型大模型推理、AI 产品评估实践、Agent Harness Skill Engineering、去哪儿网 AI Coding 重构、千问办公企业上下文、算力芯片趋势及 OpenAI 第三方评估原则。

技术 › LLM ginobefun 2026-09-2322.4 KB 2.9K 3 83

Loop Engineering for Sub-Dime Agents: Cutting Token Costs in AI Coding Harnesses

本文探讨如何通过循环工程降低自主编码 Agent 的 Token 成本。以一个 5 轮 PR 修复任务为例,未优化的 Harness 消耗 81,000 tokens($1.53),而优化后仅需 12,050 tokens($0.042)。核心机制包括:稳定的系统前缀以最大化 KV 缓存命中;基于 AST 的工具输出压缩,仅提取代码骨架;沙箱确定性工具预检与自动修复,避免浪费 LLM 推理;MCP 工具 Schema 的按需懒加载与 Code-Mode 执行;以及双层级模型路由(Workhorse 处理机械性任务,Frontier 处理复杂规划),并定义了四种确定性升级触发条件,实现亚角级(sub-dime)任务成本。

技术 › Harness Engineering Balaji Subramaniam (Google Cloud) 2026-09-2211.8 KB 49.6K 359 90

我让 WorkBuddy 删掉55个文件,它竟然…

作者分享了WorkBuddy这款work类agent在安全机制上的实测体验。作者从早年AI改代码踩坑的经历出发,指出不写代码的白领用户同样需要'撤销键'。实测中,WorkBuddy在批量删除55个文件时主动确认、先备份再移入废纸篓,备份经sha256校验逐字节一致;其操作日志为哈希链可防篡改,技能安装有风险检查。此外,WorkBuddy开放十几个模型可选、连接飞书钉钉等第三方办公产品,并内置独立开发者的开源skill。作者认为安全能力本质是给用户加了胆子,让非技术用户也能放心尝试和迭代。

技术 › Agent 花叔 2026-09-1810.0 KB 4K 5 68

Agent 都会自进化了,我们还能做什么?

文章探讨了 Agent 自动改进系统(Meta-Harness)的构建方法。核心问题是如何让 Agent 自动进步又无法伪造进步。作者提出将三种权力拆开:Agent 负责提出修改,评测系统负责拿证据,上线门禁决定是否升级。文章通过一个补货建议 Demo,演示了从失败记录到修改验证的完整闭环,包括锁定 Agent 不可修改的文件(密封考题、评分器、上线标准)、生成结构化故障单、构建逐层收窄的评测漏斗等实践。同时分析了 Agent 容易刷分的三种捷径:讨好评分器、记住考题、自己宣布通过,并指出 Meta-Harness 只在基础 Eval 成熟、人工改进成为瓶颈时才值得搭建。

技术 › Agent Cloris 2026-09-1817.5 KB 85.7K 127 84

Building a Harness with Jev

本文介绍 TypeSafe AI 发布的新模型 Jev,一种名为 System One 的非传统 LLM 模型。Jev 不生成文本,而是通过 RLCD 强化学习训练,对给定状态快速返回结构化决策(Choice、Score、Noul 三种问题类型)及概率,推理速度最高快 200 倍、成本低至 1/400。文章展示了如何通过 LangChain 的 TypeSafeClassifier 集成 Jev,并给出两大应用场景:模型路由(根据任务复杂度自动选择低成本或高性能模型)和 Auto Mode(对危险工具调用进行分类守护,提升 Agent 可信度)。Jev 适合作为 LLM 的补充,在 Agent 循环中承担快速、低成本的分类决策。

技术 › Agent Sydney Runkle 2026-09-1811.3 KB 2M 5.6K 84

我们说的 AI 工程化,到底是什么?今天一篇文章讲清楚

文章系统梳理了 AI 工程化领域的各种新概念(Context、Harness、Loop、Eval、Graph Engineering),指出这些 Engineering 拆到最后,核心仍然是提示词。作者认为,现代提示词已不只是聊天框里的几句话,还包括系统规则、任务资料、工具说明、历史结果、失败反馈和完成标准。Agent 的难点在于把事情真正做完:避免重复步骤、选错工具、提前结束等问题。文章分别阐述了五大 Engineering 的职责——Context 管每轮给模型看什么,Harness 管工具与环境的接入说明,Loop 管根据反馈迭代,Eval 管验证任务是否真完成,Graph 管流程节点与路由。最终结论:代码管边界(权限、轮次),提示词管边界内的判断。

技术 › Agent Miles Ma 2026-09-179.7 KB 124.3K 259 74

OpenAI Agents API 公测版实测:从 Session、沙箱到 Skills

作者对 OpenAI 发布的 Agents API 公测版进行了端到端实测,通过两次 POST /v1/agents/sessions 调用,体验了托管沙箱中的文件读写和 Skill 任务执行。文章介绍了 Agents API 开放的 Codex 背后托管 Agent Harness 的能力,以及 Agent 的三个层次(模型与 Harness、沙箱执行环境、工具与工作流),并详细记录了 Session 创建、SSE 事件流、Agent 在沙箱中的真实执行过程,包括命令失败后的自主恢复、CSV 数据校验与 JSON 输出,以及通过 Artifacts API 取回任务产物的完整流程。

技术 › OpenAI VerySmallWoods 2026-09-1618.3 KB 2K 10 86

Harness Engineering: 2026年取代提示词工程的核心技能

文章指出,2024年的核心技能是提示词工程,2025年是上下文工程,而2026年两者已被吸收进Harness Engineering。88%的企业AI Agent项目无法上线,问题几乎不在模型,而在模型外围的执行层。作者详细阐述了生产级Harness的七层架构:工具编排(草稿-提交模式防止危险操作)、验证循环(制作者与检查者分离)、上下文与记忆管理、护栏(行为/数据/工具/运营四类控制)、可观测性等。并以Anthropic Claude Code质量退化为案例,说明问题源于Harness层而非模型本身,强调Harness设计才是AI Agent产品质量的决定性因素。

技术 › Harness Engineering chuplung 2026-09-1515.5 KB 1.3M 552 78