自动辅助:具有自动评估功能的自改进代理系统 ✍ Gauri Gupta🕐 2026-04-05📦 6.2 KB 🟢 已读 𝕏 文章列表 NeoSigma 开源了‘Auto-harness’系统,这是一个自改进循环框架,能将代理失败转化为评估结果并自动修复。实验显示,该系统使 Tau3 基准任务得分提升了 40%。文章探讨了故障聚类、回归门控和子代理管理等关键技术,标志着工程重心从编写代码转向构建能够自我维持和改进的系统。 Auto-harness自改进开源评估系统NeoSigmaLLM自动化Agent # 自动辅助:具有自动评估功能的自改进代理系统(开源!) **作者**: Gauri Gupta **日期**: 2026-03-31T15:54:24.000Z **来源**: [https://x.com/gauri__gupta/status/2040251170099524025](https://x.com/gauri__gupta/status/2040251170099524025) ---  连接你的代理,让它在周末运行。 我们刚刚开源了我们的自动线束 — 一个自我改进的循环,能够发现代理的失败之处,将其转化为评估结果,并进行修复。所有操作均自动完成。 我们收到了很多反馈,人们都想在自己的代理上尝试这种自我改进循环。因此,我们将我们的设置开源了。 我们在 Tau3 基准任务上展示了我们的自动代理框架改进系统,其中代理的得分从 0.56 提高到 0.78(约 40% 的跃升),同时挖掘失败并自动维护实时评估。  > 瓶颈已经转移了。它不再是编写代码,而是之后的一切:验证行为、捕获回归错误、调试故障,以及随着系统演进和用户行为变化而维护评估和可靠性。 新时代的工程技术将着眼于设计能够随着时间推移不断自我维持和改进的系统。这包括构建强大的框架来定义代理的运行方式,构建评估层来持续测量行为,构建约束来限制系统输出,以及构建反馈回路来将故障转化为可执行的信号。 ## 自我提升循环: 一个随着代理经验和实时反馈而不断改进的飞轮。 - 生产痕迹导致的矿山事故 - 按根本原因聚类,并生成评估跟踪候选对象 - 将故障集群转换为可重用的动态评估案例 - 在测试环境中自主提出并验证线束变更 - 只接受既能提升性能又不会使先前已修复的故障重现的更改。 ## 这对实际生产系统意味着什么: - 在每次迭代中,智能体都会探索多个候选方案,并从失败的实验迭代中自我恢复。最终形成了一种智能体系统,其进化速度和可靠性远超人类,能够利用更丰富的上下文信息,运行数量更多的实验,并并行探索这些实验。 - 故障被视为反复出现的模式,而非孤立事件。高影响故障模式会被系统地识别、优先排序并推动解决,从而实现系统性能的持续、可衡量的改进。 - 评估集并非静态不变,而是随着系统演进而不断变化。回归测试集会随着每个已解决的故障集群而增长,因为每个集群都会贡献新的案例。修复后的方案会成为测试约束,这使得未来的改进更加困难,但也更加可靠。 自我改进将可靠性从手动调试循环转移到自动化改进过程,从而节省了大量维护复杂现实世界代理系统的工程时间。 ## 我们从这项实验中学到: 对故障进行聚类分析至关重要:根据提出的修复方案对故障进行分组,可以迫使你找出根本原因,而不是孤立地处理每个症状。这还能防止优化器过度拟合个别案例——针对某个集群的修复方案往往具有普遍适用性。 子代理和递归摘要有助于管理上下文:冗长的跟踪信息会迅速淹没主代理的上下文。子代理拥有自己的输出,父代理只能看到摘要。这有助于管理长时间运行任务中臃肿的上下文。 回归门控机制让收益得以累积:修复的故障会变成永久的测试用例。系统不会倒退到已经解决的问题之前。如果没有回归门控机制,优化过程就会陷入循环——一遍又一遍地重复相同的步骤。有了它,每一次改进都是累加的,目标只会朝着一个方向前进。 人为指令至关重要:通过指令、偏差规则、优化专用手册、工具和技能来完善循环框架至关重要。元层才是真正发挥作用的地方。 ## 开源自动辅助库: 我们发布了一个简化版的设置方案,供大家试用和实验!https://github.com/neosigmaai/auto-harness 实时观看我们的系统如何进行代理工具演化! > 在 NeoSigma,我们正在塑造未来。我们正在构建基础设施,以支持现实世界系统中的这种反馈循环,帮助团队捕捉失败,将其转化为结构化的评估信号,并利用这些信号来持续改进智能体的行为。 完整博文请点击此处:neosigma.ai/blog/self-improving-agentic-systems 开源库:https://github.com/neosigmaai/auto-harness 如果您正在部署代理系统,并希望更快地在实际生产系统中实现反馈闭环,我们非常乐意与您交流。欢迎加入我们! 候补名单访问方式:https://www.neosigma.ai/waitlist ## 相关链接 - [Gauri Gupta](https://x.com/gauri__gupta) - [@gauri__gupta](https://x.com/gauri__gupta) - [92K](https://x.com/gauri__gupta/status/2040251170099524025/analytics) - [自动线束](https://github.com/neosigmaai/auto-harness) - [Mar 31](https://x.com/gauri__gupta/status/2039008416245686642) - [@neosigmaai](https://x.com/NeoSigmaAI) - [@RitvikKapila](https://x.com/RitvikKapila) - [82K](https://x.com/gauri__gupta/status/2039008416245686642/analytics) - [Mar 31](https://x.com/gauri__gupta/status/2039008528246141001) - [@gauri__gupta](https://x.com/gauri__gupta) - [3.8K](https://x.com/gauri__gupta/status/2039008528246141001/analytics) - [https://github.com/neosigmaai/auto-harness](https://github.com/neosigmaai/auto-harness) - [Apr 1](https://x.com/RitvikKapila/status/2039270356733825453) - [5.6K](https://x.com/RitvikKapila/status/2039270356733825453/analytics) - [neosigma.ai/blog/self-improving-agentic-systems](https://www.neosigma.ai/blog/self-improving-agentic-systems) - [https://github.com/neosigmaai/auto-harness](https://github.com/neosigmaai/auto-harness) - [候补名单](https://www.neosigma.ai/waitlist) - [https://www.neosigma.ai/waitlist](https://www.neosigma.ai/waitlist) - [升级至高级版](https://x.com/i/premium_sign_up) - [10:12 AM · Apr 4, 2026](https://x.com/gauri__gupta/status/2040251170099524025) - [92K Views](https://x.com/gauri__gupta/status/2040251170099524025/analytics) - [View quotes](https://x.com/gauri__gupta/status/2040251170099524025/quotes) --- *导出时间: 2026/4/5 03:21:17*
浪 浪费20亿Token之后,我做了一个帮自己定义目标的Skill 作者分享了一个名为Leader.skill的开源工具,旨在解决Agent交互中目标定义模糊的问题。该工具基于“目标七问”方法论,将模糊需求转化为清晰的目标任务书,支持多模型组合(如Claude规划、GPT执行),显著提升长程任务的完成率与Token利用率。 技术 › Skill ✍ 数字生命卡兹克🕐 2026-07-27 AgentGoal Engineering目标定义自动化开源LLM效率工具方法论ClaudeGPT
S Superpowers:Claude Code 效率暴涨 10 倍的秘密 文章介绍了 Claude Code 的开源技能库 Superpowers,它如同 AI 的导航系统,通过头脑风暴、计划拆解、子代理驱动开发和测试驱动四大核心工作流,自动引导用户从构思到上线。该系统有效降低了认知负荷,并通过严格的审查机制确保代码质量,是提升企业 AI 交付效率的利器。 技术 › Skill ✍ Miles.🕐 2026-05-22 Claude CodeSuperpowers工作流Agent测试驱动自动化开源效率工具开发实践LLM
M Meet Scout: 开源的企业级上下文代理 本文介绍了 Scout,一个开源的企业级“上下文代理”(Company Brain)。针对现有方案将所有数据存入向量数据库导致索引过时的问题,Scout 提出了“导航优于搜索”的理念,通过 Context Providers 连接 Slack、Google Drive 等实时数据源,像操作文件系统一样导航信息。它还能动态构建 Wiki 和 CRM,并通过持续学习形成闭环。 技术 › Agent ✍ Ashpreet Bedi🕐 2026-04-29 Agent开源RAG上下文提供商企业知识库SlackCRMLLM向量数据库自动化
E Eval Engineering: the step that turns a $200 model into a $200,000 system 文章探讨了 Eval Engineering 的重要性,指出通过构建评估层,可以将基础模型转化为高价值系统。作者介绍了一种利用现有工具(如 LangChain、AWS 等)搭建评估引擎的方法,强调通过自动化的评估反馈机制来提升 Agent 的准确性和可靠性。 技术 › Agent ✍ Argona🕐 2026-07-29 Eval EngineeringAgent评估系统自动化LangChainAWS模型优化编码助手
如 如何(以及为何)构建 Agent First 应用 文章介绍了如何使用 Agent-Native 框架构建 Agent First 应用。通过统一的前端动作与 Agent 工具,实现 UI 与 Agent 的双向同步。应用支持通过聊天交互、集成外部 Agent、A2A 通信及自动化任务,且完全开源。 技术 › Agent ✍ Steve (Builder.io)🕐 2026-07-29 AgentAgent-NativeClaude前端A2A开源自动化框架UI
如 如何利用AI构建和扩展单人企业 文章介绍了利用AI构建和扩展单人企业的完整蓝图。通过使用AI员工(如Viktor)在内容、项目、拓展、财务和广告五个领域实现自动化,只需保留决策环节。文章探讨了两种构建方式:快速路径和自定义构建,强调业务知识库和操作规则的重要性。 技术 › Agent ✍ Machina🕐 2026-07-26 AI单人企业自动化Agent生产力Viktor商业模式知识库LLM效率
管 管理 AI 员工团队:Ryan Carson 的高效工作系统 Ryan Carson 分享了如何作为唯一员工,通过管理云端 AI Agent 团队日处理 40 个 Pull Request 的经验。文章详细介绍了将工作迁移至云端、建立工作节奏、将重复检查自动化以及控制 Token 成本四个关键步骤,强调在 AI 时代,优秀的工程管理能力比以往任何时候都重要。 技术 › Agent ✍ The Startup Ideas Podcast (SIP)🕐 2026-07-25 AIAgentDevin工程管理自动化云端开发成本控制DevOpsLLM
W What Comes After the Prompt 文章探讨了超越传统提示词的多模态交互技术,提出“任务”概念,通过结合语音、屏幕、文本等多种信息源,让代理更高效地完成复杂工作。该方法减少交互循环,提升并行工作能力,并通过存储执行痕迹逐步转化为可重用的技能,为未来全模型交互奠定基础。 技术 › Agent ✍ elvis🕐 2026-07-23 多模态Agent提示工程交互设计自动化LLM技能复用语音交互工作流
H How to master graph engineering 本课程教授如何构建 AI 智能体图,涵盖图的基本概念、关键模式(如菱形模式)、停止规则及人工审批环节。包含三个实战案例:深度研究台、SEO 内容生成器和市场推广套件,旨在提升业务效率并控制成本。 技术 › Agent ✍ Machina🕐 2026-07-23 AgentGraphLLMClaudeWorkflow工程化自动化架构设计效率实战
2 29k star的AI克隆任意网站开源skill 介绍了一个获得29k star的开源AI工具,能像素级还原任意网站。其成功关键在于将大任务拆解为小任务、使用详细的规格文件作为“合同”、正确识别页面交互逻辑,并通过git worktree实现并行工作,最终与原站进行视觉对比。 技术 › Agent ✍ AIGCLINK🕐 2026-07-22 AI开源网站克隆Agent自动化Git视觉对比
T The LLM Wiki: 3 Months of Letting Agents Run My Second Brain 文章分享了作者使用LLM代理管理和维护个人知识库(Obsidian Vault)的3个月实践经验。通过分离原始资料与生成内容、定义单一知识流向、统一页面模板以及基于情境的文件夹组织,作者成功将维护工作委托给代理,解决了传统第二脑因维护成本高而失效的问题。 技术 › Agent ✍ Sebastian Kehle🕐 2026-07-22 LLMAgent知识管理Obsidian第二脑自动化工作流
微 微软开源 Resource2Skill 项目 微软开源了 Resource2Skill 项目,并发表了相关 arXiv 论文。该项目通过自动将教程视频、文章、代码等人类资源蒸馏成 Agent 可直接执行的技能,解决了技能来源问题。Agent 能够浏览、组合和运行这些技能,生成网页、PPT、Excel、Blender 场景甚至音频作品,标志着技能生成从手写进入自动提炼阶段。 技术 › Agent ✍ Jason Zhu🕐 2026-07-21 微软Resource2SkillSkillAgent开源自动化论文