Wiki 知识库

全部文档 / 标签: 自动化测试

26 篇
清除

Claude Code 团队如何进行代码评审

本文介绍了 Claude Code 团队在 AI 生成约 90% 代码的情况下如何重构代码评审流程。团队将代码评审从人工逐行阅读转变为分层自动化体系:包括 PR 前的 Claude 自验证、子代理 diff 审查、内部 skill(bug 猎捕、diff 缩减等)、以及每个 PR 的 AI 评审,仅将人类注意力保留给高风险决策。通过 CLAUDE.md 和 REVIEW.md 等文件向评审者注入项目上下文,并快速回滚机制兜底。6 月至 9 月间合并 PR 数量翻倍,回滚率下降超 40%,实现了用最少人工环节保障代码质量的目标。

技术 › Claude Code Addy Osmani 2026-10-2722.4 KB 1.6M 10K 85

Building a design system for coding agents

文章介绍为编码 Agent 构建设计系统的实践:由于仓库中存在多个版本的相同控件,Agent 会复制混乱并放大问题。作者正在开发 design.how,提供可安装、可直接交给 Agent 使用的设计系统与六个免费 Skill:build-design-system 从现有应用构建语义 token、规范组件与校验规则;migrate-design-system 用多 Agent 协作迁移全应用并设置预算;token-mapping 按用途映射设计值;component-docs 生成组件文档;design-review 检查截图无法覆盖的交互状态。每个 Skill 附带 TESTS.md 与适配提示,可替换为团队自定义规则。

技术 › Skill A Arlan 2026-09-305.1 KB 42.4K 693 82

「闪电.skill」发布!Anthropic两周提速3倍的方法,拿来给自己用

作者介绍Anthropic用两周时间将claude.ai核心体验提速3倍的方法论:先量化指标、用指令数稳定测量、设置棘轮防止性能回退,并在150多个并行线程中由Claude找问题、人做取舍。作者照此方法让agent优化自己的4个网站并整理成「闪电.skill」,其中公众号排版器打开到能打字的耗时从2238毫秒降至209毫秒,减少90.7%。文章还分享了优化过程中的踩坑经验,如旧草稿覆盖风险、测量干扰等,并提供skill的安装方式供读者使用。

技术 › Skill 花叔 2026-09-269.1 KB 50K 84 88

移动端 UI 自动化测试迎来重大进化:Maestro MCP 正式开源

Maestro MCP 正式开源,标志着移动端 UI 测试进入 Agentic UI Testing 时代。基于 Anthropic 的 MCP 协议,AI Agent(如 Claude、Cursor)可直接操控真机与模拟器,实时解析 UI 层级并自主调用交互指令跑通业务流程。相比传统脚本频繁崩溃的痛点,引入 Agent 运行时后可实现智能自愈,大幅降低回归用例维护成本。团队还可用自然语言描述用户路径,智能体即可自主探索、验证并沉淀可维护的回归工程。Maestro MCP 完全开源,延续 CI/CD 集成与 CLI 工具优势,无需推翻现有基础设施即可升级下一代自动化能力。

技术 › 移动端 TechVerser (@realfxw) 2026-09-212.8 KB 58

让 Codex 与 Claude Code 联手分析 Codex 开源仓库:能学到什么

文章分析了 John Wang 对 OpenAI Codex 开源仓库的研究。Codex 从 2025 年 5 月的 98 个月提交、单一主作者,增长到 2026 年的 900+ 月提交、35 位常规贡献者,归因于大量使用 coding agent、团队扩招和对护栏规则的重投资。核心经验包括:AGENTS.md 把 review 踩过的坑编码成规则;规则按 Review → AGENTS.md → Lint/CI 三级演进;测试代码占 40%,分层执行保证速度;迁移通过 feature flag 推进并用 lint 锁定成果。结论是工程实现变便宜后,测试、边界、自动化和招人等经典工程要素反而更重要。

技术 › Harness Engineering meng shao 2026-09-048.6 KB 6K 13 79

Agentic Code Quality

本文探讨了在AI代理大规模生成代码的背景下,如何通过约束和验证机制(如质量门禁)来保证软件质量。作者认为,传统的代码审查方式已无法应对海量代码,因此需要将质量检查嵌入到代理的运行环境、工具链和操作系统中。文章详细介绍了多种约束形式,包括单元测试、属性测试、变异测试等,并讨论了自主性、信任、反馈循环和扩展性等关键问题。最后,作者强调人类注意力应集中在最复杂的问题上,而自动化检查应承担大部分质量保障工作。

技术 › Harness Engineering Addy Osmani 2026-08-1212.2 KB 425.6K 1.1K 76

Eval工程:如何真正评估AI系统是否变得更好

文章介绍了“评估工程”的概念,强调主观感觉无法替代系统化测试。构建可靠的AI评估体系需要三个核心部分:具有代表性的数据集、客观的打分器和预设的及格阈值。作者详细阐述了如何构建包含常规、边缘和已知失败的数据集,以及如何选择精确匹配、规则打分或模型打分机制。最后强调,评估必须在每次系统变更时自动运行,以防微小的改动引发严重的隐性回归。

技术 › Agent wast3 2026-08-1111.3 KB 45.9K 133 85

5大顶级AI编程套件盘点与搭建指南

本文盘点并测评了5个GitHub上热门的AI编程套件(如obra/superpowers、mattpocock/skills等)。这些套件通过硬编码工作流、需求文档化、强制诊断流程及工程护栏等方式,将工程规范编译成AI能理解的规则,有效解决了AI编程中的“跑偏”、需求飘移和瞎猜等问题。作者指出,开发者应基于自身习惯搭建专属的自生长AI编程套件,以大幅提升编程效率。

技术 › Skill 超级个体|柿子 2026-08-104.6 KB 81

AI Coding Agent 会追问了,为什么仍交不出能跑的项目?

文章探讨了AI Coding Agent从修复代码转向承接完整产品需求时面临的挑战,介绍了全新的评测基准ICAE-Bench。该基准通过反向构造模糊需求、受控用户交互与黑盒测试发现,即使最强的Agent综合通过率也仅有38.2%。文章指出,澄清对话必须沉淀为结构化的状态,并建议企业构建包含版本化需求、干净环境重建和分类测试的闭环交付链路,以真正跨越从“聊天编程”到“项目交付”的鸿沟。

技术 › Agent 烟花老师 2026-08-0913.6 KB 1.4K 5 86

每个 Agent 都需要的计算机使用验证技能

本文介绍了如何向 Agent 添加计算机和浏览器使用能力,以重现问题、验证修复和新功能。文章详细说明了在分类、实施和审查阶段利用计算机进行验证的价值,包括自动生成截图和视频以减轻代码审查负担,以及通过云代理并行运行以提高效率。

技术 › Agent Zach Lloyd 2026-08-0412.8 KB 25.7K 201

Behind the scenes: How we build, test, and scale Google Agent Skills

本文深入探讨了 Google Agent Skills 项目的构建与扩展。作者分享了如何通过标准化的存储结构、自动化 CI/CD 检查、持续的评估流程以及严格的所有权规则,来保证技能库在规模增长时的质量和可靠性。文章强调将技能视为产品而非简单代码片段,并介绍了利用 MCP 工具和 GitHub Actions 进行质量管控的实践。

技术 › Agent Remigiusz Samborski 2026-08-0411.3 KB 110.9K 139

5分钟教会你用 Codex 做生图词库插件

本文介绍了如何使用 Codex 从零开始构建一个最小可用版 Chrome 生图词库插件。文章阐述了通过右键菜单收录、侧栏管理、本地同步服务以及数据分层(原始收录、原子词、组合配方)的完整流程,并详细演示了如何拆解长 Prompt 以实现词卡的独立复用。

技术 › Codex 南鸢 nuyoah 2026-07-3030.9 KB 56K 94

如何让你的 AI 智能体能力提升 100 倍

文章探讨了如何通过建立完善的评估系统来防止 AI 智能体随着时间推移而性能下降。作者提出了利用文件夹结构和特定提示词记录规则、错误和边界情况的解决方案,将模糊的“感觉”转化为具体的测试用例,从而确保智能体持续高效工作。

技术 › Agent Andres 2026-07-248.3 KB 22.5K 126

鲍勃大叔:不看AI代码,只设约束

《Clean Code》作者鲍勃大叔表示,为利用AI生产力,他不阅读AI生成的代码,而是通过设置单元测试、QA流程、代码质量指标等严格约束来确保质量。他提出了由多个Agent组成的流水线实践,强调AI时代核心能力从读代码转向写测试和定指标。

技术 › Agent 宝玉 2026-07-242.3 KB

How Anthropic runs large-scale code migrations with Claude Code

Anthropic 分享了使用 Claude Code 进行大规模代码迁移的经验,包括将 Bun 从 Zig 迁移到 Rust(两周完成百万行代码)以及 Python 到 TypeScript 的迁移。文章介绍了六步迁移流程,强调建立强大的“评判者”系统、制定规则书和依赖映射,并说明 AI 如何通过并行处理和自动化验证改变了代码迁移的可行性。

技术 › Claude Code ClaudeDevs 2026-07-2232.0 KB 549.5K 3.8K

用 Claude Code 重构百万行代码:官方六步迁移法深度解读

本文深度解读了 Anthropic 官方如何利用 Claude Code 完成百万行代码的大规模迁移。文章介绍了 Bun 从 Zig 迁移到 Rust 及 Python 项目转 TypeScript 的惊人案例,并提炼出包括制定规则、小范围试跑、对抗性审查等在内的“六步迁移法”,为开发者提供了高效的 AI 编程与代码重构实战指南。

技术 › Claude Code 程序员鱼皮 2026-07-2116.6 KB 9.3K 21

做 AI Agent 一年,90% 的时间都在做表面功夫

作者通过一年的 AI Agent 开发实践,发现 90% 的时间浪费在手动测试上。受芯片“验证不对称”理念启发,作者提出构建可验证的架构:通过前后端分离(ACI)使系统对 AI 友好,并引入“确定性断言”和“LLM 裁判”两级回归测试体系。最终实现了由 Coding Agent 自动运行的闭环开发,将开发者从繁琐的手工验证中解放出来,重塑了 AI 时代的开发效率。

技术 › Agent A Ando 2026-07-0811.5 KB

大规模代理开发验证:Devin 的端到端测试实践

本文介绍了 Devin 在构建端到端云测试能力方面的经验。通过增强计算机使用能力,Devin 能够自主验证代码变更,通过生成基于代码的测试计划、使用确定性脚本以及多模型路由,显著提高了异步软件工程中的测试可靠性和效率。

技术 › Agent Ido Pesok 2026-05-3023.8 KB 275.6K 462 81

Builder's Guide: How to Ship your First Product using AI in 2026

本文是一份面向开发者的 AI 产品构建实战指南。作者指出,仅将 AI 作为自动补全工具在复杂项目中会失效,真正的变革在于构建一套可复用的 'Harness' 系统。文章详细介绍了如何通过 .agent 目录结构(包含 AGENTS.md、SKILLS 等)将任务规格转化为可执行的软件,涵盖从规划、实现到验证的核心循环,并提供了适用于 SaaS、MCP 服务及 iOS 应用的通用工作流模板。

技术 › Harness Engineering Avid 2026-05-2650.1 KB 369.9K 147 83

AI 工程评估方法详解:Manual、Code 与 LLM-as-a-judge

文章阐述了 AI 工程闭环中评估环节的重要性,详细介绍了手动评估、基于代码的确定性评估以及 LLM-as-a-judge 三种主要方法。作者建议从手动审查开始建立直觉,逐步定义并自动化具体的失败模式。文章还探讨了基于参考与无参考评估的区别,并强调应结合多种方法,优先使用二值评分以确保评估的清晰性与可靠性。

技术 › LLM Lotte 2026-05-208.8 KB 40.9K 417 83

The AI Agent Complexity Ratchet: Why 90% Test Coverage Is Required

文章探讨了 AI 编程代理(Agent)如何改变软件开发的范式。作者通过 GStack 和 GBrain 两个开源项目的经验,指出 AI 使得同时实现高速度和高质量成为可能。核心在于构建“复杂度棘轮”:即 90% 的测试覆盖率。AI 代理能伴随代码编写测试、文档和评估结果,确保每次迭代都建立在质量底线之上,防止退化,从而实现只能变好不能变坏的“单向运动”开发模式。

技术 › Agent Garry Tan 2026-05-1244.9 KB 244.3K 792 85

傻子可懂的 Harness Engineering 入门教程 + 项目实战

本文深入浅出地讲解了 AI 编程领域热门的 Harness Engineering 概念。文章将其定义为围绕 AI 模型搭建的一整套工作环境与流程,对比了提示词工程、上下文工程的演进关系,并详细拆解了上下文架构、执行能力、任务编排、反馈机制和架构护栏五大核心模块。作者结合“万能视频下载总结器”的全栈项目实战,展示了如何利用 Plan Mode、MCP 工具、Browser Use 及文档沉淀等技巧,让 AI 持续、靠谱地完成复杂工程任务。

技术 › Harness Engineering 程序员鱼皮 2026-04-2721.3 KB 11.8K 92 81

为什么你的“AI 优先”战略可能大错特错

文章探讨了“AI First”战略的误区,指出单纯引入 AI 工具并不等于 AI 优先。真正的 AI 优先需要基于“AI 是主力构建者”的假设,彻底重构流程、架构和组织,即“软件工程 First”。文章详细介绍了 CREAO 团队如何利用脚手架工程、统一代码库、CI/CD 流水线和自愈反馈循环,实现 99% 代码由 AI 编写且一天部署多次的高效模式,同时也指出了该模式适用的场景与局限性。

技术 › Harness Engineering 宝玉, Peter Pang 2026-04-1427.0 KB 42.3K 256 90

GStack 深度拆解:YC CEO 的 AI Agent 工厂

本文深入拆解了 YC CEO Garry Tan 开源的项目 GStack。该项目提出了一种基于多角色的 AI 编程工作流,通过 23 个专用 Agent(如 CEO、工程师、QA、安全官)协同工作,将开发者从“写代码的人”转变为“管团队的人”。文章详细介绍了 GStack 的 Sprint 流程、真实浏览器测试、并行开发能力以及安全护栏机制,展示了其如何通过自动化代码审查、测试和部署,实现个人生产力的极大提升。

技术 › Agent Yanhua 2026-04-038.4 KB 22.2K 125 86

Claude Skill-creator 史诗级升级:评估、基准测试与多代理并行

Anthropic 官方 Skills 生成器 Skill-creator 迎来重大更新,新增四大核心功能:评估系统、基准测试、多代理并行测试及描述调优。此次升级解决了长期以来 Skills 质量“黑盒”的痛点,通过量化测试(如通过率、耗时、Token用量)和自动迭代优化,显著提升了 Skills 的触发准确率和执行效果。

技术 › Agent 数字生命卡兹克 2026-03-1114.0 KB 176.2K 1.3K 82