AI Coding Agent 会追问了,为什么仍交不出能跑的项目?
文章探讨了AI Coding Agent从修复代码转向承接完整产品需求时面临的挑战,介绍了全新的评测基准ICAE-Bench。该基准通过反向构造模糊需求、受控用户交互与黑盒测试发现,即使最强的Agent综合通过率也仅有38.2%。文章指出,澄清对话必须沉淀为结构化的状态,并建议企业构建包含版本化需求、干净环境重建和分类测试的闭环交付链路,以真正跨越从“聊天编程”到“项目交付”的鸿沟。
文章探讨了AI Coding Agent从修复代码转向承接完整产品需求时面临的挑战,介绍了全新的评测基准ICAE-Bench。该基准通过反向构造模糊需求、受控用户交互与黑盒测试发现,即使最强的Agent综合通过率也仅有38.2%。文章指出,澄清对话必须沉淀为结构化的状态,并建议企业构建包含版本化需求、干净环境重建和分类测试的闭环交付链路,以真正跨越从“聊天编程”到“项目交付”的鸿沟。
文章基于最新发布的ICAE-Bench,深入剖析了AI Coding Agent在从模糊需求到项目交付过程中的真实瓶颈,并结合论文数据给出了极具实操价值的工程落地与评测建议。
本文介绍了 Claude Code 团队在 AI 生成约 90% 代码的情况下如何重构代码评审流程。团队将代码评审从人工逐行阅读转变为分层自动化体系:包括 PR 前的 Claude 自验证、子代理 diff 审查、内部 skill(bug 猎捕、diff 缩减等)、以及每个 PR 的 AI 评审,仅将人类注意力保留给高风险决策。通过 CLAUDE.md 和 REVIEW.md 等文件向评审者注入项目上下文,并快速回滚机制兜底。6 月至 9 月间合并 PR 数量翻倍,回滚率下降超 40%,实现了用最少人工环节保障代码质量的目标。
本文深入浅出地讲解了 AI 编程领域热门的 Harness Engineering 概念。文章将其定义为围绕 AI 模型搭建的一整套工作环境与流程,对比了提示词工程、上下文工程的演进关系,并详细拆解了上下文架构、执行能力、任务编排、反馈机制和架构护栏五大核心模块。作者结合“万能视频下载总结器”的全栈项目实战,展示了如何利用 Plan Mode、MCP 工具、Browser Use 及文档沉淀等技巧,让 AI 持续、靠谱地完成复杂工程任务。
本文是一篇面向新手的 Pi Coding Agent 全面入门教程。Pi 是一个跑在终端里的极简 AI 编程智能体框架,定位为'最小智能体外壳':内核只保留基本工具循环,计划模式、子智能体、权限系统等能力全部拆给扩展。文章详细介绍了安装方式(官方脚本、npm、Nix)、界面与常用快捷键、模型配置、四种使用模式(交互、打印/JSON、RPC、SDK)、技能/扩展/提示词模板/主题的扩展体系,以及树状会话管理。作者重点总结了七个常见坑:无内置权限系统需容器隔离、默认无 plan mode、npm 不锁传递依赖、grep 等工具默认关闭等。Pi 支持 15 家以上模型商,MIT 协议,与 Claude Code、Codex 是两条路线:要开箱即用选成品,要可自由定制的个人智能体选 Pi。
作者将 OpenCode Go 和 Command Code GOAT 两个 10 美元/月的套餐接入自己的 Sub2API 网关,基于 64,648 条使用记录和小规模质量测试进行实测对比。两者月额度均为 80 美元,OpenCode 短时额度更大(5 小时 16 美元、周 40 美元),GOAT 为 14/35 美元。在相近规模流式请求中 GOAT 耗时中位数和 P95 更短,400 错误也显著更少。结论:接自己的 Agent 或通用 API 客户端优先 GOAT;用于兼容的 coding agent 且集中跑任务则选 OpenCode Go。文章还讨论了处理费、高峰定价、参数兼容问题和模型是否量化等细节。
DeepSeek 于 10 月 17 日发布 V4.1-Flash-1017 版本,AI 编程跑分显著提升,DeepSWE 达 77.0 超越 Claude Opus 5,任务平均费用降至原来的三分之一。作者使用 DeepSeek Harness 实测四个项目:3D 城市生成器对比显示新版的重庆、西安等地标建筑辨识度大幅提升,耗时从 102 分钟降至 61 分钟;许愿式编程能快速产出 3D 地铁跑酷游戏和天坛祈年殿建模;基于新开放的 Search/Fetch 接口开发的 AI 搜索引擎完成度很高。总花费仅 12.81 元,性价比突出,是一次实打实的帕累托改进。
文章批判性分析了当前 coding agent(如 Claude Code、Codex、OpenCode)的种种缺陷:任务管理糟糕、不会并行处理和委派、对自身功能一无所知、计划表达混乱、轻易停下等待用户、缺乏真正的沙箱安全边界。作者区分了模型(大脑)与 agent(身体),指出模型进步很快但 agent 层才是瓶颈,并列举了理想 agent 应具备的能力:任务拆分与模型委派、人类易读的计划、OS 级沙箱、ETA 估算、自省改进等。最后猜想这是委托—代理问题——AI 高管与一线开发者脱节,只关注 demo 和基准测试而非开发者体验。
作者以个人编程经历为引,回应对 AI 导致编程手艺消亡的哀悼。引用 Thorsten Ball 的观点:手写代码的工艺将像意大利手工鞋匠一样成为小众。作者认为编程虽'死',却以模型权重、框架和语言的形式延续。作为自学成才的程序员,他乐观地认为 AI 编程是新的开始——新一代程序员用自然语言表达意图,能更快、更高质量地构建产品。过去受限于个人能力,如今可以通过正确的提示词和上下文驱动 Agent 实现心中构想。作者对更多人体验创造的乐趣充满期待。
文章引用 DHH 的观点指出,手写代码对绝大多数程序员已不再经济,软件工程正演变为系统架构设计。通过 Artemis 和 SpaceXAI Grok 团队的案例,说明工程师如今通过设计验证循环(verification loops)让 AI 大规模正确地编写代码——如 Lauren Tan 每月发布 2000 个 PR。文章借鉴 Donella Meadows 的系统理论,提出优秀系统设计的三大特性:韧性(AI 通过测试、审查代理和生产可观测性自我校验)、自组织(循环学习将失败类型转化为新技能)和层级(将技能、工具与沙箱组合成可复用组件)。工程师的新职业是'驾驭智能'。
文章探讨了开发者对 AGENTS.md 和 CLAUDE.md 等 AI 编程工具说明文件的普遍误解。作者指出,很多团队把所有希望 AI 做到的事都写进一个不断膨胀的文件,导致维护规则本身成了负担,本末倒置。正确的做法是让 AGENTS.md 保持精简(作者根文件不到 50 行),只写每次开工都需要知道的少数核心事项,再指向不同任务对应的规则文件,让 Agent 按需读取。作者引用西蒙'存储信息'与'需要时获取信息'的区分,并提醒只有在流程确实需要反复执行时才值得做成 Skill,不必急于按需调用。
htmx 作者、Montana State 大学教授 Carson Gross 提出:在 agent 式编程时代,Markdown 正从文档演变为源代码。他认为 LLM 生成的代码不应只源自用完即弃的提示词会话,而应将捕捉系统意图的 Markdown 签进 /src,与生成代码放在一起。Markdown 具备可 diff、可 grep、人机皆可读写的优势,且遵循局部性原则,让代码模块自带解释其意图的文档。作者提议建立 /src/md 目录约定(含 README、OVERVIEW、features、data、api 等),由人撰写维护,代码与测试从这些 Markdown 派生,测试负责自动化验证正确性。当代码越来越便宜,真正有价值的是代码背后的意图,应将其持久化于源码目录之中。
作者针对 Codex 账单越来越贵的问题,利用 TypeSafe AI 的 Jev 模型(只做带概率的判断、成本极低)搭建了一个外部模型路由器 HippoRoute-Jev-Codex,仅在线程首请求、新用户轮次、压缩检查点、子 agent 首请求四个缓存重建时机选模型,其余工具循环沿用钉住的模型,避免打掉 prompt 缓存。整个项目由豆包工作通过计划模式和目标模式从零完成,作者全程仅操作四次、未看一行代码,最终 76 个测试全通过并自行揪出 3 个 bug。实测机械任务省 95.4%,子 agent 场景省 79.7%,整体省 44.8%,且任务通过率无差别。
文章批评'不再读代码、不再写代码'的行业风气。作者指出代码可维护性和好架构难以即时度量,其恶果需要数月甚至数年才显现,而有经验工程师依靠长期实践积累的直觉来嗅出代码异味。AI 因缺乏可度量的奖励信号,无法理解什么是可维护的代码,且从质量低劣的野生代码中学习模式,在简化代码、定义可复用函数上表现糟糕。更危险的是,依赖 AI 写代码和读代码的开发者将永远无法达到精通,因为他们不再从错误中学习。作者认为 LLM 只是工具,预言未来会有公司以'无 AI'政策作为竞争优势。