AI 开始优化 AI 自己的生产线了：Superpowers 6
本文通过 Superpowers 6 的案例，指出 AI 已突破代码生成，开始具备流程优化与管理能力。AI 审计并改进了自己的工作流，实现了降本增效。文章强调，在 AI 自动化“判断力”的时代，人类的核心价值已从操作机器转向构建诚实可靠的评估系统，即在幻觉与自我欺骗面前，坚持用 Eval 记分牌揭示真相。
相关文档
什么是 Eval？为什么它决定了 AI 项目能不能真正落地
文章系统讲解了 Eval（评估）在 AI 工程中的核心地位。作者将 Eval 比喻为'给 AI 考试'，介绍了构成评估闭环的关键要素：Golden Set（考题库）、Rubric（评分标准）、评分方式（规则、人工、LLM-as-a-Judge）和 Eval Report（成绩单）。文章指出没有 Eval 的 AI 开发容易沦为'凭感觉调 Prompt'，无法回答版本是否真的提升、幻觉率是否下降等关键问题。作者强调 AI 项目应遵循 Build → Eval → Analyze → Improve 的迭代流程，Eval 是 AI FDE 的核心能力，'能运行'和'可交付'之间隔着一套完整的评估体系。
AI 落地的四道坎 -- 本体、评估、信任、维护 | 峰会洞察 02
本文是硅谷101 Alignment 峰会 Day 1 下半场的深度纪要，总结出 AI 落地的四道坎：本体、评估、信任、维护，且四道坎都不在模型本身。机器人领域模型大小被物理参数封顶，数据质量与多样性之争可统一为数据金字塔，触觉数据与跨本体抽象是关键；世界模型定义仍在发散，AMD 收购 World Labs 释放垂直整合信号，评估工具的缺失是最大短板；Agent 的真正瓶颈是信任而非模型，企业需渐进开放权限，云端 agent 基础设施有大量脏活，交互范式需摆脱聊天框。作者结合一线信号给出创业与投资判断。
AI 时代的 eval 究竟应该怎么做
作者提出在 AI 时代执行成本越来越低，eval（评估）才是一等公民。他建立了 repo-evals 项目，系统测评各类工具和 skill，并详细介绍了完整的评估方法论：先看真实产出而非介绍；将工具分为原子、分子、复合物三个层级并采用不同检查标准；打分四档且分数拆开可解释；明确 who/when/how 使用场景；绘制工作流并与同类工具对比；标注部署成本和 license；把 README 承诺拆成一条条 claim 逐条核对实测证据；最后按层级使用不同检查清单（确定性、幂等性、工作流正确性、错误传播等）。文章以 guizang social card 为例演示了完整评估页面结构。
Evals: 如何判断 AI 系统是否真正有效
本文系统讲解了 AI 系统评估的基础知识，面向构建、购买或审批 LLM 应用的工程师、产品经理和管理者。文章以一个自行车商店客服助手为例，介绍评估的核心循环：收集带标准答案的输入、运行系统、用代码规则或模型裁判进行打分、生成带误差范围的指标。内容涵盖测试集与开发集的划分、失败模式分析、代码评分器与模型裁判的优劣、基准测试与评估的区别、以及如何将评估纳入日常开发流程，强调评分器本身也需要被检验。
哥伦比亚大学首门 Agentic Engineering 课程解读
文章介绍哥伦比亚大学 2026 秋季首门 Agentic Engineering 课程（COMS W4995-009），其核心立场是：Agent 本质是包裹模型的软件工程（harness），而非模型本身。课程分基础、架构、设计与生产化、期末项目四个模块共 13 讲，配备三个重实践的 Studio 实验：委托与可观测运行、长上下文压力测试与记忆架构、Agent 循环受控对比。文章还解读了课程的五层 Agent 生产栈分类法（L0 模型 API 到 L4 协调系统）与六大学习目标，认为该课将喧闹的 AI Agent 话题还原为可严肃讲授的工程学科，其课程网站和 Studio 设计即使不选课也值得从业者研读。
Agent 都会自进化了，我们还能做什么？
文章探讨了 Agent 自动改进系统（Meta-Harness）的构建方法。核心问题是如何让 Agent 自动进步又无法伪造进步。作者提出将三种权力拆开：Agent 负责提出修改，评测系统负责拿证据，上线门禁决定是否升级。文章通过一个补货建议 Demo，演示了从失败记录到修改验证的完整闭环，包括锁定 Agent 不可修改的文件（密封考题、评分器、上线标准）、生成结构化故障单、构建逐层收窄的评测漏斗等实践。同时分析了 Agent 容易刷分的三种捷径：讨好评分器、记住考题、自己宣布通过，并指出 Meta-Harness 只在基础 Eval 成熟、人工改进成为瓶颈时才值得搭建。
我们说的 AI 工程化，到底是什么？今天一篇文章讲清楚
文章系统梳理了 AI 工程化领域的各种新概念（Context、Harness、Loop、Eval、Graph Engineering），指出这些 Engineering 拆到最后，核心仍然是提示词。作者认为，现代提示词已不只是聊天框里的几句话，还包括系统规则、任务资料、工具说明、历史结果、失败反馈和完成标准。Agent 的难点在于把事情真正做完：避免重复步骤、选错工具、提前结束等问题。文章分别阐述了五大 Engineering 的职责——Context 管每轮给模型看什么，Harness 管工具与环境的接入说明，Loop 管根据反馈迭代，Eval 管验证任务是否真完成，Graph 管流程节点与路由。最终结论：代码管边界（权限、轮次），提示词管边界内的判断。
LLM-as-Judge Architectures: Putting Evals Into Your Agent Runtime
文章探讨将 LLM-as-Judge 从离线评估工具迁移到 Agent 运行时架构中的趋势。传统确定性软件可通过类型检查、断言等方式验证结果，而 AI 应用输出往往需要判断性评估，LLM judge 能让应用自我完成这些判断。作者介绍了几种常见模式：使用另一个模型（包括专用小型评估模型以降低成本）、将大而模糊的判断拆解为多个小判断并用 DAG 结构组合、用成对比较代替打分以规避位置偏差、在 Agent 工作过程的关键节点（如检索、方案选择）设置检查点而非仅评估最终答案，以及使用多评委投票、辩论等机制提升可靠性。
Skill 持续升级指南：让 AI 从记住方法走向自动驾驶
文章讨论 Skill 写完后的持续维护问题，指出 Skill 会随时间腐烂：重复规则、过时参数、失败补丁不断堆积。作者在 Matt Pocock 六种失效模式基础上，扩展为八项检查：过早完成、重复、沉积、蔓延、空操作、否定式引导、样本过拟合和分支串线。针对每种问题，文章给出症状、成因和修复方法，强调先给失败命名再修改，修复后做回归测试。最后提供一份十项体检清单和可直接使用的审计提示词，帮助诊断和优化正在使用的 Skill，让 AI 在正确时间稳定执行正确过程。
我让 Codex 自己开发、自己 Eval、自己修：一次真实 AI 工作流实验
作者以真实 GEO 视频工作流中的语义素材检索模块为实验对象，构建了 24 个 Case 的测试集，让 Codex 遵循「Baseline 考试 → 失败分析 → 最小修改 → 重新考试 → Release Gate 判定」的闭环流程自主工作。Baseline 通过率 79.17%，通过分析 5 个失败案例的共同点，Codex 仅增加一层确定性的 Query Rewrite，通过率提升至 91.67%，且无回归案例，但高风险 Case 未改善。最终 Release Gate 判定 FAIL，作者强调 Eval 让 AI Coding 从「生成代码」走向「对结果负责」，人类应聚焦于定义目标、边界和质量标准。
我把 Eval 装进 Codex 后，AI Coding 的工作方式变了
作者分享了将 Eval（评估体系）融入 Codex 工作流后的实践心得。核心观点是：AI Coding 越强，Eval 越重要，因为 Build 变便宜了，但'什么叫完成'并未变简单。文章指出 Tests Passed 不等于任务正确，Testing 是底线，Eval 是交付线。作者重构了工作流程：Baseline → Build → Test → Eval → Analyze → Fix → Re-Eval → Release，强调先跑 Baseline 而非上来就改 Prompt，利用失败分类找出瓶颈，通过 Release Gate 定义验收标准。同时提出 Ground Truth 必须由人工确认，AI 不能既出题又评分。最终结论：人应从让 AI 写代码，转向给 AI 定义验收标准。
Anthropic FDE（Forward Deployed Engineer）面试指南
本文翻译并评述了 Chill Interview 的 Anthropic FDE 面试指南。FDE 岗位要求候选人同时具备生产级工程能力、Claude 与智能体系统能力、客户需求梳理能力、安全与可靠性意识，以及在不确定环境中自主推进的能力。文章详细拆解了面试流程各环节（简历筛选、招聘初筛、技术编程轮、Applied AI 构建轮、客户需求访谈、系统设计、价值观面试等）的考察重点、常见题型、评分点与备考建议，并强调候选人要避免表现得像「只会做 AI 演示原型的人」，需能交付经得起企业现实考验的生产系统。
