你的AI第一次运行成功，这几乎证明不了什么
本文指出，AI系统首次运行成功并不能证明其可靠性，因为环境变化或输入差异可能导致失败。作者强调，评估（Evals）是确定AI系统可信度的关键，它要求基于实际工作场景收集案例，并明确“好”的标准。通过持续测试和迭代，评估集能帮助团队了解系统的边界和失败模式。文章还区分了公共基准与产品级评估，认为后者必须基于具体业务场景。最后，作者提倡将评估作为系统开发的核心部分，以确保AI在实际工作中的可靠性。
相关文档
Agentic evals: 如何判断 AI Agent 是否真正完成了任务并保持可靠
本文面向构建基于 LLM 的 Agent 系统的工程师，讲解如何对 Agent 进行评估（Agentic Evals）。核心观点是：要评估 Agent 实际改变了什么，而非它说了什么。文章通过一个自行车店客服 Agent 的完整示例，展示五步评估法：编写带预期终态的任务、多次运行并保留完整轨迹、同时评估终态和路径、报告能力与可靠性两个数字、定位失败的第一步。文章还区分了单次回答模型与多步 Agent 在评估上的差异，强调没有可检验终态的任务不构成有效的评估，并讨论了模型作为评判者的可信度问题。
Evals: 如何判断 AI 系统是否真正有效
本文系统讲解了 AI 系统评估的基础知识，面向构建、购买或审批 LLM 应用的工程师、产品经理和管理者。文章以一个自行车商店客服助手为例，介绍评估的核心循环：收集带标准答案的输入、运行系统、用代码规则或模型裁判进行打分、生成带误差范围的指标。内容涵盖测试集与开发集的划分、失败模式分析、代码评分器与模型裁判的优劣、基准测试与评估的区别、以及如何将评估纳入日常开发流程，强调评分器本身也需要被检验。
Using Claude Code: Spending your effort
本文深入探讨了 Claude 模型中 effort（努力程度）参数的作用与使用策略。作者通过实验和 Terminal Bench 3.0 基准测试分析发现：effort 本质上是控制模型在任务上投入的算力与自主判断程度。高 effort 在验证和边界测试重要的场景（如硬件、代码审查、安全）表现更佳；低/中 effort 则适合快速迭代、保持人类在环。作者还比较了不同规格化程度任务在各级 effort 下的输出差异，并总结出一套高效工作流：先让模型访谈自己补全规格，用低 effort 实现，人工审查后，再用高 effort 做验证和测试。
让 AI 真正懂你的工作：小白 Skill 制作指南
文章面向新手讲解如何为 Claude Code 和 Codex 制作个人 Skill，解决每天重复向 Agent 解释工作流程的问题。作者介绍 Skill 的本质是一个包含 SKILL.md 的目录，依赖渐进式披露机制；提出判断任务是否值得封装为 Skill 的三个信号（重复出现、依赖专有知识、错误成本高）；建议从成功协作会话中逆向工程提取 Skill，或先跑无 Skill 基线记录失败点再写规则；并详细分析三大坑：description 模糊导致不触发、把任务写成死板 SOP、SKILL.md 过长，给出 SKILL.md、references、scripts、assets 的合理拆分方式及三层验证与维护方法。
700 万人下载的 /grill-me，Matt Pocock 到底写了什么？
文章深入解析了 Matt Pocock 的 AI 工具 /grill-me 的核心逻辑。该工具并非让 AI 直接执行任务，而是通过一套追问协议，强迫 AI 先理清需求再行动，解决了 AI 瞎猜和抢跑的问题。文章进一步阐述了完整的 AI 协作五步法：质疑、规格化、拆票、TDD 和架构评审，旨在通过纪律约束防止 AI 失控，提升人机协作质量。
Stop using AI. Start having AI systems running.
文章作者分享了从单纯使用 AI 到让 AI 系统持续运行的转变。他通过编码代理管理目标、习惯和日志，利用 Plaud NotePin 记录日常想法，并使用 OBS 录像提高专注度。这种系统化方式不仅保留了工作状态，还显著提升了生活与工作的效率。
What Comes After the Prompt
文章探讨了超越传统提示词的多模态交互技术，提出“任务”概念，通过结合语音、屏幕、文本等多种信息源，让代理更高效地完成复杂工作。该方法减少交互循环，提升并行工作能力，并通过存储执行痕迹逐步转化为可重用的技能，为未来全模型交互奠定基础。
如何在 2026 年构建你的第一个 AI 循环
文章指出 AI 工程的杠杆点已从手动写提示词转向设计自动循环。通过引入 Slate 工具，文章详细演示了如何构建包含发现、执行、验证和迭代步骤的 AI 编程循环。涵盖了环境配置、技能定义、状态管理及队列文件的使用，旨在通过自动化闭环大幅减少人工干预，实现持续验证的任务完成机制。
利用 Claude 直接分析 YouTube 视频与 PDF 的实操指南
本文介绍了在 2026 年 5 月利用 Claude 分析 YouTube 视频和 PDF 的最新工作流。通过上传 PDF 并粘贴视频字幕，用户可以在 60-90 秒内完成原本需要数小时的交叉分析。文章详细阐述了三种核心模式（视频优先、平衡检查、分层专家审查），并提供了具体的操作步骤、提示词构建技巧及常见误区规避方案。
如何构建替代首批 3 名员工的 AI 智能体团队
本文为独立创业者提供了一份详细的实操指南，介绍如何利用 Claude、MCP 服务器和智能工作流构建三个 AI 智能体（研究、内容、运营），以低成本替代早期企业所需的全职员工，从而解决人力资源瓶颈并提升效率。
AI Agent 从零开发指南：构建你的第一个智能体
本文是一篇从零开始构建 AI Agent 的实战教程。作者整合了 Anthropic 和 OpenAI 等资源，详细介绍了 Agent 的工作原理（核心循环）、五种核心工作流模式（如提示链、路由、并行化等），并提供了从构思、设计工具与记忆机制到落地的完整步骤。文章还探讨了如何利用 LLM 自身辅助设计 Agent，帮助开发者快速构建实用型的自动化智能体。
How to Give Claude Perfect Memory (complete guide)
针对 Claude 默认记忆功能存在的问题，文章提出了三层记忆系统解决方案。第一层为适合初学者的基础内存管理，包括编辑记忆、项目指令设置及直接对话记忆；第二层面向进阶用户，构建基于 Markdown 文件的上下文文件系统（包括指令、记忆、上下文和归档），通过本地文件让 Claude 自动读取和更新记忆，从而打造一个拥有持久化“第二大脑”的 AI 助手。
