本文是 Agent 高频面试题详解系列第 4 题，系统讲解 Agent 效果评测体系。文章基于 64 场面试面经分析，归纳出评测追问的八个方向，并结合 Anthropic、OpenAI 等实践经验展开：先明确评什么（Agent 评测难在结果在环境状态中、路径不唯一、结果不确定）；评测集怎么建（题目来自真实失败、业务方、合成数据，注意分层、防泄露与防过拟合）；谁来打分（代码判分、模型判分、人工判分三种方式的取舍，LLM-as-a-Judge 的位置偏差、冗长偏差等已知问题及校准方法）；以及如何通过基线对比、多次运行排除随机性，证明改进真实有效。文章强调评的是 Harness 和模型的整体，判结果而非规定路径。
本文是 Agent 面试高频题详解第 3 题，围绕多 Agent 架构展开。作者结合 50 位作者、63 场面试的面经，系统梳理了六个追问方向：要不要拆、怎么拆、怎么通信、结果谁汇总等。文章指出单 Agent 在上下文膨胀、工具过多、提示词分支复杂、无法并行四方面会卡住；同时多 Agent 有 token 成本（约为普通对话 15 倍）、协调开销、信息丢失和错误传播等代价。文中总结了主从、流水线、并行分片、执行加审查、按意图转交五种结构，以及上下文、工具权限、可验收三类拆分边界，并对比 Skill、MCP、Workflow、SubAgent 等概念的适用场景，最后给出通信方式与面试应答要点。
作者结合自身开发问答机器人Agent评测系统的工程实践，推荐并解读Anthropic的文章《Demystifying evals for AI agents》。文章分享了8个核心经验：Agent看到的信息与Judge评分时能获取的证据可能不一致，导致高准确率仍被判失败；LLM Judge的输出需要像外部API一样严格校验；信息不足时应允许Judge返回Unknown而非强行打分；评测环境配置、数据集同步、systemd部署等基础设施问题常导致结果不可信；需区分评分低与评分无效；要区分Capability Eval与Regression Eval，并使用pass@k、pass^k指标评估稳定性；以及务必人工检查Transcript而非只看分数。文章提供了大量真实踩坑案例，对Agent评测落地极具参考价值。
本文解析一道 Anthropic 真实面试题：如何从 profiler 采样快照还原函数调用事件。全文分三部分：Part 1 将采样序列转换为 start/end 事件，核心是通过 LCP 对比相邻栈，end 从内到外、start 从外到外，frame 身份为 (depth, name)；Part 2 处理流式输入与去噪（debounce），只保留 O(depth) 状态，frame 身份沿 LCP 链追踪而非看名字；Part 3 用反转后缀 trie 实现崩溃 trace 的尾部匹配归因。文末附完整参考代码与备考清单，强调事件顺序的语义正确性是面试考察重点。
作者整理了25道Agent方向高频实操面试题，聚焦一线项目落地痛点，分为五大模块：Agent核心架构（ReAct与Plan-and-Execute选型、多Agent设计、HITL机制）、工具调用落地（Function Calling、Schema设计、重试熔断降级）、记忆与状态管理（长短记忆、Token溢出）、效果优化与问题排查（Bad Case溯源、性能瓶颈定位）以及Agent+RAG落地（检索优化、幻觉防控）。这些题目针对FDE等需要真实项目落地经验的岗位，大多是开放性问题，能同时考察面试官和面试者的实战深度。
作者逐一核对了 Anthropic 官方帮助中心与开发者文档，验证了网上流传的 Claude Pro 省 token 技巧。文章指出用量消耗取决于消息长度、文件大小、对话长度、工具使用、模型选择等因素，其中对话长度影响最大，因为每条新消息都会重新处理整个上下文。被证实的技巧包括：将多个请求合并到一条消息中发送、利用 Projects 的缓存机制存储参考资料、及时关闭不需要的工具与扩展思考、坚持一个话题一个对话并养成及时开新对话的习惯。文章还澄清了某些流传的所谓文件数量上限并无官方依据。
本文介绍了如何为AI Agent构建可长期维护的评估（eval）指标体系。指标分三类：目标指标、护栏指标和运营指标，三者结合使用。候选指标来源于错误分析和产品目标与硬约束。并非所有候选都值得跟踪：一次性问题用prompt修改解决即可，只有需要持续追踪的泛化问题才建指标；每个指标必须与具体决策挂钩，否则就是噪音。从零开始时，可先阅读30-50条trace并用自由文本笔记聚类失败模式。此外需定期重跑错误分析、退役失效指标，并警惕Goodhart定律导致的过拟合。
文章讨论了Google和Anthropic将检索从单一应用中移出，转变为独立服务的新趋势。这种分离解决了旧RAG设置中的过时嵌入和基础设施耦合问题。通过将摄取与查询分离，并使用结构化单元代替原始文本块，可以显著减少语料库大小并提高向量相关性。
文章介绍了图工程相比传统RAG在复杂问题回答上的优势，通过微软GraphRAG、斯坦福DSPy及Anthropic Claude的案例，展示了图结构如何提升AI准确性和降低成本。核心观点是图工程能捕捉实体间关系，而非仅检索文本片段。
本文提供了一个为期14周的实战型AI工程师学习路线图，旨在解决初学者“只学不做”的困境。文章从环境搭建开始，详细列出了从AI基础、机器学习、深度学习到现代LLM工程及Agent开发的最佳免费资源（如OpenAI/Anthropic官方课程、Karpathy的教程等）。路线强调通过GitHub项目实践来理解原理，最终掌握部署与评估技能，真正从零开始构建可用的AI系统。
文章对比了 Andrej Karpathy 的 LLM Wiki 方案与 Google NotebookLM 的实际使用体验。作者发现 Wiki 架构在处理个人知识时成本高、速度慢且缺乏与现实世界的集成，而 NotebookLM 利用 Embedding 技术实现了即时响应和高效回答。作者主张应将知识转化为技能并融入日常流程，而非仅仅构建静态索引。
本期早报围绕智能体系统建设展开：一是 Anthropic 负责人解释 Claude 交付架构，将会话记录、运行框架与沙箱执行环境分离，使失败恢复不影响工作连续性；二是 LangChain 分享设计智能体的实践，将设计师的审美判断沉淀为技能与知识库，中位费用从 8 美元降至 0.50 美元；三是 Ai2 研究检验 LLM 判断研究想法新颖性的可靠性，发现提示词变化可导致准确率剧烈波动。此外还涵盖 Google A2UI 推理格式、Optiver 模型接入平台、小红书 AllSpark 数据管线及 K2 Lab 垂直 AI 产品等内容。
文章介绍了 Anthropic Claude Code 团队的代码审查实践，以及作者团队自研 AI 代码审查工具 HeyDeer 的落地经验。核心思路是：AI 写代码占比接近 100% 后，人工逐行审查不再可行，应把人的注意力留给真正有风险的部分。做法包括按风险分级审批（低中风险由 AI 自动批准，高风险由人判断方向）、多模型交叉审查降噪、用仓库检查落实团队规范、通过 Autopilot 自动修复问题直至收敛。作者团队跑了 8 个月未因合并有 bug 的代码导致线上事故，认为大部分创业和中小公司都适用这种方式。
