LAB: 模拟律师事务所知识环境与AI智能体基准测试
本文介绍了开源的模拟律所环境Calderwood & Harkness (C&H)，旨在测试大语言模型在企业级海量知识（超1亿Token）中的检索与推理能力。C&H包含46个客户和266个案件。基准测试表明，当前先进模型在全面搜索和判断信息检索的“完整性”上存在严重瓶颈，导致任务完成度受限。作者指出，未来的改进方向是让智能体预先构建更丰富的语料库表示（如索引、摘要、记忆），以分摊运行成本并提升企业级知识处理能力。
相关文档
让 AI 自我进化：MIT 课程「How to AI an AI」——四层演化框架解析
文章介绍了 MIT Media Lab 2026 年秋季开设的研究生课程 MAS.S62「How to AI an AI」，主题为自演化 AI（Self-Evolving AI）。课程提出四层演化框架：上下文演化（提示优化、记忆）、Harness 演化（agent 工具链自我改进）、模型演化（持续学习、self-play、测试时训练）、任务与环境演化（合成任务生成、世界模型）。文章详述了教学设计、评分结构、作业与顶会论文成果，并评价该课程是对松散领域的体系化定义尝试，建议以阅读清单和开源工具自学。
第1011期 小路和你读AI论文
本期精选5篇高质量AI论文：1) AI智能体生态研究揭示协作产生强Allee效应，种群规模存在起飞阈值，对智能体安全有重要意义；2) BrickBench提出文本条件乐高组装的智能体基准，融合物理仿真验证；3) 思考惯性研究显示LLM被告知不思考时仍会输出显式推理，挑战一条指令关闭思维链的假设；4) 从形式化验证角度分析智能体自我改进的理论基础与极限；5) 提出工具型智能体的主动遗忘方法，可逆地整理上下文，累积输入token约减少50%，无需训练即可降低成本。
Evals: 如何判断 AI 系统是否真正有效
本文系统讲解了 AI 系统评估的基础知识，面向构建、购买或审批 LLM 应用的工程师、产品经理和管理者。文章以一个自行车商店客服助手为例，介绍评估的核心循环：收集带标准答案的输入、运行系统、用代码规则或模型裁判进行打分、生成带误差范围的指标。内容涵盖测试集与开发集的划分、失败模式分析、代码评分器与模型裁判的优劣、基准测试与评估的区别、以及如何将评估纳入日常开发流程，强调评分器本身也需要被检验。
Using Claude Code: Spending your effort
本文深入探讨了 Claude 模型中 effort（努力程度）参数的作用与使用策略。作者通过实验和 Terminal Bench 3.0 基准测试分析发现：effort 本质上是控制模型在任务上投入的算力与自主判断程度。高 effort 在验证和边界测试重要的场景（如硬件、代码审查、安全）表现更佳；低/中 effort 则适合快速迭代、保持人类在环。作者还比较了不同规格化程度任务在各级 effort 下的输出差异，并总结出一套高效工作流：先让模型访谈自己补全规格，用低 effort 实现，人工审查后，再用高 effort 做验证和测试。
Developers Guide to using fewer Gemini Tokens with your Agents
本文介绍如何通过上下文压缩代理 headroom 减少 Agent 调用 Gemini 模型时的 token 消耗。作者指出 agent 上下文中大部分 token 来自工具输出的冗余 JSON、日志和搜索结果，而非精心设计的提示词。通过在 Gemini 3.8 Flash 前部署 headroom 代理，在四种生产级 agent 工作负载测试中，prompt token 减少 76%，任务准确率保持 100%，首 token 时间有所改善，建模成本下降约 70%。文章同时诚实探讨了压缩的有损性：压缩器保留模式、分布和异常值，但会丢弃普通记录，模型在数据缺失时会拒绝编造。项目开源且可复现。
Flash 交得了的活，别默认 5.6 Sol：一次四模型基准的实证
作者通过同一 Hermes Agent、同一数据目录和任务，对 DeepSeek V4 Flash、GLM-5.3-Flash、Gemini 3.7 Flash 和 GPT-5.6 Sol 四个模型进行单页计算与画图任务的基准测试。结果显示，Flash 模型已能胜任此类任务，其中 DeepSeek V4 Flash 用时最短且成本最低，GPT-5.6 Sol 虽稳定但价格高一个数量级。作者建议默认使用 Flash，将 Sol 作为备选，并强调测试的局限性与诚实声明。
Agents Need a New Kind of Web Search
文章探讨了当前 AI Agent 在使用传统网页搜索时面临的“检索税”问题。传统搜索 API 仅返回链接和摘要，迫使 Agent 耗费大量 Token 去抓取和清洗内容。作者通过对比实验指出，使用预先爬取并结构化处理的索引（如 Seltz）能显著降低成本并提升效率，这种返回完整文档而非指针的方式是 Agent 搜索的未来。
AI 早报：Anthropic 交付架构、LangChain 设计智能体与 Ai2 新颖性裁判研究
本期早报围绕智能体系统建设展开：一是 Anthropic 负责人解释 Claude 交付架构，将会话记录、运行框架与沙箱执行环境分离，使失败恢复不影响工作连续性；二是 LangChain 分享设计智能体的实践，将设计师的审美判断沉淀为技能与知识库，中位费用从 8 美元降至 0.50 美元；三是 Ai2 研究检验 LLM 判断研究想法新颖性的可靠性，发现提示词变化可导致准确率剧烈波动。此外还涵盖 Google A2UI 推理格式、Optiver 模型接入平台、小红书 AllSpark 数据管线及 K2 Lab 垂直 AI 产品等内容。
Grok Bot Engineering: 像SpaceXAI一样打造你自己的Bot团队
本文深入介绍xAI（文中称SpaceXAI）的Grok Bot如何运作：每个Bot运行在持久化的云端Linux虚拟机上，拥有浏览器、文件系统和终端。核心亮点是'团队化'使用模式——以Chief of Staff为中心，配合各司其职的专家Bot，并由人工审批关键操作。文中以客服事件处理为例：三个Bot（IncidentWatch、Support Bot、IncidentSweep）协作，10分钟内清理204个工单。文章分7部分讲解Bot的组织架构、工程harness、技能与记忆、审批机制及可复制的搭建方案。
Claude Code 团队如何进行代码评审
本文介绍了 Claude Code 团队在 AI 生成约 90% 代码的情况下如何重构代码评审流程。团队将代码评审从人工逐行阅读转变为分层自动化体系：包括 PR 前的 Claude 自验证、子代理 diff 审查、内部 skill（bug 猎捕、diff 缩减等）、以及每个 PR 的 AI 评审，仅将人类注意力保留给高风险决策。通过 CLAUDE.md 和 REVIEW.md 等文件向评审者注入项目上下文，并快速回滚机制兜底。6 月至 9 月间合并 PR 数量翻倍，回滚率下降超 40%，实现了用最少人工环节保障代码质量的目标。
如何打造一个真正能干活的第二大脑（Grok Bot 完整课程）
文章介绍如何用 Grok Bot 在云端构建一个持续运行的“第二大脑”，解决每次与 AI 对话都从零开始的痛点。作者借鉴 Andrej Karpathy 的知识库理念，通过 7 步课程指导读者：用已发送邮件生成个人档案与写作风格文件、用 /workspace 文件夹而非聊天记忆存储慢事实、设置云端 routine 自动归档 Gmail 新材料、每天早晨生成一页摘要、将笔记转化为成品、通过规则固化纠正，最后提供一键粘贴的完整搭建方案。强调文件优于聊天记忆、云端机器人可 24 小时工作，引用 Kevin Rose 的实例佐证。
How to organise a project's knowledge for AI coding agent and an engineer
作者分享了在咨询项目中管理项目知识库的方法，旨在同时服务 AI 编码代理和工程师两类读者。核心设计是对一棵 Markdown 文件树执行五种操作：存储（将原始资料、事实和生成产物分目录管理）、创建（新资料经过切片、摘要、生成视图和规范的固定流水线）、更新（通过哈希检测变更，沿链接反向重建所有依赖产物）等。设计强调每个摘要、视图和规范都链接到其来源事实，配合两条质量护栏确保生成内容有据可依，使文档变更后系统能自动同步更新所有下游内容，为编码代理提供始终最新的详细规范。