本文梳理 Meta AI 高级总监 Madhu Guru 的「How to Build Great Evals」十篇系列，总结一套 AI Agent 评测工程方法论。核心观点：评测应锚定真实用户流量而非实验室数据；先建立可信质量信号再降成本；挖掘 500-1000 条真实交互建立精确的失败分类；采用爬坡、回归、冒烟、上线四层阶梯组织评测；反对将质量压缩为单一平均分；按阶段度量中间步骤而非只看最终结果；评测体系须随用户行为演进持续更新。文章同时指出其局限：缺少统计测量学基础、未正面处理过程与结果评测的权衡。
本文基于 Lenny's Podcast 专访 Grok Bot 产品负责人 Roman Ugarte，复盘 SpaceXAI 旗下 Grok Bot 从第一行代码到爆火只花一个月的过程。核心在于持续做减法：小团队物理隔离以提升决策带宽、拒绝塞进 Cursor 而另起炉灶、全云端运行且每个 bot 拥有独立虚拟机、核心团队手动 onboard 前两三百名用户、不引导用户自行发现 chief of staff 用法、发布前两周专注删除非必要功能，用 launch tweet 判据将「产品有了什么」改为「产品能干什么」。文章最后总结七条方法论，强调护城河是被发现的而非规划出来的。
作者以创建“AI情报员”为例，从零详解 Grok Bot 的完整使用流程：区分 Grok、Grok Build 与 Grok Bot 的定位，说明其核心在于持久云端电脑而非聊天框；梳理账号资格、登录授权、多平台安装与首次启动的常见坑；讲解如何用狭窄岗位定义创建专岗 Bot，并给出“结果+资料入口+限制+交付物+审批点”的任务公式；强调按证据而非排版验收 AI 产出。最后介绍如何将周报服务从小单验证扩展为面向海外客户的三档定价，最终实现月入 5000 美金。
文章以微博VibeLab AI创意赛（2500多件作品）为切入点，分析了Vibe Coding兴起的五大原因：一是AI Agent大幅降低了编程门槛，写代码从专业技能变成语言表达能力；二是传统软件无法满足个性化长尾需求，现在普通人可以自己动手实现；三是开发链条缩短，从想法到交付只需几步，甚至无需界面产品，一个脚本或Agent Skill即可；四是模型能力持续升级，从Copilot补全到Claude Code自主探索再到操作电脑；五是做工具心态变化，从宏大目标转向解决具体痛点。最后作者给出实用建议：从写Agent Skill起步，分步骤做原型、MVP再迭代，注意验收与安全，并把作品发布出来获得反馈。
作者借“盲人摸象”寓言剖析个人 AI Agent（BYOA，自带智能体）进入企业后的系统性风险。个人代理凭私钥托管、私有记忆、授权代表和静默执行四大特性在个人任务中表现出色，但在企业中因缺乏共享的组织记忆和集中协调，会引发信息陈旧导致的错误承诺、针对 Agent 的提示注入欺诈、客户沟通混乱、机密泄露以及智能体间操作冲突等问题。作者指出这不是模型能力问题，而是缺少治理型组织记忆，企业需要单一共享的现实来协调各方 Agent 的行动。
文章介绍如何成为一名营销工程师（Marketing Engineer），即用 Agent、连接的数据和业务上下文构建自动化营销系统的人。作者分享了在 Agent 开发环境（ADE，如 Orca）中完成约 70% 营销工作的经验，包括市场研究、活动策划、内容生产和落地页搭建。文章讲解了模型、harness、ADE 等核心概念，提出按营销垂直领域组织工作区的目录结构（知识、工作流、技能、产出、结果），并建议从自己熟悉的一个任务或领域入手，逐步连接研究、简报、生产与结果反馈，形成可持续迭代的营销工作流系统。
作者评测了AI金融平台Minara，指出常见AI Trading工具只给分析建议，而实际交易中的查数据、定策略、回测、执行仍需自己完成。Minara定位为AI-native金融操作系统，接入50+实时金融数据源确保数据可信，支持策略市场、自然语言生成策略回测（含手续费、滑点、Funding建模）、模拟交易与Autopilot自动化监控，覆盖加密货币、股票、黄金外汇市场，帮助新手完成从研究到执行的完整交易流程，实现Run Your Own Wall Street。
作者评测了豆包工作新上线的两个功能：本地Office编辑和任务执行环境自由切换。本地Office编辑让用户可直接在豆包工作里打开并编辑本地Excel和PPT文件，文件不出电脑，且保存权掌握在用户手中；环境切换功能则允许在同一对话中随时在本地电脑与云电脑之间切换，上下文保留但文件不随行。作者实测了Excel公式联动、PPT智能配图排版（结合seedream文生图模型）等场景，认为AI让用户无需再学Office操作技巧，但业务理解、数据分析和表达洞察的能力仍然重要，应把苦活累活交给AI，专注真正重要的规划与思考。
作者分享了一套基于「豆包工作」的全自动内容创作流水线搭建教程：通过飞书连接器建「选题作战库」多维表格收集素材，利用AI自动快判打分筛选选题，并借助云电脑+定时任务实现关机挂机巡检。文章详细公开了建表提示词、快判Prompt、以及将个人文风萃取为知识库并封装成自定义写作Skill的完整协议，包括事实分层打标和人工确认闸门等关键设计，防止AI写作失控和文风漂移，实现从灵感到成稿的端到端闭环。
作者实测让 ChatGPT 的 Astra（电脑操作 Agent）自动通关游戏《羊了个羊》。在『轻度』模式下，Astra 花约 40 分钟通关，仅用了一次道具，但 5 小时额度耗尽，靠赠送的重置额度才完成。文中总结了 Astra 的工作原理：先做规划，再通过截图识别、OCR、Playwright 等工具分析执行，最后统一思考、批量操作，从而控制成本，这也解释了 OpenAI 采购大量 Mac mini 的原因。作者还提醒并发操作可能触发微信风控，并分享了其 AI 公众号。
本文整理了 SpaceXAI 官方发布的非工程师使用 Grok Bot 的最佳实践案例。作者发现官方数据显示非技术岗位是 Grok Bot 最重的使用群体，因此调研了招聘、销售、市场、财务、设计五大职能的具体用法：招聘用 Talent Scout Bot 自动搜寻和评估候选人；销售团队以幕僚长 Bot 总控，一人带一队 Bot 覆盖会议准备、拓客、客户跟进全流程；市场用 Bot 自动把研讨会线索分发给对应销售；财务的 Haggle Bot 通过席位审计和供应商比价一周省下超十万美元；设计师用四个协作 Bot 高效完成 Figma 设计和动效原型。文章强调 AI 可自动化流程，但关键决策和审批权应保留在人类手中。
作者分享了向非技术背景的亲友推荐 AI 工具的经验：Codex 等海外工具门槛高（需翻墙、外币订阅、谷歌搜索），不适合小白用户。经过调研，作者推荐豆包工作作为国内非技术人员的首选 Agent。文章重点介绍了豆包工作的浏览器录制功能：用户只需在浏览器中演示一遍操作流程（如企查查查公司、腾讯文档报表处理），工具即可自动生成可复用、可编辑的 Skill，之后通过对话直接调用，无需写代码或提示词。此外还介绍了任务在云端与本地环境的灵活切换、悬浮窗截图提问、Office 办公友好功能等。作者认为好的 Agent 不应要求律师或财务学 Python，'录制即技能'的设计才是能普及大众的 AI 方向。
作者体验字节跳动的豆包工作后，认为其远超预期。文章详细介绍了豆包工作的几大亮点：覆盖金融、法律、电商等行业的内置Skill生态与连接器（企业微信、钉钉、腾讯会议等）；全局划词翻译与解释功能；本地Office集成，可直接在PPT、Excel中与AI协作编辑；浏览器录制与回放功能可将企业重复工作流沉淀为专属技能；以及手机、电脑、云电脑之间的多端切换能力。作者认为字节太懂国内用户，国内下一波AI赚钱风口在于帮企业搭建工作流、做培训和落地服务。
作者在将 ChatOllama 改写为 Agent 时思考“Agent 最多应连续执行多少步”的问题，对比了 Pi、Codex 和 DeepSeek Harness（DSH）三种 Agent Loop 实现。Pi 依赖 shouldStopAfterTurn 回调，把终止策略交给上层，强调可组合性；Codex 不设统一轮数上限，而是对模型请求、工具调用、上下文压缩和 token 预算分层管理，适合长时间编码任务；DSH 则像可恢复的运行协议，用 turn/step 区分、inbox 机制和事件日志驱动继续与停止，强调可恢复与可扩展。作者总结：生产级 Agent 不应依赖固定 step 数，核心在于确认任务是否仍在推进并有明确机制停止。
文章介绍了 6 个为 Pi（Agent 工作台）扩展能力的开源项目：pi-subagents 支持多 AI 分工协作；pi-interactive-shell 让 AI 管理可见终端并随时人工接管；pi-model-switch 按任务难度自动切换模型；pi-autoresearch 让 AI 持续迭代优化代码；pi-code 适合已有 Claude Code 规则和工具积累的用户；monopi 则是一体化方案，包含任务管理、后台任务和子 Agent 系统，适合从零开始的用户。
本文是一篇实操教程，作者详细讲解了如何用 Grok Bot 搭建一人公司的 Bot 团队。通过个人网站从想法到上线的完整案例，阐述了 Bot 的配置方法：先为一个 Bot 设定长期系统简介和职责边界，安排第一个任务进行设计探索；当出现值得长期单独负责的工作岗位时再新增 Bot（如专职动效的 Motion God、负责工程上线的 Devbot、负责 Figma 生产的 Figma Bro）；当多个 Bot 需协作时建立群聊，做好交接资料整理和分工规范。文章总结了 Bot 简介写长期职责、任务放聊天里、重复工作流沉淀为 skill 等核心心法，帮助读者按自己的工作流搭建 Bot 团队。
文章探讨了让AI代理通过编写代码来使用浏览器，而非依赖纯视觉或混合方法。作者团队发现，代码模式能显著提升代理在浏览器任务中的表现，并据此重建了Stagehand v4，一个更高效、token节省80%的浏览器代理SDK。文章还介绍了通过MCP接口暴露run、snapshot和screenshot三个工具，使代理能灵活操作浏览器，同时强调安全边界的重要性。
本文是 pstack 指南的第二部分，探讨如何利用 pstack 进行调研、规划、原型设计和架构。作者强调验证是基础，但之后需明确构建目标。文章介绍了间接提示、/teach、/how、/why、/recall 等技巧，帮助代理理解意图和上下文，并指出历史记录是丰富上下文的金矿。最后讨论如何指定解决方案，避免过度指定实现细节。
本期早报精讲三篇文章：架构师 Agent 如何通过领域知识结构解决存量系统中的工程判断问题；Anthropic 经济情景探索器从任务视角分析 AI 对就业和增长的多情景影响；RLM 递归语言模型将长上下文转化为可执行状态，提升复杂任务准确率。速览涵盖 Agent 断点续传、OpenAI 数学争议、Codex 访谈、AI 编程成本、ADK for Kotlin、机器人触觉及 Kimi K3 流式加载等话题。
Marc Andreessen 回顾其 2011 年“软件吞噬世界”的预言已成真，并指出 AI 编码代理正让软件吞噬世界的速度从人手转向算力。以 Devin 为例，代理已能编写 90% 以上生产代码，工程师从“码农”变为“代理舰队 CTO”，实现 10 倍乃至 100 倍杠杆。奔驰、Rivian、Itau 等企业案例显示效率提升显著。他反驳“AI 终结软件工程”的论调，认为需求无限，技术解锁新市场。a16z 因此重仓 Cognition，看好其团队与愿景。
文章探讨如何在不训练模型的前提下，让编码智能体在后续任务中持续变好。作者将编码智能体拆解为“冻结模型 + harness 程序”，并以 Pi 和 Hermes 为例说明通用 harness 的循环结构：组装提示、调用工具、追加结果、压缩上下文。核心观点是，真正带来“自进化”的并非内层循环本身，而是引入第二个写入者——在回合结束后或任务进行中，由额外代理将经验写入 MEMORY.md、SKILL.md 或四类存储，使下一个上下文窗口能加载这些持久化知识。Hermes 通过 fork 代理定期写记忆与技能，Prime Agent 则用 /refine 从轨迹中做最小可回滚编辑。两者都保留不可变基础提示，只改变下一窗口内容。
作者体验了个人AI助手Today，它定位为个人生活连续性管家，能整合日历、健康数据等，主动提供晨间简报和日程调整建议。文章通过三个真实场景展示了Today的贴心之处：临时变动时自动重排日程、睡眠不足时减少打扰、记忆可编辑可删除。作者认为Today与工作Agent不同，更像生活管家，并建议采用阶梯信任逐步开放权限。
作者体验了齐俊元创业项目 Today AI 几天，分享使用感受。Today AI 能主动推送 OpenAI 资讯、帮助运营 X 账号（涨粉统计、热点抓取、起草推文），记忆能力达85分以上，还有亲密度设计。作者对比了 Hermes Agent，认为 Today 更像贾维斯，主动且有分寸。最后提出未来 AI 助理的三个关键：分寸感、理解用户、信任。文章大纲和初稿由作者与 Today 共同完成。
文章指出炒股者多依赖二手信息，而AI读财报虽有价值，却存在编造数字、跨表算错、盲目自信、中途改口径崩溃等问题。作者以中兴通讯2024/2025年报为测试案例，用Apodex 1.1验证了一套四步验伪法：问网上搜不到的问题、强制列出数据出处、跑到一半改口径、手动核对至少一个数。测试显示AI能发现负少数股东损益异常并交叉验证数据，但作者仍抓到一处补充说明中约6%利润抬升的错误概括（实际两年相差一个数量级）。结论强调每个带百分比的句子都要核对，并介绍了FrontierAgent开源harness及相关工具。
作者认为市面上动辄上万元的 FDE（Forward Deployed Engineer）培训完全没必要报课，只需学习几个开源项目即可：fdeops 定位为 FDE 第二大脑，可接入 Claude Code、Cursor 等 Agent，让访谈纪要和交付清单可直接被引用；fdestack 将工作流拆成可复用 Skills；openfde 提供本地优先工作区，作为可引用的作战记忆；fde-guide 补充方法论和流程。建议做 ToB 交付、驻场、AI 落地的人按 Skills 管流程、仓库管记忆的思路，先装 fdeops 底座，再按团队技术栈补齐。
Autonomous OS 是一个开源机器人操作系统，被称为机器人界的 Android。它接入 Hermes、Claude Code 等推理引擎，让机器人能自主感知与决策，而非仅执行脚本。系统提供 Skill Store 技能包（看家护院、人脸识别、Gmail/GitHub/Mac 控制等），内置自我进化学习循环，且硬件通用——只需编写 ROBOT.md、SOUL.md、SAFETY.md、SKILL.md 四个文件即可接入任意设备。文章还介绍了技术接单、场景解决方案、内容变现、硬件极客等落地赚钱场景。
本文介绍如何利用 OpenAI 于 2026 年 9 月发布的 GPT-6 Astra 构建 24/7 自动发现盈利交易策略的 AI Agent，将过去量化对冲基金（如文艺复兴科技）需数百万美元搭建的策略发现流水线成本降至每月约 300 美元。文章详解四大市场错误定价来源：统计套利（Ornstein-Uhlenbeck 均值回归）、波动率曲面错配（Heston 模型）、因子分解异常（Fama-French 五因子残差 alpha）与内部人信号检测（集群买入 Cluster Score）。作者为后端开发者 Roan，专注系统设计、高频执行与量化交易系统。
本文介绍如何利用 Grok Bot 的 Webhook 触发器和 iOS 快捷指令搭建一条知识自动入库流水线。作者通过在 Grok Bot 中配置 Webhook 触发器作为例行任务，并在 iPhone 上创建快捷指令发送 POST 请求（含 Authorization 认证头），实现手机上抖音视频、公众号文章、网页链接等内容一键分享后自动转录、分析、整理并写入知识库。对于微信等没有系统分享面板的应用，作者还设计了输入框式的快捷指令作为补充入口。整个过程在云端完成，全自动无需人工干预。
CMU LTI 2026 年秋季新开研究生课程 11-768: AI Agents，由 OpenHands 核心开发者 Graham Neubig 与 Daniel Fried 共同讲授。课程以"搭 harness→建评测→RL 训练→做研究"流水线为主线，涵盖工具调用、上下文管理、技能与记忆、规划、安全、框架实践等模块，密集邀请一线学者客座授课。作业要求学生在开源 LLM 之上从零实现 ReAct Agent、设计评测框架并完成 SFT/RL 训练，工程细节对标生产级 Agent 系统。期末研究项目占 50% 成绩。PPT、视频与作业仓库全部公开，是目前系统学习 LLM Agent 建造、评测与训练最完整的公开课程。
本文介绍 LangChain Deep Agents 中的多智能体上下文管理机制。大多数 harness 支持子代理功能，监督者代理委派任务给子代理以实现并行推理和上下文隔离，但隔离的子代理可能重复收集监督者已有的上下文。为此 Deep Agents 引入上下文模式（context modes）：isolated（隔离模式）子代理以全新上下文启动，仅接收任务描述；fork（分叉模式）子代理继承监督者的完整对话历史，借助 prompt caching 更快更省。文章给出选择原则：worker 类代理（延续监督者已完成诊断的工作）适合 fork 模式，verifier 类代理（独立评审代码）适合 isolated 模式以避免锚定偏差，researcher 类代理处理独立问题时用 isolated 更利于并行。上下文模式与工具、中间件一样，是特化子代理的重要手段。
