改一次 Prompt,怎么知道 Agent 有没有悄悄变差
文章探讨了在企业级 Agent 开发中,如何通过建立版本化固定案例集和审计日志来准确评估模型更新后的质量变化。强调不能只看平均分,需逐条对比案例的改善与退步,并实施一票否决机制以确保安全和可追溯性。
文章探讨了在企业级 Agent 开发中,如何通过建立版本化固定案例集和审计日志来准确评估模型更新后的质量变化。强调不能只看平均分,需逐条对比案例的改善与退步,并实施一票否决机制以确保安全和可追溯性。
Cloudflare 数据显示 AI 自动化流量首次超过人类(57.5% vs 42.5%)。文章分析搜索用户从人、到大模型、再到 Agent 的三次演变,指出 Agent 场景下搜索的三大卡点:结果需可直接用、信源要可信、速度要快。腾讯「元宝搜索」通过提供完整正文、接入 157 个权威信源、索引期压缩网页为 100 token 支持 KV Cache 复用等优化,使 Agent 完成任务的平均搜索调用从 8 次降至 5 次。作者实测 9 个品类 31 条 query,认为其强项为权威性、时效性和正文提供能力,适合国内 Agent 开发者,但学术论文、生活服务等场景需配合垂类 API。文章最后介绍了三种接入方式与按量计费价格。
本期早报精讲三篇文章:Google 公开 Agent Compute Engine 架构,通过 Harness 与 Sandbox 分离、凭据外置和快照空闲机制,兼顾智能体持续工作的便利、安全与成本;Claude 应用团队分享何时将子智能体合并回主循环,指出配合技能的单一智能体在质量、延迟和成本上常优于多角色设计,并给出渐进迁移与评测方法;CrowdStrike CEO George Kurtz 谈 AI 时代的安全变化,包括攻击速度加快、身份成为入口、数字孪生对抗演练等。速览部分涵盖 WorkForge 训练框架、Air Canada 智能体测试实践、个人 Agent 评测等内容。
作者分享了将25条思考类提示语(苏格拉底式提问、第一性原理、乔哈里视窗、逆向法等)封装为开源skill「老爷爷」的过程。受Matt Pocock的ask-matt路由启发,该skill可根据用户当前处境自动匹配最合适的提示语,解决「提示语存了一堆但从来不用」的问题。作者强调原提示语一字不改的原则,避免工程化改写导致的性能下降,并介绍了乔哈里视窗和逆向法两个实用方法,主张让AI负责挑选提示语、人负责感知问题的分工方式。
文章指出许多人做 AI Agent 只是调用大模型 API 加上工具和 LangGraph,跑通 Demo 与企业级生产落地之间差距巨大。作者结合自身企业 AI 项目经验,将 Agent 工程师学习路线分为四个阶段:一是掌握基础,理解 Agent 工作原理;二是赋予执行能力,包括 MCP、浏览器自动化、记忆与上下文管理、沙箱与权限控制;三是安全、多 Agent 协作与人工审批,明确权限边界,防止错误放大;四是错误处理、执行轨迹评测、降级兜底与工程复盘。作者强调评测数据是判断系统优劣的关键,建议边做边学,完整交付一个项目比做十个 Demo 更有价值,真正稀缺的是能让 Agent 稳定运行的工程能力。
作者基于 DeepSeek Harness 从零搭建一个客服 Agent 的实战教程。文章梳理了客服 Agent 的四大核心能力:快速检索、记忆、人机协同与工具执行;并从交互模式接入、System Prompt 精简、Session 管理与持久化、工具与 Skill 的取舍、安全边界(接口鉴权与 Sandbox 只读)等方面逐步实现。作者强调通过收缩工具数量和精简 System Prompt 降低推理与 Token 开销,用 Skill 约束行为方式、用受控 Tool 约束能力边界,最后分享了利用 DSH 分步完成开发的流程与实用技巧。
作者耗时5天对 REA 增强版 Codex 与原生 Codex 进行了108次对照实验,其中35对可同条件比较。文章详细记录了三个阶段:首先是六次小型探索,测试笔记导出、桌面应用复制、.NET 计价函数复现三组任务,两边均通过全部用例但 REA 组耗时略长;随后扩展至六档难度、两种模型共72次正式运行。文章分析了 REA 作为调查工具为模型提供的模块关系、函数位置等线索,以及原生 Codex 借助普通工具自行调查的能力,指出在小规模任务中两者能力差距不明显,差异更多体现在调查入口和验证路径上,并对实验边界与结论适用范围做了严谨说明。
作者用同一份 8-10 页需求,让 27 个 PPT 生成 skill 各做一套,并使用 Claude Code + Opus 5.5 运行、gpt-6-astra 逐页打分。结果显示:数字虽准但 8 套添加了需求外的说法;2 套需大改且全是不可编辑的图片;设计最佳的 ppt-agent-skills 仅 904 星;5.8 万星的 ppt-master 微调即可交付;转换器可将全图片 PPT 转回可编辑文本(0 到 2224 字)。最后给出选型建议:需协作修改选原生 PPTX,自己演示选网页,发社媒选图片,兼要 pptx 和美观可选网页/图片加转换器。全部幻灯片与评分已公开。
作者李岳介绍如何使用Codex搭配GPT-6.1 Sol制作动态视频(Motion Video),作为Claude Opus 5.5的替代方案。核心方法是先让Codex学习收录了400多条优秀动态视频制作方法的开源项目awesome-ai-motion,形成制作'记忆'后,再通过提示词让它生成视频。文中以女性写真导演Skill的宣传视频为例,演示了完整流程,需提前安装Node.js、FFmpeg、Playwright等软件。作者指出Codex效果略逊于Claude,但Token消耗少、支持分段调整,适合没有Claude账号的用户尝试。
本文整理了 Manus 2.0 发布的 12 个视频生成示例及其完整 Prompt,涵盖动效作品集、游戏预告片、AI 新闻 meme 解说、代码生成的解压视频、材质动画、大模型历史科普、虚构产品发布片、创意混剪、字体动画、新闻解说、p5.js 程序化故事预告等多种类型。作者逐条说明了每个示例所需的工具与环境(如代码执行、渲染导出、TTS、视频模型等),并指出这些 Prompt 也可在支持代码执行和工具调用的 Agent 环境(如 Opus 5.5 或 Sonnet 5.5)中使用,为 AI 视频创作提供了实用的 Prompt 参考。
本期早报围绕智能体(Agent)实践展开三篇精讲:一是 Parallel 创始人、前 Twitter CEO Parag Agrawal 谈智能体搜索基础设施、检索与模型计算的协调成本、内容补偿机制与事件驱动的监测入口;二是 Erina Karati 以 Supercell 游戏智能体为例,阐述长时程智能体需要通过可控场景、完整轨迹记录与多维评分进行自动化实验,而非仅靠提示词;三是 Roland Gavrilescu 提出把工作、验证与反馈循环视为产品本身,通过可版本化的智能体 recipe 实现持续迭代。速览部分涵盖 Claude 计算物理振幅、Skydio 多机自主飞行、Perplexity 自研数据库、GEPA 反思优化、GPU 自动化研究等内容。
文章从普通人视角探讨 Meta 的 AI Agent 产品 Muse 的实用价值。作者对比 Muse 与 ChatGPT 的差异:Muse 拥有独立云端运行环境,能自己操作浏览器、填表、执行任务,而不只是给建议。文章建议首次使用先让 Muse 帮自己省钱,如查找闲置订阅、申请退款、跨网站比价等。随后梳理了普通人靠 Muse 搞钱的四个等级:卖信息差、帮人配置 Muse、自己用它干活提升效率、最终卖结果做服务。最后给出新手三步起步建议和 5 个可直接使用的实用 Prompt,强调核心思维是把重复麻烦的事交给 Agent。
作者分析了 OpenAI、Anthropic、Google DeepMind 及国内字节、Kimi、智谱等十余家公司 100 多条产品经理招聘 JD,指出「AI 产品经理」并非单一岗位。文章将 AI 行业分为模型公司、平台基础设施、应用公司三层,各层对产品经理的能力要求差异巨大:模型公司看重模型评测与技术理解,平台层关注开发者体验与成本定价,应用层强调产品判断与场景转化。作者归纳出评测度量、跨团队推进、模型技术理解等七大能力维度,并针对应届生、有商业化经验者、大厂产品经理、非产品背景人群分别给出入行路径建议。