文章介绍了决策模型（如 TypeSafe 的 Jev、Perplexity 的 Decider、Liquid 的 d1、Cloudflare 的 Clef、OpenAI 的 Decisions API）作为 LLM judge 的低成本替代方案在自动化评估中的应用。作者基于 100 条公寓租赁 Agent 的对话轨迹，测试各模型识别失败案例的性能与成本，并重点讲解决策阈值的调优：默认阈值 0.50 未必适合具体任务，需根据精确率与召回率的业务权衡（如 F1 优化或最低 80% 双重要求）来选择阈值。文章还提供了用编码 Agent 进行阈值调优的示例提示词，并讨论了校准与分数解释等实用方法。
文章介绍了在 LLM/Agent 产品中，除了搭建在线评估器之外，更应优先捕获用户评判信号（signals of judgment）。用户在使用过程中已通过行为在'评判'AI 输出质量，只需在应用中埋点捕获。信号分为四类：显式评分（点赞/星级，明确但稀少）、行为信号（复制、重新生成、放弃等，覆盖率高）、会话信号（改写问题、纠正、要求转人工等）和结果信号（草稿被原样发送、工单保持关闭等，最强但最难实现）。文章还讨论了信号解读方法：负信号值得逐条排查，正信号只看趋势；以及自我选择、幸存者偏差、界面曝光、群体差异等固有偏差，提醒不要单以正信号为优化目标。
文章探讨了 Agent 系统如何在不更新模型权重的情况下实现自我改进。作者提出两条独立回路：成功运行可产出可复用流程（如 Hermes 的 SKILL.md 程序性记忆），失败运行可产出经审查的修复和回归用例。通过 Opik 工具链，生产失败被转化为结构化反馈：trace 记录、源码级诊断、人工批准 diff、重跑验证、回归测试。文章强调改动需版本管理、评估需确定性校验器，系统并非自动学习，而是把事故变成可审查的改进输入。
文章指出传统确定性单元测试无法覆盖 AI Agent 的多轮、非确定性行为，提出将评估视为可自动化、可度量的 CI/CD 测试套件。作者给出 6 种生产级 Eval 实践：1）先做确定性 schema 检查（JSON 有效性、工具调用参数）；2）用 Check Grounding API 等数学化度量事实依据，低于阈值即拒绝输出；3）检查多轮工具调用轨迹的依赖顺序并惩罚循环调用；4）构建带严格评分标准、输出推理过程的 AutoRater 评审模型；5）用 AutoSxS 成对对决和胜率数据安全替换模型；6）在 CI 中建立黄金回归数据集作为硬门禁。文中提到 Firebase 团队借此将复杂多步任务通过率从 31.7% 提升至 78.0%。
本期早报三条精讲：OpenAI 首颗自研推理芯片 Jalapeño 公开基准实测，每瓦性能较 GB200/GB300 高 1.5-1.9 倍、延迟低 1.7-3.6 倍，9 个月流片，年底部署；Claude 记忆与 Cowork 双向打通，边聊边写、敏感主题默认不存、可逐条审定；雷鸟 iO 智能眼镜以放弃摄像头、大芯片换全天佩戴，主打全天智记。另有 LLM 生产前评估框架、WebMCP、Granite 4.2 等 47 条精选。
本文汇总了本周AI领域的多篇前沿研究。主要涵盖：1) 提出了智能体系统失败的分类法，以区分模型与支架的故障；2) 零Token记忆操作大幅降低延迟与成本；3) 研究发现在同等消耗下，简单重复采样优于模型自我反思；4) 利用单独的模型自动修复智能体支架；5) 针对异构数据的企业级分析基准DataSpace；6) 探讨提示词诱导导致的编码智能体资源浪费问题。这些研究为AI智能体开发和评估提供了重要指导。
