Why model routing must be in the harness
本文探讨了模型路由为何应置于代理的harness中而非网关层。随着代理部署扩大，推理成本上升，模型路由成为控制成本的关键。作者基于生产数据指出，harness层路由可降低58%成本且不损质量，因为harness能结合会话缓存、任务状态和结果来动态选择模型，而网关缺乏这些上下文。文章强调，模型切换需权衡缓存失效成本，只有harness能判断何时切换最经济。
相关文档
How to Build a Model Router in the Harness
文章介绍 LangChain 如何为开源编码代理 Open SWE 构建模型路由器。作者首先通过 LangSmith 追踪数据分析任务类型与复杂度分布，发现许多任务无需前沿级模型；随后基于 Artificial Analysis 智能指数挑选快速、均衡、高性能三档模型（GLM-5.3-Flash、GPT-5.6 Sol、GPT-6 Astra）；最后在 agent harness 的中间件层实现路由器，由分类模型根据任务标准选择最便宜可胜任的模型。结果显示每线程成本中位数降低 64%，质量无明显变化。文章强调路由决策应置于 harness 中，因其拥有网关所缺乏的任务与领域上下文。
Shipping a Self-Improving Agent
文章介绍 Pace 公司如何在其保险文档提取 Agent 中实现自我改进。系统通过三个核心机制优化：1) 子代理委派——基于历史运行构建字段关系图，优化 fanout 分组，减少重复工作，降低 19% 成本和 16% 延迟；2) 模型路由——利用历史 trace 学习各子代理任务难度，将子任务路由到合适模型，部分场景成本降低 68% 且无精度损失；3) 上下文优化——通过 Review Agent 诊断错误根因、Proposer Agent 提出经验证的上下文或 Harness 修复，使每流程提取错误减少 75%。核心论点是随任务积累，系统可持续逼近最优的委派、模型与上下文组合。
LLM 路由可能比不路由成本更高
文章探讨 LLM 路由（LLM Routing）的成本悖论：理论上将简单任务分配给廉价模型可节省大量成本（如 RouteLLM 实现约 85% 降本），Uber 因给 5000 名工程师统一部署 Claude Code 导致年度 AI 预算提前耗尽的案例也说明单一模型定价的问题。但传统路由方案在生产中会因四大失败模式而失效：分类调用额外计费、通用模型意图识别能力差、路由逻辑缺乏评估易腐化、以及模型切换破坏 KV 缓存导致全价重算。文章随后介绍 DigitalOcean 基于开源代理 Plano 的基础设施级路由方案：使用 1.5B 参数的专用路由模型（Arch-Router / Plano-Orchestrator）在代理内完成意图解析，准确率超越前沿大模型且更快，再结合成本与延迟数据对候选模型池按策略排序，实现成本与质量兼顾的动态路由。
我让豆包工作从零写了一个 Jev 模型路由器，让 Codex 省钱近 45%
作者针对 Codex 账单越来越贵的问题，利用 TypeSafe AI 的 Jev 模型（只做带概率的判断、成本极低）搭建了一个外部模型路由器 HippoRoute-Jev-Codex，仅在线程首请求、新用户轮次、压缩检查点、子 agent 首请求四个缓存重建时机选模型，其余工具循环沿用钉住的模型，避免打掉 prompt 缓存。整个项目由豆包工作通过计划模式和目标模式从零完成，作者全程仅操作四次、未看一行代码，最终 76 个测试全通过并自行揪出 3 个 bug。实测机械任务省 95.4%，子 agent 场景省 79.7%，整体省 44.8%，且任务通过率无差别。
一文解密 Jev：一个不聊天的模型，为什么突然火了？
TypeSafe AI 于2026年9月发布的 Jev 是一个不做对话和内容生成的专用判断模型，主打低成本、高速度地解决软件中的小型理解判断任务，如工单分类、优先级评分和概率判断，提供 Choice、Score、Noul 三种能力。其极低价格（每百万输入token 0.042美元）和 Vercel、Netlify 的快速接入引发开发者关注。文章分析了其'零幻觉'宣传的真实含义、评测数字的适用边界，并指出 Jev 的价值在于与生成式模型、程序和人分工协作，让软件能以低成本读懂小问题。
Put Claude Fable 5.1 and Gemini 3.8 Flash on the same team
本文介绍如何在 Google Cloud 的 Gemini Enterprise Agent Platform 上同时配置 Anthropic Claude Fable 5.1 与 Google Gemini 3.8 Flash 两款模型，并通过任务路由优化 token 成本（tokenomics）。作者指出单一模型路由全部任务是错误的：深度规划模型处理日常事务会浪费成本，而快速模型处理不可逆的复杂任务风险很大。文章详细演示了启用 Claude Fable 5.1 所需的数据共享配置（setPublisherModelConfig API）、Gemini 3.8 Flash 的调用方式，并建议先对常规任务做基准测试，以快速模型作为一线协调者、深度规划模型按需升级处理，从而大幅提升任务 ROI。
BestBlogs 早报 · 09-12｜开放权重模型降成本，HL-Mem 治理记忆，AI 使用心得重组 B 端需求协作
本期早报围绕 AI 落地的三个层面展开：先测量成本，再管理状态，最后明确责任。精讲一介绍 Uber、Pinterest、AT&T 通过开放权重模型、模型路由和基准测试，将单次请求成本降低 34%、会话成本降低 52% 的实践。精讲二解析大淘宝技术的 HL-Mem 系统，通过 Event 与 Claim 分离、双时间模型和显式遗忘机制，解决 Agent 长期记忆的证据、时间与冲突治理问题。精讲三分享京东技术的 B 端产品实践，把工作组织为 Prompt、Context、Harness 三层，AI 负责整理与生成，人负责业务判断与责任，使 34 人日工作压缩至 15 人日。速览还涵盖多智能体最佳实践、OpenAI 存储架构、AI 评估管道等内容。
How to slash token costs with context caching in agent harnesses
本文介绍如何利用 Google Gemini Enterprise Agent Platform 的上下文缓存（Context Caching）大幅降低 Agent Harness 的 token 成本。文章指出无状态 LLM 在多轮编码循环中会重复传输静态代码库导致 token 累积和成本暴涨，并剖析了前缀破坏陷阱——缓存要求提示词从第 0 个 token 起字节级匹配，动态变量必须放在提示词末尾。作者展示了服务端缓存的工作原理及双重节省模型（带宽节省与缓存 token 0.25 倍计费），并通过 CachePayloadBuilder 和 ContextCacheManager 实现缓存流水线。实测三个场景显示传输 token 减少 74%-79%。最后给出决策树：上下文小于 32768 token 或少于三轮时不应缓存。
说一句收到，我花了20341个token——Agent成本的过路费与省钱三刀
作者发现验证Agent成员是否存活时，一句简单的「收到」竟消耗两万个token，原因是每次对话都要重新装配成员的身份、记忆、技能清单等。文章剖析了Agent成本的三层「过路费」结构：身份装配、上下文搬运和格式开销，指出七成token花在空驶而非思考上。作者提出三刀止损法：利用前缀缓存把不变内容前置、健康探针直连绕过人格装配、协作转手只传摘要。实施后成本降了一半以上，但同时也暴露出便宜诱发滥用、缓存惩罚变动等新问题，并引出本地化部署的机会成本与主权优势思考。
Spend Less Tokens：如何削减90%以上的AI Token开销
文章指出企业AI token开销可削减90%以上，关键在于改变自动化设计思路。多数企业工作流本质上是确定性的，大部分步骤可用普通代码完成，仅在需要判断的环节才需要模型。作者提出不应以整个工作流为自动化单位，而应拆分为单个任务，分别评估智能需求，采用最小可用模型，并利用缓存复用已知输出。其团队采用90/9/1模型分配策略（90%非前沿模型、9%近前沿、1%前沿），实现以最低token成本获取最大效率提升，强调应衡量智能的ROI而非原始开销。
如何构建成本降低 80% 的编码 Agent：Jev + Opus 5.5 完整架构
文章指出当前编码 Agent 在简单决策（如选择加载哪些笔记、任务路由、工具失败处理、测试优先级）上滥用昂贵的前沿大模型，造成成本浪费。作者提出三层架构：Opus 5.5 负责规划、写代码、调试等开放性推理；Jev（TypeSafe 出品，毫秒级响应、输入 $0.042/百万 token、输出免费）负责从固定选项中做小决策并返回概率；Harness 层构建选项、校验概率阈值并在低置信度时回退到 Opus。文章给出四个具体决策点及代码实现：按标题分块并用 Jev 并行评分筛选相关笔记（将 30k token 降至 6k）、任务路由、工具失败处理、测试优先级选择。实测一个功能开发会话成本从 $6.42 降至 $2.00，降低 69%，且架构可作为函数调用插入现有 Agent 循环，无需重写。
BestBlogs 早报｜YC Paper Club 拆解推理服务系统，Amazon CEO 谈算力供需与投入，Naveen Rao 谈推理经济学
本期早报围绕推理计算的经济与工程展开。YC Paper Club 分享拆解推理请求生命周期，涵盖路由、缓存、分词调度、编译优化与服务质量监测，强调训练之后的服务开销巨大且需要系统性优化；Amazon CEO Andy Jassy 访谈解释了 2026 年 2200 亿美元资本开支背后的建设周期、现金流压力与企业 AI 应用的杠铃格局，指出推理降价将打开更多采用场景；Naveen Rao 则从能源效率视角讨论模型、硬件协同设计，预测推理可能成为 10 万亿美元市场，并探讨规格定义与验证在 AI 自动化交付中的关键作用。速览部分还涉及模型越界安全评估、桥水知识库建设和 AI 个人助理产品竞争。