Wiki 知识库

全部文档 / 作者: Google Cloud Tech / 标签: Token优化

3 篇
清除

Loop Engineering for Sub-Dime Agents: Cutting Token Costs in AI Coding Harnesses

本文探讨如何通过循环工程降低自主编码 Agent 的 Token 成本。以一个 5 轮 PR 修复任务为例,未优化的 Harness 消耗 81,000 tokens($1.53),而优化后仅需 12,050 tokens($0.042)。核心机制包括:稳定的系统前缀以最大化 KV 缓存命中;基于 AST 的工具输出压缩,仅提取代码骨架;沙箱确定性工具预检与自动修复,避免浪费 LLM 推理;MCP 工具 Schema 的按需懒加载与 Code-Mode 执行;以及双层级模型路由(Workhorse 处理机械性任务,Frontier 处理复杂规划),并定义了四种确定性升级触发条件,实现亚角级(sub-dime)任务成本。

技术 › Harness Engineering Balaji Subramaniam (Google Cloud) 2026-09-2211.8 KB 49.6K 359 90

Developers Guide to using fewer Gemini Tokens with your Agents

本文介绍如何通过上下文压缩代理 headroom 减少 Agent 调用 Gemini 模型时的 token 消耗。作者指出 agent 上下文中大部分 token 来自工具输出的冗余 JSON、日志和搜索结果,而非精心设计的提示词。通过在 Gemini 3.8 Flash 前部署 headroom 代理,在四种生产级 agent 工作负载测试中,prompt token 减少 76%,任务准确率保持 100%,首 token 时间有所改善,建模成本下降约 70%。文章同时诚实探讨了压缩的有损性:压缩器保留模式、分布和异常值,但会丢弃普通记录,模型在数据缺失时会拒绝编造。项目开源且可复现。

技术 › Agent Alan Blount 2026-09-0912.1 KB 43.8K 391 87

How to slash token costs with context caching in agent harnesses

本文介绍如何利用 Google Gemini Enterprise Agent Platform 的上下文缓存(Context Caching)大幅降低 Agent Harness 的 token 成本。文章指出无状态 LLM 在多轮编码循环中会重复传输静态代码库导致 token 累积和成本暴涨,并剖析了前缀破坏陷阱——缓存要求提示词从第 0 个 token 起字节级匹配,动态变量必须放在提示词末尾。作者展示了服务端缓存的工作原理及双重节省模型(带宽节省与缓存 token 0.25 倍计费),并通过 CachePayloadBuilder 和 ContextCacheManager 实现缓存流水线。实测三个场景显示传输 token 减少 74%-79%。最后给出决策树:上下文小于 32768 token 或少于三轮时不应缓存。

技术 › Harness Engineering Balaji Subramaniam 2026-09-0310.3 KB 46.4K 366 82