How to slash token costs with context caching in agent harnesses
本文介绍如何利用 Google Gemini Enterprise Agent Platform 的上下文缓存（Context Caching）大幅降低 Agent Harness 的 token 成本。文章指出无状态 LLM 在多轮编码循环中会重复传输静态代码库导致 token 累积和成本暴涨，并剖析了前缀破坏陷阱——缓存要求提示词从第 0 个 token 起字节级匹配，动态变量必须放在提示词末尾。作者展示了服务端缓存的工作原理及双重节省模型（带宽节省与缓存 token 0.25 倍计费），并通过 CachePayloadBuilder 和 ContextCacheManager 实现缓存流水线。实测三个场景显示传输 token 减少 74%-79%。最后给出决策树：上下文小于 32768 token 或少于三轮时不应缓存。
