Wiki 知识库

全部文档 / 作者: Google Cloud Tech / 标签: 成本优化

4 篇
清除

Put Claude Fable 5.1 and Gemini 3.8 Flash on the same team

本文介绍如何在 Google Cloud 的 Gemini Enterprise Agent Platform 上同时配置 Anthropic Claude Fable 5.1 与 Google Gemini 3.8 Flash 两款模型,并通过任务路由优化 token 成本(tokenomics)。作者指出单一模型路由全部任务是错误的:深度规划模型处理日常事务会浪费成本,而快速模型处理不可逆的复杂任务风险很大。文章详细演示了启用 Claude Fable 5.1 所需的数据共享配置(setPublisherModelConfig API)、Gemini 3.8 Flash 的调用方式,并建议先对常规任务做基准测试,以快速模型作为一线协调者、深度规划模型按需升级处理,从而大幅提升任务 ROI。

技术 › LLM Alan Blount (Google Cloud Tech) 2026-09-1518.4 KB 161.7K 894 82

Developers Guide to using fewer Gemini Tokens with your Agents

本文介绍如何通过上下文压缩代理 headroom 减少 Agent 调用 Gemini 模型时的 token 消耗。作者指出 agent 上下文中大部分 token 来自工具输出的冗余 JSON、日志和搜索结果,而非精心设计的提示词。通过在 Gemini 3.8 Flash 前部署 headroom 代理,在四种生产级 agent 工作负载测试中,prompt token 减少 76%,任务准确率保持 100%,首 token 时间有所改善,建模成本下降约 70%。文章同时诚实探讨了压缩的有损性:压缩器保留模式、分布和异常值,但会丢弃普通记录,模型在数据缺失时会拒绝编造。项目开源且可复现。

技术 › Agent Alan Blount 2026-09-0912.1 KB 43.8K 391 87

How to slash token costs with context caching in agent harnesses

本文介绍如何利用 Google Gemini Enterprise Agent Platform 的上下文缓存(Context Caching)大幅降低 Agent Harness 的 token 成本。文章指出无状态 LLM 在多轮编码循环中会重复传输静态代码库导致 token 累积和成本暴涨,并剖析了前缀破坏陷阱——缓存要求提示词从第 0 个 token 起字节级匹配,动态变量必须放在提示词末尾。作者展示了服务端缓存的工作原理及双重节省模型(带宽节省与缓存 token 0.25 倍计费),并通过 CachePayloadBuilder 和 ContextCacheManager 实现缓存流水线。实测三个场景显示传输 token 减少 74%-79%。最后给出决策树:上下文小于 32768 token 或少于三轮时不应缓存。

技术 › Harness Engineering Balaji Subramaniam 2026-09-0310.3 KB 46.4K 366 82

Token工程的四大实用支柱:超越提示压缩的成本优化

本文介绍了在大规模AI应用中优化token成本的四大实用支柱:一是上下文缓存与Agent循环修剪,通过裁剪中间工具输出和总结历史步骤保持提示精简,利用缓存可获最高75%的输入折扣;二是实时与批量推理,将非紧急任务如工单汇总、报告生成等打包为异步批处理,可享50%折扣;三是设置思考预算,避免推理模型在简单任务上消耗数千隐藏思考token;四是模型合理选型与持续评估,90%的任务应使用最小最便宜的模型,并通过自动化评估及时更换高效模型,配合Apigee AI Gateway等企业网关实现智能路由与安全防护。

技术 › LLM Google Cloud Tech 2026-08-227.4 KB 36.7K 345 77