Wiki 知识库

全部文档 / 作者: Google Cloud Tech / 标签: LLM

9 篇
清除

在安全边界内运行私有本地 AI 的四种架构

文章指出企业 AI 部署并非只有'公有 API 或自建推理平台'的二选一,私有 AI 实际是一个从客户端设备到完全物理隔离的连续谱系。作者提出四种隔离层级:1) 使用 LiteRT、Gemini Nano 等在移动 NPU 和浏览器上进行零外泄客户端推理;2) 通过 Confidential Computing(机密虚拟机与 NVIDIA H100 TEE)对云端 CPU/GPU 内存硬件级加密;3) 在私有 VPC 内用 GKE + vLLM/JetStream 自托管开源模型权重,实现权重与日志的完全掌控;4) 使用 Google Distributed Cloud Air-Gapped 为主权工作负载提供物理断网部署。工程关键在于按威胁模型和延迟预算匹配硬件边界。

技术 › 网络安全 Sergio Villani 2026-09-2612.8 KB 30.4K 208 84

Loop Engineering for Sub-Dime Agents: Cutting Token Costs in AI Coding Harnesses

本文探讨如何通过循环工程降低自主编码 Agent 的 Token 成本。以一个 5 轮 PR 修复任务为例,未优化的 Harness 消耗 81,000 tokens($1.53),而优化后仅需 12,050 tokens($0.042)。核心机制包括:稳定的系统前缀以最大化 KV 缓存命中;基于 AST 的工具输出压缩,仅提取代码骨架;沙箱确定性工具预检与自动修复,避免浪费 LLM 推理;MCP 工具 Schema 的按需懒加载与 Code-Mode 执行;以及双层级模型路由(Workhorse 处理机械性任务,Frontier 处理复杂规划),并定义了四种确定性升级触发条件,实现亚角级(sub-dime)任务成本。

技术 › Harness Engineering Balaji Subramaniam (Google Cloud) 2026-09-2211.8 KB 49.6K 359 90

Put Claude Fable 5.1 and Gemini 3.8 Flash on the same team

本文介绍如何在 Google Cloud 的 Gemini Enterprise Agent Platform 上同时配置 Anthropic Claude Fable 5.1 与 Google Gemini 3.8 Flash 两款模型,并通过任务路由优化 token 成本(tokenomics)。作者指出单一模型路由全部任务是错误的:深度规划模型处理日常事务会浪费成本,而快速模型处理不可逆的复杂任务风险很大。文章详细演示了启用 Claude Fable 5.1 所需的数据共享配置(setPublisherModelConfig API)、Gemini 3.8 Flash 的调用方式,并建议先对常规任务做基准测试,以快速模型作为一线协调者、深度规划模型按需升级处理,从而大幅提升任务 ROI。

技术 › LLM Alan Blount (Google Cloud Tech) 2026-09-1518.4 KB 161.7K 894 82

Developers Guide to using fewer Gemini Tokens with your Agents

本文介绍如何通过上下文压缩代理 headroom 减少 Agent 调用 Gemini 模型时的 token 消耗。作者指出 agent 上下文中大部分 token 来自工具输出的冗余 JSON、日志和搜索结果,而非精心设计的提示词。通过在 Gemini 3.8 Flash 前部署 headroom 代理,在四种生产级 agent 工作负载测试中,prompt token 减少 76%,任务准确率保持 100%,首 token 时间有所改善,建模成本下降约 70%。文章同时诚实探讨了压缩的有损性:压缩器保留模式、分布和异常值,但会丢弃普通记录,模型在数据缺失时会拒绝编造。项目开源且可复现。

技术 › Agent Alan Blount 2026-09-0912.1 KB 43.8K 391 87

How to slash token costs with context caching in agent harnesses

本文介绍如何利用 Google Gemini Enterprise Agent Platform 的上下文缓存(Context Caching)大幅降低 Agent Harness 的 token 成本。文章指出无状态 LLM 在多轮编码循环中会重复传输静态代码库导致 token 累积和成本暴涨,并剖析了前缀破坏陷阱——缓存要求提示词从第 0 个 token 起字节级匹配,动态变量必须放在提示词末尾。作者展示了服务端缓存的工作原理及双重节省模型(带宽节省与缓存 token 0.25 倍计费),并通过 CachePayloadBuilder 和 ContextCacheManager 实现缓存流水线。实测三个场景显示传输 token 减少 74%-79%。最后给出决策树:上下文小于 32768 token 或少于三轮时不应缓存。

技术 › Harness Engineering Balaji Subramaniam 2026-09-0310.3 KB 46.4K 366 82

构建弹性生产级 Agent Harness 的 5 层架构

文章指出 Agent 可靠性的关键在于模型之外的确定性软件基础设施,即 Harness Engineering。作者提出构建弹性生产 harness 的 5 层方法:1)从模型优先转向系统优先架构,结构化工作流可将任务完成率从 31.7% 提升至 78.0%;2)实现持久化状态与检查点,避免长时间运行中丢失进度;3)通过角色分离(规划者、生成者、评估者)构建验证闭环;4)利用 hooks 和隔离运行时(如沙箱、网关)确保安全边界,防御提示注入;5)记录结构化追踪便于调试与自动化修复。文中结合 Google Antigravity、ADK 2.0、Gemini Enterprise 等工具给出实践建议。

技术 › Harness Engineering Google Cloud Tech 2026-08-298.7 KB 35.7K 263 81

什么是 Harness Engineering:如何用零手写代码交付软件产品

文章介绍了 Harness Engineering(脚手架工程)这一编码智能体领域的重要趋势。作者以 OpenAI 团队用 Codex 零手写代码交付产品的实验为例,说明开发者的角色从编写逻辑转变为设计智能体运行环境:包括设置严格的沙箱边界、构建自动修复循环、以结构化仓库代替冗长指令。文章用 Google ADK 2.0 和 Antigravity SDK 的代码示例演示了如何实现沙箱限制、测试验证节点、无限循环的 kill switch,以及用图工作流将代理与测试节点连接成自主修复系统。

技术 › Harness Engineering Google Cloud Tech 2026-08-2512.5 KB 55.5K 786 75

Token工程的四大实用支柱:超越提示压缩的成本优化

本文介绍了在大规模AI应用中优化token成本的四大实用支柱:一是上下文缓存与Agent循环修剪,通过裁剪中间工具输出和总结历史步骤保持提示精简,利用缓存可获最高75%的输入折扣;二是实时与批量推理,将非紧急任务如工单汇总、报告生成等打包为异步批处理,可享50%折扣;三是设置思考预算,避免推理模型在简单任务上消耗数千隐藏思考token;四是模型合理选型与持续评估,90%的任务应使用最小最便宜的模型,并通过自动化评估及时更换高效模型,配合Apigee AI Gateway等企业网关实现智能路由与安全防护。

技术 › LLM Google Cloud Tech 2026-08-227.4 KB 36.7K 345 77

Google Cloud 推出 Agent Garden 原子 Agent 蓝图

文章介绍了 Google Cloud 在 Next '26 大会上发布的 Agent Garden 及其包含的 12 个核心 Agent 蓝图。这些生产就绪的模板旨在解决多 Agent 系统的设计、编排和评估难题。文章详细剖析了 SDLC Suite(软件生命周期管理)、On-Brand GenMedia(品牌媒体生成)和 Invoice Processing(发票处理)三个核心架构,展示了如何利用链式架构、自适应学习框架和 LLM 评估机制来解决企业实际痛点,帮助开发人员快速落地 AI 应用。

技术 › Agent Google Cloud Tech 2026-04-2612.1 KB 14.4K 179 84