Wiki 知识库

全部文档 / 标签: 提示缓存

6 篇
清除

从零开始理解提示缓存(Prompt Caching In Agents)【译】

本文翻译自 Earendil Engineering 的《Prompt Caching In Agents》,系统讲解编程 Agent 中提示缓存的原理与实践。文章介绍了 KV 缓存的工作机制(prefill 与 decode 阶段)、缓存的两种存放方式(会话亲和性与分布式缓存)、前缀匹配对缓存命中的决定性作用,以及显式缓存与自动缓存的区别。还解释了为何修改工具定义会破坏缓存、TTL 过期导致短请求昂贵、缓存未命中的计费代价,以及 Pi 为何保持旧记录稳定而不激进剪枝,帮助读者在上下文、缓存复用、延迟与成本之间取得平衡。

技术 › LLM 小墨同学 2026-10-0726.1 KB 34.7K 89 83

从零开始理解上下文压缩

本文译自 Earendil Engineering 的《How Compaction Works in Pi》,讲解编程 Agent(如 Pi、Claude Code、Codex)中的上下文压缩机制。LLM 的上下文窗口有限,随着对话和工具调用不断积累,请求会超出上限。解决方案之一是压缩:用 LLM 生成的摘要替换较早的历史记录,同时原样保留近期消息。文章详细介绍了 Pi 的实现——触发时机(接近上限自动触发或 /compact 手动触发)、token 预算、压缩提示的设计(像一份交接简报,包含目标、进度和关键决定),以及压缩与提示缓存的关系:压缩会打破前缀缓存,导致后续请求需重新计算。

技术 › LLM 小墨同学 2026-10-0515.9 KB 59.9K 217 75

BestBlogs 早报 · 09-24|OpenAI 拆解 GPT-6 提示缓存,Gemini 3.8 语音生成模型、Grok 4.7 发布

本期早报围绕 AI 模型与工程实践展开三大精讲:一是 OpenAI 为 GPT-6 改进提示缓存,命中率提升并推出缓存诊断工具,缓存输入折扣最高 90%;二是 Google DeepMind 发布 Gemini 3.8 Flash TTS 和 Flash-Lite TTS,支持声音创作、双说话人控制与授权声音复刻;三是 xAI 发布 Grok 4.7,聚焦长任务编程与自我验证,附基准与定价。速览部分涵盖腾讯错误码治理 Agent、网易 AI 原生组织实践、Reducto 文档智能、阿里 AI Native 研发手册、大淘宝小游戏 Agent、Harness 记忆与验证闭环及良渚 vibe coding 社区观察。

技术 › LLM ginobefun 2026-09-2424.5 KB 4.5K 4 76

OpenAI 官方 GPT-5.6 模型指南

本文是 OpenAI GPT-5.6 模型指南的翻译,介绍了该模型的新特性如程序化工具调用、多智能体、显式提示缓存及 Pro 模式等。文章详细阐述了模型命名方案、API 参数更新、迁移策略及最佳实践,帮助开发者优化生产工作流的质量与效率。

技术 › OpenAI 雪踏乌云 2026-08-0318.1 KB 39.7K 77

克劳德·科德真正的秘诀(很可能)并非在于模型

本文分析了 Claude Code 优于普通网页聊天界面的技术原因。作者指出,Claude Code 的优势主要在于其精心设计的软件框架,而非仅仅依赖模型能力。关键技术点包括:构建实时仓库上下文、积极重用提示缓存、使用专用工具(Grep、Glob、LSP)、减少上下文冗余、维护结构化会话记忆以及利用分支和子代理并行处理任务。这些工程设计使得 Claude Code 在代码编写和交互效率上表现卓越。

技术 › Claude Code Sebastian Raschka 2026-04-014.7 KB 626.5K 2.8K 65

从构建 Claude Code 中汲取的经验教训:提示缓存至关重要

文章详细阐述了提示缓存在构建 Claude Code 等 AI 代理中的关键作用。核心经验包括:利用前缀匹配机制规划缓存、通过消息传递更新而非修改系统提示以保持缓存、避免中途切换模型或工具、以及利用“延迟加载”和“缓存安全分叉”等技术优化上下文管理。围绕缓存设计系统架构能显著降低延迟与成本。

技术 › LLM Thariq 2026-03-228.5 KB 2.4M 5.7K 88