全部文档 / 作者: 小墨同学 (@xiaomovps) / 标签: LLM

2 篇

从零开始理解提示缓存（Prompt Caching In Agents）【译】

本文翻译自 Earendil Engineering 的《Prompt Caching In Agents》，系统讲解编程 Agent 中提示缓存的原理与实践。文章介绍了 KV 缓存的工作机制（prefill 与 decode 阶段）、缓存的两种存放方式（会话亲和性与分布式缓存）、前缀匹配对缓存命中的决定性作用，以及显式缓存与自动缓存的区别。还解释了为何修改工具定义会破坏缓存、TTL 过期导致短请求昂贵、缓存未命中的计费代价，以及 Pi 为何保持旧记录稳定而不激进剪枝，帮助读者在上下文、缓存复用、延迟与成本之间取得平衡。

技术 › LLM

小墨同学 2026-10-0726.1 KB 34.7K 89 83

从零开始理解上下文压缩

本文译自 Earendil Engineering 的《How Compaction Works in Pi》，讲解编程 Agent（如 Pi、Claude Code、Codex）中的上下文压缩机制。LLM 的上下文窗口有限，随着对话和工具调用不断积累，请求会超出上限。解决方案之一是压缩：用 LLM 生成的摘要替换较早的历史记录，同时原样保留近期消息。文章详细介绍了 Pi 的实现——触发时机（接近上限自动触发或 /compact 手动触发）、token 预算、压缩提示的设计（像一份交接简报，包含目标、进度和关键决定），以及压缩与提示缓存的关系：压缩会打破前缀缓存，导致后续请求需重新计算。

技术 › LLM

小墨同学 2026-10-0515.9 KB 59.9K 217 75

上下文压缩 Agent Pi LLM 上下文窗口提示缓存翻译 Claude Code Codex