AI 的记忆机制：从 KV Cache 到智能压缩
文章深入探讨了 AI Agent 遗忘信息的根本原因。作者指出，问题通常不在于检索，而在于 KV Cache 在上下文过长时的处理机制。文章对比了 StreamingLLM（仅保留近期信息）与 SnapKV（基于注意力分数保留关键信息）的区别，并解释了模型如何通过“注意力权重”来决定哪些 Token 值得被记忆，从而实现 92% 的压缩比且不丢失关键信息。
相关文档
上下文压缩和记忆(nanobot)
作者介绍了 nanobot 的上下文压缩机制与长期记忆设计。上下文由 system prompt、历史消息和当前消息构成，当输入达到上下文窗口的 input budget 时，nanobot 压缩历史消息为新 summary，保留未发送的增量消息。生成摘要时通过模拟用户指令请求模型总结，并保持 system prompt 和工具定义一致以复用 KV cache 降低成本。对 OpenAI 原生压缩 API，nanobot 在加密 compaction item 之外额外生成文本 summary 供长期记忆使用。长期记忆通过 consolidator_archive 和 dream 两份提示词模板定制，用户可调整记忆筛选与整理规则，甚至整理成 skill。
AI 的流量超过人类之后，搜索也要重做一遍
Cloudflare 数据显示 AI 自动化流量首次超过人类（57.5% vs 42.5%）。文章分析搜索用户从人、到大模型、再到 Agent 的三次演变，指出 Agent 场景下搜索的三大卡点：结果需可直接用、信源要可信、速度要快。腾讯「元宝搜索」通过提供完整正文、接入 157 个权威信源、索引期压缩网页为 100 token 支持 KV Cache 复用等优化，使 Agent 完成任务的平均搜索调用从 8 次降至 5 次。作者实测 9 个品类 31 条 query，认为其强项为权威性、时效性和正文提供能力，适合国内 Agent 开发者，但学术论文、生活服务等场景需配合垂类 API。文章最后介绍了三种接入方式与按量计费价格。
从零开始理解上下文压缩
本文译自 Earendil Engineering 的《How Compaction Works in Pi》，讲解编程 Agent（如 Pi、Claude Code、Codex）中的上下文压缩机制。LLM 的上下文窗口有限，随着对话和工具调用不断积累，请求会超出上限。解决方案之一是压缩：用 LLM 生成的摘要替换较早的历史记录，同时原样保留近期消息。文章详细介绍了 Pi 的实现——触发时机（接近上限自动触发或 /compact 手动触发）、token 预算、压缩提示的设计（像一份交接简报，包含目标、进度和关键决定），以及压缩与提示缓存的关系：压缩会打破前缀缓存，导致后续请求需重新计算。
面向 coding agent 的 Jev 工程学
本文基于 Diogo Almeida 的设计笔记，从第一性原理重新审视 coding agent 的设计。作者以「如果没有 KV cache 会怎样设计」为切入点，揭示当前 agent 围绕缓存经济性形成的「只追加对话记录」范式的六大症状：路由失效、工具挤占上下文、压缩有损、子 agent 平庸、重启丢状态、内置能力争论。文章指出 token 主要消耗在读取与搜索而非写代码，并提出以 Jev 决策层为核心的方案：元注意力上下文组装、查询感知压缩、可见性阶梯、可编程权限、安全感知路由与三级工具披露，把上下文当作被有意组装而非偶然累积的对象。
Loop Engineering for Sub-Dime Agents: Cutting Token Costs in AI Coding Harnesses
本文探讨如何通过循环工程降低自主编码 Agent 的 Token 成本。以一个 5 轮 PR 修复任务为例，未优化的 Harness 消耗 81,000 tokens（$1.53），而优化后仅需 12,050 tokens（$0.042）。核心机制包括：稳定的系统前缀以最大化 KV 缓存命中；基于 AST 的工具输出压缩，仅提取代码骨架；沙箱确定性工具预检与自动修复，避免浪费 LLM 推理；MCP 工具 Schema 的按需懒加载与 Code-Mode 执行；以及双层级模型路由（Workhorse 处理机械性任务，Frontier 处理复杂规划），并定义了四种确定性升级触发条件，实现亚角级（sub-dime）任务成本。
LLM 推理引擎到底是怎么工作的：从 token 到 KV 缓存、连续批处理，再到 Agent Loop
文章基于 TogetherAI 团队 Zain 的分享，沿一个请求的完整生命周期拆解 LLM 推理引擎（vLLM、SGLang、TensorRT-LLM）的内部机制。核心洞察是：prefill 计算受限、decode 内存带宽受限；KV cache 用空间换掉平方级计算，但成为显存瓶颈。引擎通过连续批处理让 GPU 每 pass 都不空闲，PagedAttention 像操作系统管理内存一样管理 KV cache（碎片率从 60-80% 降到 4% 以下），chunked prefill 摊平长 prompt 带来的延迟尖峰。Agent 循环因每轮重发完整对话、输入越来越长而输出极短，使其痛点落在 prefill 与 KV cache 上：prefix caching 可将 100 轮 agent 的总 prefill 工作量从约 55 倍降到约 10 倍，'缓存为王'是 agent 与引擎的交汇点。
Developers Guide to using fewer Gemini Tokens with your Agents
本文介绍如何通过上下文压缩代理 headroom 减少 Agent 调用 Gemini 模型时的 token 消耗。作者指出 agent 上下文中大部分 token 来自工具输出的冗余 JSON、日志和搜索结果，而非精心设计的提示词。通过在 Gemini 3.8 Flash 前部署 headroom 代理，在四种生产级 agent 工作负载测试中，prompt token 减少 76%，任务准确率保持 100%，首 token 时间有所改善，建模成本下降约 70%。文章同时诚实探讨了压缩的有损性：压缩器保留模式、分布和异常值，但会丢弃普通记录，模型在数据缺失时会拒绝编造。项目开源且可复现。
The Missing Pieces in Recursive Self-Improvement
文章探讨递归自我改进（RSI）的瓶颈：当前 AI 智能体虽能迭代优化结果，却很少重新审视改进背后的策略。基于清华大学等机构的实证研究，分析显示智能体在 5,111 次训练运行中能显著提升模型性能，但仅有约 2% 的情况会切换训练策略，多停留在执行层面的微调。增加经验、人工指导或推理算力均无法根本解决该问题。研究指出，迭代不等于重新思考，Metaⁿ 和 Recuris 等新方法尝试通过递归分层改进策略、演化记忆机制来弥补这一缺失。
Graph Engineering：从 0 到 1 小白完整教程
文章介绍了 Graph Engineering，一种通过流程图协调多个 AI 协作完成复杂任务的方法。它将复杂任务拆解为节点、边和状态，解决了单 Loop 应对复杂任务时的局限性。文章详细解析了 Graph 的核心概念、与 Loop 的关系、四个核心模块及具体实践模板，并提供了新手学习路径。
Recursive Language Models (RLMs) 清晰解释：解决大模型长上下文推理难题
文章介绍了一种称为递归语言模型（RLMs）的新方案，旨在解决大语言模型在处理超长上下文时出现的“上下文腐烂”问题。RLMs 不再将上下文限制在单一 Prompt 中，而是将其视为外部数据，通过赋予模型窥探、正则匹配、分区和递归调用等工具，让模型自主决定如何分解和处理任务。这种方法不仅消除了上下文长度对推理能力的影响，还提高了准确性和成本效率。
LLM 中的 Prompt Caching 技术详解：以 Claude 为例的高效缓存策略
本文深入探讨了 LLM 中的 Prompt Caching 技术，解释了其背后的 KV Cache 机制及静态/动态上下文分离原理。文章通过 Claude Code 的案例分析，展示了如何通过保持 92% 的缓存命中率来将计算成本降低 81%，并总结了哈希敏感性和工程化落地的关键约束。
LLM 提示词缓存原理与实战应用
文章深入探讨了LLM中的提示词缓存技术。通过区分静态前缀（如系统指令）和动态后缀（如用户消息），利用KV Cache机制避免重复计算，大幅降低长上下文任务的成本。文章以Claude Code为例，展示了如何通过保持92%的缓存命中率将成本降低81%。同时，强调了Hash缓存的脆弱性，任何微小的前缀变动都会导致缓存失效，并给出了在开发Agent时维持缓存热度的具体工程建议。