长上下文缓存能复用，为什么一压缩就失真？
文章探讨了 RAG 场景中 KV Cache 复用的挑战。现有方法在长上下文下面临存储与传输瓶颈，且直接复用或简单压缩会导致位置偏移和误差放大。C2KV 通过轻量级 Extractor 将文档压缩为可拼接、位置解耦的 KV 表示，实现了显著推理加速。文章分析了其在质量、延迟和工程落地上的权衡，强调 KV 复用已演变为存储、传输和质量共同约束的系统问题。
全部文档 / 标签: C2KV
1 篇
文章探讨了 RAG 场景中 KV Cache 复用的挑战。现有方法在长上下文下面临存储与传输瓶颈，且直接复用或简单压缩会导致位置偏移和误差放大。C2KV 通过轻量级 Extractor 将文档压缩为可拼接、位置解耦的 KV 表示，实现了显著推理加速。文章分析了其在质量、延迟和工程落地上的权衡，强调 KV 复用已演变为存储、传输和质量共同约束的系统问题。
