🏷️ CSA

DeepSeek-V4 工程权衡分析：1M 上下文并非无损记忆

文章深入剖析了 DeepSeek-V4 如何通过 HCA、CSA 和 SWA 三通道并行架构，将 KV Cache 压缩至基线的 2%，从而实现工程上可行的 100 万 token 上下文。然而，这种极致的压缩是有代价的：MRCR 8-needle 测试准确率在 1M 长度下显著下降至 0.59。文章指出，V4 通过牺牲检索精度换取了推理成本的数量级降低，是一种‘有损的 1M’，并明确论证了该设计原理上无法完全替代 RAG 系统。

本周顶级 AI 论文综述：DeepSeek V4 与自进化智能体

本周综述重点介绍了 DeepSeek V4，这是首个默认支持百万 token 上下文的开源模型系列，通过 CSA/HCA 混合注意力机制和领域专家后训练技术，在推理性能上媲美 GPT-5.2。此外，还涵盖了 Apple 的 Mamba 架构知识蒸馏方法、Autogenesis 自进化智能体协议，以及 Skill-RAG 失败感知检索系统。