DeepSeek-V4 工程权衡分析：1M 上下文并非无损记忆
文章深入剖析了 DeepSeek-V4 如何通过 HCA、CSA 和 SWA 三通道并行架构，将 KV Cache 压缩至基线的 2%，从而实现工程上可行的 100 万 token 上下文。然而，这种极致的压缩是有代价的：MRCR 8-needle 测试准确率在 1M 长度下显著下降至 0.59。文章指出，V4 通过牺牲检索精度换取了推理成本的数量级降低，是一种‘有损的 1M’，并明确论证了该设计原理上无法完全替代 RAG 系统。
相关文档
本周顶级 AI 论文综述：DeepSeek V4 与自进化智能体
本周综述重点介绍了 DeepSeek V4，这是首个默认支持百万 token 上下文的开源模型系列，通过 CSA/HCA 混合注意力机制和领域专家后训练技术，在推理性能上媲美 GPT-5.2。此外，还涵盖了 Apple 的 Mamba 架构知识蒸馏方法、Autogenesis 自进化智能体协议，以及 Skill-RAG 失败感知检索系统。
DeepSeek-V4.1-Flash 技术报告：将 KV 缓存压缩推向极限，重构预填充、缓存与部署的成本结构
本文深度解读 DeepSeek-V4.1-Flash 技术报告，该模型通过 CED 不对称编码器-解码器架构、CSA2 跨层稀疏注意力复用、FP4 主 KV 量化及 SWA Bounded Replay 近似恢复四项设计，将常驻 HBM 的全局 KV 缓存降至 890 bytes/token（约为上一代四分之一），持久化缓存降至八分之一。文章详细解析各项技术的原理与协作机制，澄清了对压缩数字的常见误读，评估模型能力变化，并与 PagedAttention、MiniCache 等已有 KV 压缩路线对比，指出该工作将缓存压缩从算法点推进为面向百万 token 长程 agent 场景的系统级共同设计，同时讨论其证据强度与局限。
长上下文缓存能复用，为什么一压缩就失真？
文章探讨了 RAG 场景中 KV Cache 复用的挑战。现有方法在长上下文下面临存储与传输瓶颈，且直接复用或简单压缩会导致位置偏移和误差放大。C2KV 通过轻量级 Extractor 将文档压缩为可拼接、位置解耦的 KV 表示，实现了显著推理加速。文章分析了其在质量、延迟和工程落地上的权衡，强调 KV 复用已演变为存储、传输和质量共同约束的系统问题。
Kimi K3 memory savings vs Jevon's paradox
本文深入分析了Kimi K3通过Kimi Delta Attention (KDA)技术实现的内存节省突破，对比了传统MLA和DeepSeek的架构，讨论了其在长上下文场景中的优势及对行业的影响。
全世界第一个记忆原生大模型 MemT-1.0 上线
MemOS 团队发布全球首个“记忆原生”大模型 MemT-1.0，将记忆能力直接训练进模型权重，取代 RAG、Mem0 等外挂记忆方案。其思路是不改底座、参数冻结，仅在部分层并联约 1.05 亿参数的记忆块，通过蒸馏训练让模型自学“什么该记、什么该忘、怎么取用”，优化目标从检索命中率改为任务答对率。交付物包括通用模型权重（会记笔记的大脑）和用户专属记忆状态文件（仅 40 MiB 的笔记本）。数据显示其 40 MiB 记忆答题成功率 69.73%，略高于全量上下文的 69.13%，存储缩小 66 倍、首字响应快 4.19 倍。已在 Hugging Face 和 GitHub 开源，被视为开启模型“在使用中变强”的第四条技术路线。
杀死 2023 RAG 的，是更好的 RAG：9 位检索专家的前沿实战共识「Beyond Naive RAG」
本文介绍 Hamel Husain 主编的演讲合集《Beyond Naive RAG》，汇集 9 位一线检索专家的共识：朴素 RAG（切块+单向量+余弦检索）已失效，但检索增强生成本身远未死亡。全书论证三条主线：长上下文不能替代检索（Context Rot 证明上下文越长模型越不可靠）；评估先于优化（公开基准已污染，须建自有黄金数据集）；复杂性不是目的（慎用图数据库等过度工程）。涵盖 ColBERT 后期交互、推理增强检索（Promptriever、Rank1）、多重表示与智能路由、FreshStack 评估指标等前沿方法，提出'评估驱动+多表示+推理增强+克制架构'的实践观。
Why LLMs can't write well and how Sherpa fixes it
Pocket FM 创始人 Rohan Nayak 分享其 AI 写作系统 Sherpa 的构建历程。通用 LLM 因训练目标（逻辑推理、快速给答案）与创意写作需求（张力、情感、悬念、节奏变化）相悖而写不好故事，且缺乏清晰的强化学习成功信号。微调现成模型的尝试均告失败后，团队自研 Sherpa harness，由规划器、叙事世界模型（NWM，维护结构化故事状态与记忆）和散文引擎三大组件构成，并利用 Pocket FM 亿级用户的收听数据做强化学习，用户留存与完听率成为写作质量的天然反馈信号。盲测中 Sherpa 在 65.6%-97.1% 的配对比较中胜出，NWM 多跳检索准确率达 86.7%，成本约为同类方案的 1/21。
DeepSeek-V4.1-Flash on Fireworks: Astra-level DeepSWE at 1/15th the cost
Fireworks 发布的 DeepSeek-V4.1-Flash 在 DeepSWE 基准测试中以每任务 $0.43 的成本达到 GPT-6 Astra 级别的编码准确率，价格仅为 1/15。该模型采用 552B MoE 编码器-解码器分离激活架构（输入 8B、输出 16B 活跃参数），配合 KV Cache 优化（HBM 占用降至 1/4），在 Terminal-Bench 2.1 上以 12x 更低成本逼近 Astra。但在 HLE 学术推理上落后于 Astra；oracle 路由测试显示两模型组合可超越 Astra 单模型表现，凸显多模型路由系统的价值。
DeepSeek kernel 工程师自述：亲手把自己的手艺变成过时技艺，以及微信开源企业 Agent 框架 WeKnora
文章包含两条内容：一是 DeepSeek kernel 工程师 Shengyu Liu 的长文，讲述 AI 已能自主分析 CUDA/PTX/SASS 并优化 kernel，他预判半年到一年内 AI 写的 kernel 可能超过自己，工作将从亲手写代码变为驾驶 Agent，并担忧未来社会走向共产主义或赛博朋克两极，因此选择留在 DeepSeek 推动开源 AI。二是微信团队开源的 WeKnora 框架，已从 RAG 系统进化为企业 Agent 基础设施，提供知识处理、ReAct Agent、Sandbox 执行环境、长期记忆和 Auto-Wiki 能力，代表 RAG 向企业 Agent Context + Runtime 的迁移趋势。
图解 KV Cache——DS V4.1-Flash的制胜秘密
本文图解 DeepSeek V4.1-Flash 如何将单 token 全局 KV Cache 从 V1 的 389KB 压缩至 890 字节。文章先介绍 KV Cache 原理与显存瓶颈，再梳理 GQA、MLA、量化、稀疏注意力、跨层复用等六次关键突破，最后详解 V4.1 在架构、精度、部署三层的联合优化，包括 CED、CSA2 三模式、层级稀疏索引器与 FP4 量化，并给出 890 字节的推导过程。
大开眼界：把 DeepSeek V4.1 Flash 的 Causal Encoder-Decoder 思路移植到 Qwen3-8B
文章介绍了一项实验：研究者将 DeepSeek V4.1 Flash 的 Causal Encoder-Decoder 机制移植到现有 Qwen3-8B 上，不修改原模型权重，仅外挂一个小模型近似后半层 KV Cache，使 Prefill 时间缩短近一半且输出一致。作者分析了这对本地模型部署（尤其 DGX Spark）的重大意义：长上下文首 token 等待明显降低，KV Cache 内存占用减少，Coding Agent、Computer Use Agent 等本地工作负载体感大幅提升。文章同时指出结果尚需在更多任务上验证，但认为已有模型可通过轻量近似层获得架构级推理升级。
LLM 为什么缓存 K 和 V，却通常不缓存 Q？
本文深入浅出地讲解了 LLM 推理中 KV cache 的原理。作者以长文档问答为场景，说明模型生成每个 token 时无需重复计算全部历史状态，解释了为什么缓存 K/V 而不需要缓存 Q：历史 Q 已完成对应位置计算，而 K/V 需供后续新位置读取。文章还讨论了 causal attention 的信息方向如何决定 cache 失效条件、KV cache 的显存开销计算、prefix caching 复用共同前缀的策略，以及 DeepSeek-V4.1-Flash 中 causal encoder-decoder、跨层 KV 共享与 shared KV representation 等架构优化。
