图解 KV Cache——DS V4.1-Flash的制胜秘密
本文图解 DeepSeek V4.1-Flash 如何将单 token 全局 KV Cache 从 V1 的 389KB 压缩至 890 字节。文章先介绍 KV Cache 原理与显存瓶颈，再梳理 GQA、MLA、量化、稀疏注意力、跨层复用等六次关键突破，最后详解 V4.1 在架构、精度、部署三层的联合优化，包括 CED、CSA2 三模式、层级稀疏索引器与 FP4 量化，并给出 890 字节的推导过程。
相关文档
DeepSeek V4.1 Flash：架构学习笔记
本文是 DeepSeek V4.1 Flash 的架构学习笔记。文章详细解析了其 Causal Encoder-Decoder（CED）结构，该结构通过前后半段网络的不对称计算减少长输入处理成本。核心创新在于 KV 缓存压缩：通过 CSA2 跨层共享全局 KV、FP4 量化、分层稀疏检索以及 SWA 有界回放等设计，将全局 KV 降至约 890 字节/token，持久化缓存约为上一代的 1/8。文章还讨论了这些设计如何协同工作，使长上下文在 Agent 场景下更可负担。
DeepSeek-V4.1-Flash 技术报告：将 KV 缓存压缩推向极限，重构预填充、缓存与部署的成本结构
本文深度解读 DeepSeek-V4.1-Flash 技术报告，该模型通过 CED 不对称编码器-解码器架构、CSA2 跨层稀疏注意力复用、FP4 主 KV 量化及 SWA Bounded Replay 近似恢复四项设计，将常驻 HBM 的全局 KV 缓存降至 890 bytes/token（约为上一代四分之一），持久化缓存降至八分之一。文章详细解析各项技术的原理与协作机制，澄清了对压缩数字的常见误读，评估模型能力变化，并与 PagedAttention、MiniCache 等已有 KV 压缩路线对比，指出该工作将缓存压缩从算法点推进为面向百万 token 长程 agent 场景的系统级共同设计，同时讨论其证据强度与局限。
大开眼界：把 DeepSeek V4.1 Flash 的 Causal Encoder-Decoder 思路移植到 Qwen3-8B
文章介绍了一项实验：研究者将 DeepSeek V4.1 Flash 的 Causal Encoder-Decoder 机制移植到现有 Qwen3-8B 上，不修改原模型权重，仅外挂一个小模型近似后半层 KV Cache，使 Prefill 时间缩短近一半且输出一致。作者分析了这对本地模型部署（尤其 DGX Spark）的重大意义：长上下文首 token 等待明显降低，KV Cache 内存占用减少，Coding Agent、Computer Use Agent 等本地工作负载体感大幅提升。文章同时指出结果尚需在更多任务上验证，但认为已有模型可通过轻量近似层获得架构级推理升级。
LLM 为什么缓存 K 和 V，却通常不缓存 Q？
本文深入浅出地讲解了 LLM 推理中 KV cache 的原理。作者以长文档问答为场景，说明模型生成每个 token 时无需重复计算全部历史状态，解释了为什么缓存 K/V 而不需要缓存 Q：历史 Q 已完成对应位置计算，而 K/V 需供后续新位置读取。文章还讨论了 causal attention 的信息方向如何决定 cache 失效条件、KV cache 的显存开销计算、prefix caching 复用共同前缀的策略，以及 DeepSeek-V4.1-Flash 中 causal encoder-decoder、跨层 KV 共享与 shared KV representation 等架构优化。
vLLM x AgentX: Optimizing for Real-World Agentic Serving
本文介绍 vLLM 针对 Agentic 工作负载的服务优化方案。Agentic 流量具有多轮长会话、长上下文短输出、高前缀复用率和大量子代理调用的特点，对成本与延迟提出双重要求。在 SemiAnalysis 发布的 AgentX 基准上，vLLM 在 DeepSeek V4 Pro 上达到每 GPU 秒 130K tokens，在 MiniMax M3 上交互速度达 376 tokens/s，相比 Opus 5 API 定价有 14.6×–106× 的成本优势。文章详细阐述了数据平面的混合 KV cache 管理与分层卸载、执行平面的并行与内核优化，以及控制平面的 P/D 分离调度等全栈优化方法。
LLM 注意力机制详解：从 Self-Attention 到 MLA
文章系统讲解了 Transformer 中各类注意力机制的演进：从自注意力、因果注意力、交叉注意力的基础概念，到 Multi-Head Attention（MHA）的表达力与显存代价，再到 MQA 通过共享 KV 头缩减缓存、GQA 在质量与内存间取得平衡成为主流、DeepSeek 提出的 MLA 通过低秩潜空间压缩 KV 缓存，以及 FlashAttention 通过改变内存访问方式优化计算效率。核心驱动力是 KV cache 的显存约束：长上下文大模型的注意力状态存储可与模型权重相当。每种机制都是为了解决前一设计的缺陷而诞生。
DeepSeek V4是怎么训练出来的？58页论文深入解读
文章深入解读了DeepSeek V4论文，指出其核心价值在于将百万上下文、Agent原生能力与低价格结合，抬高了AI应用的地板。技术层面，V4通过mHC稳定残差连接，采用CSA+HCA混合注意力机制解决长上下文算力难题，并用Muon优化器替代AdamW。此外，文章还详细介绍了其1.6T参数量的训练稳定性技巧、反AI坍缩的数据构建以及基于“Specialist + OPD”的后训练范式转变。
推理是训练的 12 倍，可一块卡生成时只跑出 5% 的算力
文章基于 YC Paper Club 播客，剖析 LLM 推理成本真相：按两年模型寿命摊算，推理总算力约为训练的 12 倍。decode 阶段 MFU 仅 5%，瓶颈在显存带宽而非算力。DeepSeek 通过 KV cache 保留 72 小时、radix attention、零开销调度等手段将缓存命中率做到 96%，实现 38 美元一卡时、80% 毛利。文章还讨论了 SSM 等被低估的模型结构、服务商质量参差（同一模型不同服务商差距超开源闭源差距）以及开源推理生态的规模，指出推理成本优化才是 LLM 竞争的胜负手。
DS Bot开源了，那Grok Bot 和 DS Bot，到底该选哪个？
文章对比了社区开源的 DS Bot（DeepSeek-Bot）与 Grok Bot 两款多角色 AI 助手。核心差异在于'动手能力'：Grok Bot 提供托管云电脑，可操作浏览器、跨网站执行任务且合盖继续运行；DS Bot 内置浏览器仅能读网页，但支持自选模型、MCP/Skills 扩展和可检查的 Markdown 记忆。文章从网页操作、模型控制权、数据与权限、成本等维度给出选购建议：不想维护、需要网页自动化选 Grok Bot；已有 API、重视控制权选 DS Bot。作者建议先用一个每周固定任务实测，再决定是否扩展。
开源和 DevRel，是我的本命坑
作者leonliuzx回顾了自己与开源和开发者关系（DevRel）结缘的历程：初中开始在GitHub上折腾代码，2023年通过AGI Playground参与无障碍AI项目'声桥AI语训'，之后深入书生浦语、飞桨等社区做助教、写教程、贡献文档。2024年底加入百度从事社区运营实习并转正，组织Hackathon活动、培养贡献者，甚至与李彦宏共进晚餐。工作之余还发起了OMDSH和OpenAIGames等独立社区。作者将开源社区比作同好群，认为因纯粹热爱而聚集的感觉非常棒，并庆幸自己在这个年纪找到了愿意长期投入的热爱。
AI 的流量超过人类之后，搜索也要重做一遍
Cloudflare 数据显示 AI 自动化流量首次超过人类（57.5% vs 42.5%）。文章分析搜索用户从人、到大模型、再到 Agent 的三次演变，指出 Agent 场景下搜索的三大卡点：结果需可直接用、信源要可信、速度要快。腾讯「元宝搜索」通过提供完整正文、接入 157 个权威信源、索引期压缩网页为 100 token 支持 KV Cache 复用等优化，使 Agent 完成任务的平均搜索调用从 8 次降至 5 次。作者实测 9 个品类 31 条 query，认为其强项为权威性、时效性和正文提供能力，适合国内 Agent 开发者，但学术论文、生活服务等场景需配合垂类 API。文章最后介绍了三种接入方式与按量计费价格。
发布前我就测过的那只太空兔（Space Bunny），现在叫 MiniMax M3.1 Flash
作者在 MiniMax M3.1 Flash 还以匿名模型 Space Bunny 身份活跃时，用自己维护的 300 题封闭测试集（HumanEval+/MBPP+ 代码题与 MMLU-Pro 推理题）进行了评测，匿名期得 240 分。正式版发布后用同一套题复测得 246 分，两版表现几乎一致，主要提升在代码题。代码能力与 DeepSeek V4.1 Flash-1017 基本打平；官方数据显示其在企业流程自动化和操作电脑两项为国产第一，且成本显著低于 Claude Opus 5。短板是困难推理。整套 300 题成本仅一元出头，性价比突出。
