Kimi K3 memory savings vs Jevon's paradox
本文深入分析了Kimi K3通过Kimi Delta Attention (KDA)技术实现的内存节省突破，对比了传统MLA和DeepSeek的架构，讨论了其在长上下文场景中的优势及对行业的影响。
相关文档
DeepSeek-V4 工程权衡分析：1M 上下文并非无损记忆
文章深入剖析了 DeepSeek-V4 如何通过 HCA、CSA 和 SWA 三通道并行架构，将 KV Cache 压缩至基线的 2%，从而实现工程上可行的 100 万 token 上下文。然而，这种极致的压缩是有代价的：MRCR 8-needle 测试准确率在 1M 长度下显著下降至 0.59。文章指出，V4 通过牺牲检索精度换取了推理成本的数量级降低，是一种‘有损的 1M’，并明确论证了该设计原理上无法完全替代 RAG 系统。
Cerebras 如何部署万亿参数前沿模型
Cerebras 团队详细介绍了如何在 WSE-3T 晶圆级芯片上部署万亿参数大模型。以 3 万亿参数的开源模型 Kimi K3 为例，团队通过 4-bit 权重量化和 8-bit KV 缓存计算每层约 16 GB 的显存需求，将模型切分到 59 片晶圆上：每个 dense 层独占一片晶圆，每片可放两个 linear-attention 层。晶圆间通过以太网 RDMA 传递激活值，权重无需移动。系统以流水线方式运行，各阶段可同时处理不同请求和微批次，从而实现 1000-2000+ tokens/秒的推理速度。
DeepSeek-V4.1-Flash 技术报告：将 KV 缓存压缩推向极限，重构预填充、缓存与部署的成本结构
本文深度解读 DeepSeek-V4.1-Flash 技术报告，该模型通过 CED 不对称编码器-解码器架构、CSA2 跨层稀疏注意力复用、FP4 主 KV 量化及 SWA Bounded Replay 近似恢复四项设计，将常驻 HBM 的全局 KV 缓存降至 890 bytes/token（约为上一代四分之一），持久化缓存降至八分之一。文章详细解析各项技术的原理与协作机制，澄清了对压缩数字的常见误读，评估模型能力变化，并与 PagedAttention、MiniCache 等已有 KV 压缩路线对比，指出该工作将缓存压缩从算法点推进为面向百万 token 长程 agent 场景的系统级共同设计，同时讨论其证据强度与局限。
DeepSeek-V4.1-Flash on Fireworks: Astra-level DeepSWE at 1/15th the cost
Fireworks 发布的 DeepSeek-V4.1-Flash 在 DeepSWE 基准测试中以每任务 $0.43 的成本达到 GPT-6 Astra 级别的编码准确率，价格仅为 1/15。该模型采用 552B MoE 编码器-解码器分离激活架构（输入 8B、输出 16B 活跃参数），配合 KV Cache 优化（HBM 占用降至 1/4），在 Terminal-Bench 2.1 上以 12x 更低成本逼近 Astra。但在 HLE 学术推理上落后于 Astra；oracle 路由测试显示两模型组合可超越 Astra 单模型表现，凸显多模型路由系统的价值。
图解 KV Cache——DS V4.1-Flash的制胜秘密
本文图解 DeepSeek V4.1-Flash 如何将单 token 全局 KV Cache 从 V1 的 389KB 压缩至 890 字节。文章先介绍 KV Cache 原理与显存瓶颈，再梳理 GQA、MLA、量化、稀疏注意力、跨层复用等六次关键突破，最后详解 V4.1 在架构、精度、部署三层的联合优化，包括 CED、CSA2 三模式、层级稀疏索引器与 FP4 量化，并给出 890 字节的推导过程。
大开眼界：把 DeepSeek V4.1 Flash 的 Causal Encoder-Decoder 思路移植到 Qwen3-8B
文章介绍了一项实验：研究者将 DeepSeek V4.1 Flash 的 Causal Encoder-Decoder 机制移植到现有 Qwen3-8B 上，不修改原模型权重，仅外挂一个小模型近似后半层 KV Cache，使 Prefill 时间缩短近一半且输出一致。作者分析了这对本地模型部署（尤其 DGX Spark）的重大意义：长上下文首 token 等待明显降低，KV Cache 内存占用减少，Coding Agent、Computer Use Agent 等本地工作负载体感大幅提升。文章同时指出结果尚需在更多任务上验证，但认为已有模型可通过轻量近似层获得架构级推理升级。
LLM 为什么缓存 K 和 V，却通常不缓存 Q？
本文深入浅出地讲解了 LLM 推理中 KV cache 的原理。作者以长文档问答为场景，说明模型生成每个 token 时无需重复计算全部历史状态，解释了为什么缓存 K/V 而不需要缓存 Q：历史 Q 已完成对应位置计算，而 K/V 需供后续新位置读取。文章还讨论了 causal attention 的信息方向如何决定 cache 失效条件、KV cache 的显存开销计算、prefix caching 复用共同前缀的策略，以及 DeepSeek-V4.1-Flash 中 causal encoder-decoder、跨层 KV 共享与 shared KV representation 等架构优化。
DeepSeek V4.1 Flash：架构学习笔记
本文是 DeepSeek V4.1 Flash 的架构学习笔记。文章详细解析了其 Causal Encoder-Decoder（CED）结构，该结构通过前后半段网络的不对称计算减少长输入处理成本。核心创新在于 KV 缓存压缩：通过 CSA2 跨层共享全局 KV、FP4 量化、分层稀疏检索以及 SWA 有界回放等设计，将全局 KV 降至约 890 字节/token，持久化缓存约为上一代的 1/8。文章还讨论了这些设计如何协同工作，使长上下文在 Agent 场景下更可负担。
vLLM x AgentX: Optimizing for Real-World Agentic Serving
本文介绍 vLLM 针对 Agentic 工作负载的服务优化方案。Agentic 流量具有多轮长会话、长上下文短输出、高前缀复用率和大量子代理调用的特点，对成本与延迟提出双重要求。在 SemiAnalysis 发布的 AgentX 基准上，vLLM 在 DeepSeek V4 Pro 上达到每 GPU 秒 130K tokens，在 MiniMax M3 上交互速度达 376 tokens/s，相比 Opus 5 API 定价有 14.6×–106× 的成本优势。文章详细阐述了数据平面的混合 KV cache 管理与分层卸载、执行平面的并行与内核优化，以及控制平面的 P/D 分离调度等全栈优化方法。
LLM 注意力机制详解：从 Self-Attention 到 MLA
文章系统讲解了 Transformer 中各类注意力机制的演进：从自注意力、因果注意力、交叉注意力的基础概念，到 Multi-Head Attention（MHA）的表达力与显存代价，再到 MQA 通过共享 KV 头缩减缓存、GQA 在质量与内存间取得平衡成为主流、DeepSeek 提出的 MLA 通过低秩潜空间压缩 KV 缓存，以及 FlashAttention 通过改变内存访问方式优化计算效率。核心驱动力是 KV cache 的显存约束：长上下文大模型的注意力状态存储可与模型权重相当。每种机制都是为了解决前一设计的缺陷而诞生。
用 Kimi K3 构建你的第一家 AI 原生公司
作者提出 Company Foundry 项目：用 Kimi K3 作为中央智能单元，将公司简介编译成可移植的组织方法规范，生成上下文、技能、路由、策略、证据记录等运行时配置。核心理念是公司不是一群 agent，而是决定哪些工作重要、agent 能做什么、必须留下什么的方法。模型可租可换，但运营方法归公司所有。harness 层为 agent 工作赋予结构，通过契约管理所有权、任务准入、来源策略和模型路由，让工作可复现、证据可追溯，公司知识不随模型更换而流失。
一文科普 主流 LLM 注意力机制
本文系统科普了主流LLM的注意力机制，指出其并非简单的单线升级，而是可组合的四个维度：KV缓存表示、注意力连接范围、序列混合器及位置稳定化技术。文章详细解析了MHA、MQA、GQA、MLA等机制对显存带宽的影响，以及全注意力、稀疏注意力、线性注意力等在降低长序列计算复杂度上的权衡。最后通过对比DeepSeek、Qwen、Kimi等代表模型，澄清了常见误区，为机制选择提供了准确的技术指导。
