文章探讨了顶级科技公司正在秘密研发的架构转变——状态空间模型（SSM）。旨在解决 Transformer 架构在长序列处理中的计算成本高和内存消耗大的问题。文章详细解析了 SSM 的工作原理、相比 LLM 的优势（线性时间复杂度、恒定内存），并展示了 NVIDIA、IBM 和 Microsoft 等公司在 Nemotron、Bamba 和 SambaY 等混合架构上的实际应用进展。
本文探讨了科技巨头如 NVIDIA、Meta 和 Microsoft 正在秘密研发的状态空间模型（SSM），旨在解决 Transformer 架构在长序列处理中的计算和内存瓶颈。文章详细介绍了 SSM 的线性复杂度优势，并列举了 NVIDIA Nemotron-H 和 IBM Bamba-9B 等混合模型如何通过替换 Attention 层来提升推理速度和降低内存消耗。此外，文中还回顾了 S4 和 Mamba 等 SSM 架构的演变，展示了 SSM 在大模型未来的巨大潜力。
本周综述重点介绍了 DeepSeek V4，这是首个默认支持百万 token 上下文的开源模型系列，通过 CSA/HCA 混合注意力机制和领域专家后训练技术，在推理性能上媲美 GPT-5.2。此外，还涵盖了 Apple 的 Mamba 架构知识蒸馏方法、Autogenesis 自进化智能体协议，以及 Skill-RAG 失败感知检索系统。