PagedAttention & RadixAttention
本文深入探讨了 PagedAttention 和 RadixAttention 两种技术。PagedAttention 通过类似操作系统的分页机制管理 GPU 内存，解决 KV Cache 的内部和外部碎片问题，显著提升并发处理能力。RadixAttention 则利用基数树索引缓存的前缀状态，实现跨请求的计算和内存复用，进一步优化推理性能。
🏷️ 推理优化
7 篇从 Kimi K3 看下一代 MoE 架构的转折点：LatentMoE
文章分析了 2026 年大模型架构的新趋势 LatentMoE。通过对比 NVIDIA Nemotron 3 Super 和 Moonshot AI Kimi K3，揭示了 LatentMoE 如何通过将 token 投影到低维潜在空间，大幅降低内存和通信开销，从而在同等推理成本下激活更多专家，提升模型性能与效率。
人工智能的工程全景（中）：推理，后训练，对齐和安全
本文是AI工程全景的中篇，深入探讨了模型训练完成后的工程化路径。首先详述了推理优化的核心手段，包括模型瘦身（量化、蒸馏、剪枝、MoE）、投机解码以及主流推理引擎（vLLM, TensorRT-LLM, SGLang）的生态格局。文章分析了成本、延迟与吞吐的“不可能三角”，并重点介绍了“测试时计算”这一范式转变，即通过在推理阶段增加计算量来动态提升模型智能。
LongCat-2.0 深度技术解读
本文对美团发布的 LongCat-2.0 万亿参数大模型进行了深度技术拆解。文章涵盖了 MoE 架构与稀疏注意力（LSA）的优化、N-gram Embedding 的应用，以及在国产算力受限情况下的 6D 并行训练工程、超节点组网、推理加速等关键技术细节。
Top Companies Are Secretly Working on This (It Will Replace LLMs)
文章探讨了顶级科技公司正在秘密研发的架构转变——状态空间模型（SSM）。旨在解决 Transformer 架构在长序列处理中的计算成本高和内存消耗大的问题。文章详细解析了 SSM 的工作原理、相比 LLM 的优势（线性时间复杂度、恒定内存），并展示了 NVIDIA、IBM 和 Microsoft 等公司在 Nemotron、Bamba 和 SambaY 等混合架构上的实际应用进展。
大厂正在秘密开发的下一代架构：状态空间模型 SSM
本文探讨了科技巨头如 NVIDIA、Meta 和 Microsoft 正在秘密研发的状态空间模型（SSM），旨在解决 Transformer 架构在长序列处理中的计算和内存瓶颈。文章详细介绍了 SSM 的线性复杂度优势，并列举了 NVIDIA Nemotron-H 和 IBM Bamba-9B 等混合模型如何通过替换 Attention 层来提升推理速度和降低内存消耗。此外，文中还回顾了 S4 和 Mamba 等 SSM 架构的演变，展示了 SSM 在大模型未来的巨大潜力。
RTX 3090 上实现 Qwen3.5-27B 模型 207 tok/s 推理速度的技术实践
文章介绍了如何通过构建独立的 C++/ggml 推测解码器，在单张 RTX 3090 (24GB) 显卡上实现了 Qwen3.5-27B (Q4_K_M) 模型的高效推理。利用 DFlash block-diffusion draft 和 DDTree 验证器，成功将峰值解码速度提升至 207.6 tok/s，较自回归基准提升约 5.46 倍，并实现了在有限显存下运行 128K 长上下文的能力。