文章深入分析Engram技术：将序列嵌入存储到可卸载至DRAM的嵌入表中，节省HBM内存、减少FLOPs，从而降低AI推理成本。在参数和训练预算相同的对照实验中，Engram-27B相比MoE-27B不仅没有降低性能，反而显著提升（MMLU从57.4升至60.4）。作者指出Engram参数分配存在约20-25%的最优区间，过高会挤占MoE专家参数损害性能，且不能完全替代FFN（FFN负责概念运算）。结论认为Engram确实是一种'免费午餐'，DeepSeek、美团LongCat、Qwen等已采纳该技术。
文章基于 YC Paper Club 播客，剖析 LLM 推理成本真相：按两年模型寿命摊算，推理总算力约为训练的 12 倍。decode 阶段 MFU 仅 5%，瓶颈在显存带宽而非算力。DeepSeek 通过 KV cache 保留 72 小时、radix attention、零开销调度等手段将缓存命中率做到 96%，实现 38 美元一卡时、80% 毛利。文章还讨论了 SSM 等被低估的模型结构、服务商质量参差（同一模型不同服务商差距超开源闭源差距）以及开源推理生态的规模，指出推理成本优化才是 LLM 竞争的胜负手。
文章以地铁图为比喻，为大模型学习者规划了一条清晰的学习路线。主干线按演进顺序设置八站：前置基础、Transformer、GPT-2（强调亲手实现作为锚点）、预训练、ChatGPT 时刻（RLHF）、LLaMA、MoE 稀疏专家、推理模型（o1/R1），终点是能独立读懂新论文。五条支线按兴趣选修：推理优化（KV Cache、FlashAttention、量化）、训练（Scaling Law、分布式并行）、对齐（SFT、LoRA、DPO、GRPO）、架构（RMSNorm、RoPE、MLA）、应用（RAG、Agent）。最后给出建议：GPT-2 必须亲手写一遍，主干加一至两条支线即可入门，学习原理时动手推算。
DeepSeek 发布了 DeepSeek-V4.1-Flash-1017 小版本更新，作者在推理、代码、Agent、图像理解等 8 个实际场景中与 Opus 5.5 进行同题对比测试。测试包括网页小游戏开发、落地页设计、讲解动画、视频渲染、数据分析、草图转网页和小说写作。结果显示该 Flash 版本在功能完整度、数据分析、交互还原等方面表现出色，多项能力已接近 Opus 5.5。新版本采用 552B 参数 MoE 架构，MIT 协议开源，同时开放了 Search 和 Fetch 搜索接口。
这是一篇本地部署 LLM 的完整入门教程。文章首先说明开源模型（Qwen、DeepSeek、GLM 等）已接近闭源前沿约四个月，而 API 订阅配额却在缩水，因此本地部署的价值日益凸显。教程从 Step 0 开始：检查内存、按内存三分之二规则选择模型、安装 Ollama 并运行第一个模型。随后解释了本地模型的核心优势（数据隐私、零边际成本、不受限）与局限（性能不及闭源前沿），分析了订阅补贴经济的不可持续性，并指导读者根据任务需求选择硬件，强调容量决定装得下、带宽决定跑得快、利用率决定是否划算。
The Information 报道称，华为最早将于 2026 年 Q4 向 DeepSeek 大规模交付 16 万枚老款 950DT 芯片，用于内蒙古新数据中心，总价值约 26 亿美元，将是已知规模最大的华为 AI 芯片集群之一。文章分析指出，DeepSeek V4 延迟发布与华为芯片供应延迟有关，确定性比性价比更重要。华为昇腾芯片 2026 年实际产量受 HBM 短缺制约预计仅 20-30 万枚，远低于 75 万目标，封装产能也紧张。DeepSeek 同时自研推理芯片以避免依赖外部供应。文章认为中国大模型厂商在算力缺口下仍紧咬美国，值得尊重。
文章探讨 TypeSafe 公司 Jev 决策 API 背后可能的基础模型架构，提出两种假设：一是 BERT 风格的双向编码器，二是去掉生成循环、直接输出决策概率的因果解码器。作者引用 Archer Hume 基于约一万次 API 调用的逆向分析，认为其可能是带共享状态计算、独立问题分支和直接概率读出的因果 Transformer，甚至可能是 MoE 架构，但其研究无法区分编码器与解码器。文章还通过 OpenJev 等开源项目（基于冻结的 Qwen3.5-4B 权重）证明使用因果模型骨干做直接决策打分在技术上可行，并讨论了因果注意力、前缀缓存等工程优势。作者强调这些都是架构假设，不能确定 Jev 的真实权重来源。
本文系统讲解 MoE（混合专家）模型的推理服务工程原理。从稠密 Transformer 的 FFN 与 MoE 层的区别入手，介绍路由器如何为每个 token 选择专家、dispatch 和 combine 过程如何将路由决策聚合成专家专属矩阵，以及 grouped GEMM 如何减少内核启动开销。文章还涵盖专家并行、拓扑感知部署、显存需求（常驻参数 vs 激活参数）、负载不均衡、容量限制和量化等话题，并分析计算、显存带宽与互连流量之间的性能瓶颈权衡，以 Qwen3-30B-A3B 为实例说明。
Fireworks 发布的 DeepSeek-V4.1-Flash 在 DeepSWE 基准测试中以每任务 $0.43 的成本达到 GPT-6 Astra 级别的编码准确率，价格仅为 1/15。该模型采用 552B MoE 编码器-解码器分离激活架构（输入 8B、输出 16B 活跃参数），配合 KV Cache 优化（HBM 占用降至 1/4），在 Terminal-Bench 2.1 上以 12x 更低成本逼近 Astra。但在 HLE 学术推理上落后于 Astra；oracle 路由测试显示两模型组合可超越 Astra 单模型表现，凸显多模型路由系统的价值。
本文图解 DeepSeek V4.1-Flash 如何将单 token 全局 KV Cache 从 V1 的 389KB 压缩至 890 字节。文章先介绍 KV Cache 原理与显存瓶颈，再梳理 GQA、MLA、量化、稀疏注意力、跨层复用等六次关键突破，最后详解 V4.1 在架构、精度、部署三层的联合优化，包括 CED、CSA2 三模式、层级稀疏索引器与 FP4 量化，并给出 890 字节的推导过程。
本文深入浅出地讲解了 LLM 推理中 KV cache 的原理。作者以长文档问答为场景，说明模型生成每个 token 时无需重复计算全部历史状态，解释了为什么缓存 K/V 而不需要缓存 Q：历史 Q 已完成对应位置计算，而 K/V 需供后续新位置读取。文章还讨论了 causal attention 的信息方向如何决定 cache 失效条件、KV cache 的显存开销计算、prefix caching 复用共同前缀的策略，以及 DeepSeek-V4.1-Flash 中 causal encoder-decoder、跨层 KV 共享与 shared KV representation 等架构优化。
作者利用蚂蚁百灵多模态大模型Ling-3.0-flash-VL开发了Course Rebuilder，将B站收藏的《从函数到Transformer架构》网课重构为10个可交互实验，涵盖从函数拟合到Transformer组装的完整因果链。模型能精准解析视频片段，提取讲解概念、画面证据和先修知识，并给出交互改造建议，推理延迟仅1.1-1.3秒。该工具将被动听课转化为主动探索，支持跳转原片和AI助教答疑，显著提升学习吸收率。
本文是 DeepSeek V4.1 Flash 的架构学习笔记。文章详细解析了其 Causal Encoder-Decoder（CED）结构，该结构通过前后半段网络的不对称计算减少长输入处理成本。核心创新在于 KV 缓存压缩：通过 CSA2 跨层共享全局 KV、FP4 量化、分层稀疏检索以及 SWA 有界回放等设计，将全局 KV 降至约 890 字节/token，持久化缓存约为上一代的 1/8。文章还讨论了这些设计如何协同工作，使长上下文在 Agent 场景下更可负担。
