文章介绍 DeepSeek V4.1 Flash 大规模推理系统的部署实践与开源推理框架 DeepInfer。系统设定三大目标：兼容多厂商计算芯片、基于通用硬件组织 Prefill 与 Decode（8 卡机 Prefill、64-128 卡超节点 Decode）、支持 KVCache 保留 72 小时以上以实现上下文复用、减少冗余计算。团队通过在计算、通信、调度与存储上的持续优化，在满足延迟要求下提升有效吞吐。DeepInfer 集成高性能算子与深度优化推理引擎，支持分布式推理、投机解码、SWA Bounded Replay 和结构化输出等能力。目前单集群服务吞吐达每天 155 万亿 tokens，整体收入为每卡每小时 38 美元（按低谷价格计）。
本期早报聚焦三条主线：一是 DeepSeek 全面开源内部推理框架 DeepInfer 与生产级 Token 编解码组件 deepseek-recipe，覆盖分布式推理、推测解码、结构化输出等能力，兼容英伟达与昇腾平台；二是 Google 为 vLLM 和 SGLang 推出原生 PyTorch TPU 后端，通过 TorchTPU、分层缓存与 TPU Sync 优化多轮 Agent 场景下的推理性能；三是 Anthropic 团队分享 Claude 如何从问答助手成长为承担团队职责的协作伙伴，涵盖追踪表维护、内部应用开发与会议协调等案例。速览部分还介绍了小红书 ROSS 训练方法、FairStress 公平性评估基准、Dyna Robotics 机器人 Scaling Law 及 SGLang 低延迟模式。
本文面向第一次在 Hugging Face 下载本地大模型的用户，讲解如何理解各种参数和名词。作者提出把整条链路分为五层：硬件资源、模型本身、权重精度与量化、文件格式、推理框架。文章依次解释了显存与统一内存的区别、参数量与文件大小的估算、Dense 与 MoE 架构差异、Base/Instruct/VL 等版本选择、BF16/FP8/4bit 等精度概念、GGUF 格式与量化方案、Safetensors 分片与配置文件、Hugging Face 页面阅读顺序，以及 MLX、llama.cpp、Ollama、LM Studio 等工具的关系，帮助新手不再凭文件名猜测下载。
