DeepSeek V4是怎么训练出来的？58页论文深入解读
文章深入解读了DeepSeek V4论文，指出其核心价值在于将百万上下文、Agent原生能力与低价格结合，抬高了AI应用的地板。技术层面，V4通过mHC稳定残差连接，采用CSA+HCA混合注意力机制解决长上下文算力难题，并用Muon优化器替代AdamW。此外，文章还详细介绍了其1.6T参数量的训练稳定性技巧、反AI坍缩的数据构建以及基于“Specialist + OPD”的后训练范式转变。
相关文档
DeepSeek 悄悄更新了 Flash，硬刚 Opus 5.5 简直夯爆了
DeepSeek 发布了 DeepSeek-V4.1-Flash-1017 小版本更新，作者在推理、代码、Agent、图像理解等 8 个实际场景中与 Opus 5.5 进行同题对比测试。测试包括网页小游戏开发、落地页设计、讲解动画、视频渲染、数据分析、草图转网页和小说写作。结果显示该 Flash 版本在功能完整度、数据分析、交互还原等方面表现出色，多项能力已接近 Opus 5.5。新版本采用 552B 参数 MoE 架构，MIT 协议开源，同时开放了 Search 和 Fetch 搜索接口。
DeepSeek-V4.1-Flash 技术报告：将 KV 缓存压缩推向极限，重构预填充、缓存与部署的成本结构
本文深度解读 DeepSeek-V4.1-Flash 技术报告，该模型通过 CED 不对称编码器-解码器架构、CSA2 跨层稀疏注意力复用、FP4 主 KV 量化及 SWA Bounded Replay 近似恢复四项设计，将常驻 HBM 的全局 KV 缓存降至 890 bytes/token（约为上一代四分之一），持久化缓存降至八分之一。文章详细解析各项技术的原理与协作机制，澄清了对压缩数字的常见误读，评估模型能力变化，并与 PagedAttention、MiniCache 等已有 KV 压缩路线对比，指出该工作将缓存压缩从算法点推进为面向百万 token 长程 agent 场景的系统级共同设计，同时讨论其证据强度与局限。
图解 KV Cache——DS V4.1-Flash的制胜秘密
本文图解 DeepSeek V4.1-Flash 如何将单 token 全局 KV Cache 从 V1 的 389KB 压缩至 890 字节。文章先介绍 KV Cache 原理与显存瓶颈，再梳理 GQA、MLA、量化、稀疏注意力、跨层复用等六次关键突破，最后详解 V4.1 在架构、精度、部署三层的联合优化，包括 CED、CSA2 三模式、层级稀疏索引器与 FP4 量化，并给出 890 字节的推导过程。
DeepSeek V4.1 Flash：架构学习笔记
本文是 DeepSeek V4.1 Flash 的架构学习笔记。文章详细解析了其 Causal Encoder-Decoder（CED）结构，该结构通过前后半段网络的不对称计算减少长输入处理成本。核心创新在于 KV 缓存压缩：通过 CSA2 跨层共享全局 KV、FP4 量化、分层稀疏检索以及 SWA 有界回放等设计，将全局 KV 降至约 890 字节/token，持久化缓存约为上一代的 1/8。文章还讨论了这些设计如何协同工作，使长上下文在 Agent 场景下更可负担。
Post-training RLM agents for end-to-end M&A Diligence
Harvey与Baseten合作，为M&A尽职调查构建了递归语言模型（RLM）harness：将整个dataroom（最多80M token）加载进Python REPL，由根代理协调子代理分工审阅文档。在LAB Diligence基准上，该harness使七个模型的平均评分标准通过率提升39.1个百分点。此外，通过强化学习对Qwen3.5-122B-A10B编排模型进行后训练，将通过率从29.9%提升至63.0%。结果表明，任务专用harness内的后训练是文档密集型法律工作的可行路径，团队正在扩展训练GLM-5.3作为根模型。
🥇Top AI Papers of the Week
DAIR.AI 本周精选五篇 AI 论文：1）Declarative Attention，让模型在思维链中声明注意力区域，降低长上下文 KV cache 读取成本达 52%；2）Harness-of-Harness，将编码代理的执行组织为规划-开发-测试的迭代循环，实现多天无人值守开发，平均提升 52.25%；3）WikiSkill，Google 提出的技能 wiki 框架，让代理从自身运行记录中演化可迁移技能；4）SKILL.state，用显式可变执行状态替代追加式历史，使 prompt 从 O(T) 降至 O(1)，提高准确性并降低 token 消耗；5）CORAL，Meta 的代理框架在生产推荐系统上持续优化，取得真实 A/B 验证效果。
读懂大模型｜别怕，大模型的本质就是一个函数
文章以 DeepSeek 开源的 V4-Flash-Vision-Exp 为例，深入浅出地讲解大模型的本质：一个做矩阵运算的超大函数。作者介绍了模型文件结构（权重分片、config.json、tokenizer.json），并详细解析输入输出处理流程，包括文本分词、BPE 算法、Embedding、MoE 混合专家架构、概率性输出与自回归生成机制。此外还逐项解读了核心参数，如词表大小、网络层数、注意力头数、YaRN 长上下文伸缩、视觉模块和 FP8/FP4 低精度量化等，帮助读者建立对大模型原理的整体认知。
与杨植麟的第二次对话：站在无限的开端
本文是张小珺对月之暗面创始人杨植麟的第二次深度访谈，发生在Kimi K2模型发布后。文章深入探讨了AI如何通过编码能力突破“缸中之脑”，走向Agent与自我进化，以及杨植麟对技术挑战与创业心境的思考。
推理是训练的 12 倍，可一块卡生成时只跑出 5% 的算力
文章基于 YC Paper Club 播客，剖析 LLM 推理成本真相：按两年模型寿命摊算，推理总算力约为训练的 12 倍。decode 阶段 MFU 仅 5%，瓶颈在显存带宽而非算力。DeepSeek 通过 KV cache 保留 72 小时、radix attention、零开销调度等手段将缓存命中率做到 96%，实现 38 美元一卡时、80% 毛利。文章还讨论了 SSM 等被低估的模型结构、服务商质量参差（同一模型不同服务商差距超开源闭源差距）以及开源推理生态的规模，指出推理成本优化才是 LLM 竞争的胜负手。
DS Bot开源了，那Grok Bot 和 DS Bot，到底该选哪个？
文章对比了社区开源的 DS Bot（DeepSeek-Bot）与 Grok Bot 两款多角色 AI 助手。核心差异在于'动手能力'：Grok Bot 提供托管云电脑，可操作浏览器、跨网站执行任务且合盖继续运行；DS Bot 内置浏览器仅能读网页，但支持自选模型、MCP/Skills 扩展和可检查的 Markdown 记忆。文章从网页操作、模型控制权、数据与权限、成本等维度给出选购建议：不想维护、需要网页自动化选 Grok Bot；已有 API、重视控制权选 DS Bot。作者建议先用一个每周固定任务实测，再决定是否扩展。
开源和 DevRel，是我的本命坑
作者leonliuzx回顾了自己与开源和开发者关系（DevRel）结缘的历程：初中开始在GitHub上折腾代码，2023年通过AGI Playground参与无障碍AI项目'声桥AI语训'，之后深入书生浦语、飞桨等社区做助教、写教程、贡献文档。2024年底加入百度从事社区运营实习并转正，组织Hackathon活动、培养贡献者，甚至与李彦宏共进晚餐。工作之余还发起了OMDSH和OpenAIGames等独立社区。作者将开源社区比作同好群，认为因纯粹热爱而聚集的感觉非常棒，并庆幸自己在这个年纪找到了愿意长期投入的热爱。
Kimi K3.1 Pro 第一手测评：与 GPT-6 Astra 硬刚游戏开发
月之暗面发布 Kimi K3.1 Pro，3万亿参数MoE架构、100万token上下文、开源权重，API输出价格仅为GPT-6 Astra的五分之一。作者从跑分和实测两方面评估：官方xdev-bench-hard编程成功率64.5%排第二，幻觉测试同样第二，第三方智能指数全场第四、开源第一。实测中，作者用相同提示词让K3.1 Pro与GPT-6 Astra分别开发3D跳一跳和植物大战僵尸游戏，两者均一次成型无bug。Kimi耗时约10分钟但会自我验证和修正，Astra快近5倍且细节更丰富。结论：K3.1 Pro编程能力接住闭源旗舰，价格是杀手锏，适合重度Agent用户。
