DeepSeek V4是怎么训练出来的？58页论文深入解读 ✍ 花叔🕐 2026-04-25📦 27.6 KB 🟢 已读 𝕏 文章列表 文章深入解读了DeepSeek V4论文，指出其核心价值在于将百万上下文、Agent原生能力与低价格结合，抬高了AI应用的地板。技术层面，V4通过mHC稳定残差连接，采用CSA+HCA混合注意力机制解决长上下文算力难题，并用Muon优化器替代AdamW。此外，文章还详细介绍了其1.6T参数量的训练稳定性技巧、反AI坍缩的数据构建以及基于“Specialist + OPD”的后训练范式转变。 DeepSeek模型解读MoE长上下文Agent后训练注意力机制技术论文 # DeepSeek V4是怎么训练出来的？58页论文深入解读 **作者**: 花叔 **日期**: 2026-04-24T16:16:41.000Z **来源**: [https://x.com/AlchainHust/status/2047711336357126372](https://x.com/AlchainHust/status/2047711336357126372) ---   劝退提醒： 1、这是一篇很长很长的文章，会深入到DeepSeek V4论文中涉及到的各种细节，如果你不感兴趣，只是想知道模型跑分的话，没必要读 2、我也没那么好的技术能力，这是花了2000万Opus4.7 tokens读完内容，并做了73页PPT之后形成的理解 3、我多少对DeepSeek有些滤镜，我很喜欢这个公司的做派和风格，所以表达未必客观中立  如果这种情况下，你还愿意一起往下探的话，那我们开始吧！ 在我看来，DeepSeek不是一个冲破天花板的SOTA模型。它真正的价值是把百万上下文、Agent原生能力、能接受的价格这三件事第一次绑在了一起。 而且这次从发布时间和节奏来说也挺有趣的，其实本来按照大家的预期，V4应当在春节前后发的，实际看来也差不多是那会儿完工。他们论文中对标的也是2月那会的Claude Opus 4.6和GPT-5.4。但它实际发布卡到了现在，中间又出了Opus 4.7和GPT-5.5。等它正式亮相，对标对象已经换人了。 DeepSeek自己解释说是为了更好地适配国产芯片。害，行吧，也希望国产芯片好好适配下DeepSeek。 其实今年1月份时，我已经连着写了三篇DeepSeek论文解读：mHC、Engram、OCR 2。当时我的判断是这些技术大概率都会进V4。现在V4论文打开，mHC进来了，其他一些思路也能看出端倪。这篇文章我会顺着这条线讲，让之前读过那几篇的朋友能看到完整的故事线。 ## 再说结论 我们需要重复下开头的核心结论，以这个视角的话，我们会对DeepSeek V4会有个更合理的预期，那就是👇 这不是一个冲破AGI天花板的世界最佳模型，但属于是一个让普通开发者第一次能够放心地用上100万上下文Agent模型的发布。 这两者的差别非常大。 前者是冲顶峰的叙事，需要在各个benchmark上全面击败Opus 4.7、GPT-5.5、Gemini 3.1 Pro。V4还做不到。 后者是抬地板的叙事。100万token上下文这件事，之前不是没有模型能做到，但要么极贵（Opus、DeepSeek那档），要么效果会显著衰减（很多国产模型128K以上就明显掉分）。V4做的事情是把「100万长上下文」+「Agent多步调用能力」+「能接受的价格」这三件事第一次组合到一起。 对闭源旗舰来说，V4不构成威胁。对一个想在产品里塞入长上下文的独立开发者来说，V4意味着几乎所有的上下文节省工作都可以先不做了（对的，RAG和很多别的AI叙事一样，只要你不学，等着等着你就可以不必学了） 业内有个说法：闭源模型卷能力天花板，开源模型卷地板，地板抬高的速度决定AI应用爆发的规模。V4把这个地板往上抬了抬。 ## V4-Pro 和 V4-Flash：两个定位不一样的模型 这次DeepSeek发的是两个模型。  V4-Pro的总参数量比V3的671B翻了2.4倍。激活参数从37B涨到49B，只多了三成左右。走的是「稀疏度再提高」的路线。 这里要稍微解释一下MoE模型的工作方式。V4-Pro一共有300多个专家（routed experts）加上1个共享专家。每次处理一个token的时候，它不是把所有专家都调动起来，而是只激活其中6个+共享专家，一共7个专家参与回答。这有点像一个有384位专家的公司，每个决策只召集7个人开会，不搞全员表决。激活的参数量少，推理速度就快，成本也能压下来。 V4-Pro的定位是「开源阵营里能跟闭源旗舰掰手腕的那个」。但DeepSeek自己在论文里也诚实地说了一件事：因为现在高端算力受限，Pro的服务吞吐很有限，所以Pro版本的API价格目前不算便宜，预计下半年才能降下来。 V4-Flash是真正符合DeepSeek一贯风格的那个模型。它的参数规模是V4-Pro的约六分之一，但在很多基础能力上已经反超了V3.2。这意味着架构改进和数据质量的收益，足够抵消参数规模的差距。Flash的价格相比同类快速模型，大概是他们的1/7到1/18。 如果你是独立开发者，我的建议很明确：AI编程、写作、复杂任务、关键决策场景用Opus 4.7这类；批量任务、Agent后台、数据处理用V4-Flash。 ## 架构动了哪些刀 V4没有推倒V3重来。MoE框架沿用的还是DeepSeekMoE，MTP模块没动，训练细节也大多延续V3。真正大改的地方只有三处： - 残差连接升级成mHC - 注意力拆成CSA+HCA的混合架构 - 优化器从AdamW换成Muon 这三处改动各自解决一个具体痛点。残差连接在堆深时数值不稳定，限制了把模型做大；传统注意力在百万token长上下文下KV cache爆炸，算力根本扛不住；AdamW在超大规模MoE训练上收敛慢、偏科严重。 V4相当于把V3的三个瓶颈逐一拆掉。 mHC：给残差连接加一道只准收缩不准放大的护栏 mHC我在1月那篇mHC论文解读里已经完整讲过了，这里长话短说。 残差连接是深度学习用了整整十年的基础设计。2015年何恺明的ResNet开始，到现在的每一个大模型都离不开它。它做的事情，用一句话说就是给信号开了一条「快车道」：不管中间那些层学到了什么，原始信号都能直接顺着这条高速公路原封不动传到后面。这就是所谓的「恒等映射」。 这个设计本身没问题。问题出在对它的第一次升级上。2024年底，字节Seed团队发了一篇叫Hyper-Connections（HC）的论文，后来中了ICLR 2025。HC把单通道的残差流扩展成多通道，让模型自己学习最优的连接方式。DeepSeek一开始也是沿着这条路线往下走的，但踩到了HC的一个致命缺陷：训练不稳定。 不稳定到什么程度？DeepSeek在1月那篇mHC论文里给过一个很震撼的数字：在27B模型上，HC的信号放大倍数峰值达到3000倍。也就是说，信号在网络里传着传着，被放大了3000倍，梯度也随之被放大3000倍。训练到某一步突然崩掉是家常便饭。 mHC解决这个问题的思路，我觉得最形象的说法还是1月文章里那句：给残差连接加了一道「只准收缩不准放大」的数学护栏。 用一个画面讲清楚。信号在网络里一层层往下传，可以想象成把一杯水倒进下一个杯子。HC的做法是把一根水管变成四根，每根流量让模型自己学。灵活是灵活了，但没人管总量。倒着倒着水越倒越多，到第60层的时候已经是原来的3000倍，杯子直接爆了。 mHC的做法是强制每一层倒水都守恒。不管四根水管怎么分配、怎么混合，进多少水就出多少水，一滴不多一滴不少。 这个约束的数学工具叫「双随机矩阵」，名字吓人，本质就是一张分配表：每一行加起来等于1，每一列加起来也等于1。这两个条件加起来，天然保证了水不会凭空变多。更舒服的是，两张双随机矩阵乘在一起还是双随机矩阵，所以不管你堆多少层，守恒这件事都不会失效。 代价是模型不能自由学这张表，每一层都要用一个叫Sinkhorn-Knopp的算法迭代20次，把学出来的东西压回守恒的形状。相比训练崩掉的损失，这个代价不算什么。 mHC带来的直接结果是：V4能把模型从V3的671B推到1.6T，参数量2.4倍增长，训练稳定性反而比V3更好。  这是理解V4能「做大」的第一把钥匙。 CSA + HCA：读一本800页的书，先翻目录再精读 这是整篇论文我觉得工程含量最高的地方，也是V4百万上下文能落地的核心。 先说清楚一件事：为什么100万上下文这么难做？  标准的注意力机制，每个新来的token都要和前面所有token算一次内积。如果把4K上下文换成100万上下文，需要算的内积数量是4000倍，显存占用也是4000倍。粗略估算下来，100万上下文的单次推理成本比4K高约6万倍。这堵「算力墙」和「显存墙」加起来，是大多数模型在128K-200K就停住的原因。 V4的解法是把注意力机制拆成两种，在Transformer不同的层里交替使用。 CSA（Compressed Sparse Attention）走精细路线。它把每m个token压缩成1个块，然后用一个叫Lightning Indexer的小模块算每个query和每个压缩块的相关性分数，只挑分数最高的top-k个块去做真正的注意力计算。 HCA（Heavily Compressed Attention）走粗略路线。它的压缩率m'远比m大（通常是几十倍），但不做稀疏筛选，query会dense地把所有压缩块都扫一遍。牺牲细粒度，换极致的KV cache压缩。 我觉得这两种注意力最好的比喻就是读一本800页的书。 你不会逐字读完。大概率是这样：先翻目录，定位到有用的那几章；翻到那一章后扫一下小标题，定位到第几页；最后才精读那几页。这是一个先粗后细的过程。 V4把这个动作拆成了两种独立的机制，交替安排在不同的层里： - CSA做的是「扫小标题定位」：先把每64个token揉成一块，给每块打分，挑出最相关的几块去精读 - HCA做的是「翻目录看大意」：直接把1024个token压成一块，一本800页的书可能只剩几十块大摘要，每个新来的token都把这几十块全扫一遍 两者加起来，V4在100万上下文下的单次推理成本，只有V3.2的约1/4。KV cache占用只有传统BF16 GQA8 baseline的约2%。 把50份压成1份，这是百万上下文真正能跑起来的数学原因。 论文里还有一堆工程细节，比如两种注意力都用Shared KV MQA进一步省cache，都加了sliding window分支保证局部细节不丢，都用了attention sink让query可以「弃权」。这些工程活不好解释，但每一个都在扣效率。 这是理解V4能「读长」的第二把钥匙。 Muon：别每个旋钮单独调，整组一起掰 Muon是V4用来替代AdamW的优化器。改动的技术深度很足，但可以用画面感拆开说。 先说优化器是干嘛的。模型训练就一句话：猜一个答案，对照正确答案，根据错的方向调整自己。优化器决定的就是「具体怎么调」。 AdamW是过去十年行业默认的优化器。它的逻辑是：模型内部有几十亿个旋钮要调，每个旋钮单独看它过去抖得厉害不厉害，抖得厉害就调慢一点，抖得少就调猛一点。听起来挺合理。 问题是这些旋钮不独立。它们是同一台机器上的几十亿个零件，彼此联动。AdamW单独看每个旋钮的历史做判断，结果就是模型在参数空间里走出来的轨迹是个极度扁的椭圆：少数几个「热门方向」步子迈得特别大，推到病态的程度；其他方向几乎没动过，等于没学。 说得更直白点，AdamW训出来的模型会偏科。  Muon反过来想。它不看单个旋钮，而是看这一整组旋钮合起来在往哪个方向走，然后把这个方向的更新强行「拉平」：原本迈得特别大的方向压一压，几乎没动的方向拉一拉，让每个方向都走一样远。数学上这个操作叫「正交化」，画面感上就是把原本歪扁的椭圆硬掰成一个正圆。 好处是什么？原本被AdamW淹没的冷门方向，现在能和热门方向拿一样的步长。模型探索范围更广，收敛更稳。 Muon天生有个成本问题：每一步都要把椭圆掰成正圆，直接算要做矩阵分解，太贵。V4用了一个近似办法（Newton-Schulz迭代），10步搞定一次掰正，前8步用激进系数快速逼近，后2步切换温和系数做精修。工程上刚好不贵。 一个细节：V4没把所有参数都交给Muon。embedding、prediction head、RMSNorm这些本来就不是矩阵、没有「方向」概念的参数，还是AdamW管。Muon和AdamW各管一摊。 这是理解V4能「训深」的第三把钥匙。 ## 1.6T怎么训稳的：两个他们自己也不懂的trick 把模型从671B推到1.6T，光有mHC还不够。训练1.6T的MoE时，V4团队遇到了loss spike（训练损失突然飙升，前几轮学的东西都被噪声污染），简单的回滚保存点也救不回来，刚回滚完没多久又崩。 他们最终用了两个办法把训练救回来。 一个叫Anticipatory Routing（预判式路由）。MoE模型里有个「路由器」负责每一步挑哪几个专家上场，这个路由器本身也是学出来的。训练崩溃的恶性循环是这样：某一步某个专家输出了一个异常大的数，这个异常让路由器误以为「这个专家真强」，下一步派给它更多任务，它输出更离谱的数，路由器越挑越偏，训练崩了。 解法特别巧：让路由器用「昨天的脑子」做「今天的决定」。主干网络的更新和路由器解耦，主干用当前参数算，但路由器挑专家时查的是前几步的历史参数。今天网络再怎么抽风，路由器用的是没被污染的旧脑子，恶性循环就断了。 另一个叫SwiGLU Clamping。SwiGLU是模型里的激活函数，可以理解为每个神经元的「水龙头」。正常情况水龙头开多大都行，但在1.6T这个规模上，某些神经元会突然爆出极大的数值，把整个训练带崩。DeepSeek的做法简单粗暴：给SwiGLU内部的几个关键数值强行加一个上下限（-10到10之间），哪怕某个神经元想输出一万，也只能给你10。 这两个trick为什么有效？DeepSeek自己在论文里说，他们也不完全清楚。原话是「the underlying principles of these mechanisms remain insufficiently understood」。 他们只知道：用了，有效，就这么用。至于为什么，希望社区一起探索。 我觉得这个细节值得单独拎出来讲。 过去我们看到的很多技术报告，总是在事后给方法找一套漂亮的理论解释，好像研究者从一开始就想得很清楚。但实际工程里，很多时候是先做出来再理解。DeepSeek不藏这个，白纸黑字写进论文里。 这种坦诚在国内团队里并不多见。今年1月我写R1论文更新那篇时说过，DeepSeek的「Open」不是做到行业平均水平就够了，而是包括那些失败的尝试、没搞懂的trick、踩过的坑都一并开出来。 V4这篇报告延续了这个风格。 ## 训练数据：32T tokens，反AI生成、加Agent、加多语言 V4的预训练数据比V3更大（33T vs V3的14.8T），也更讲究。几个关键动作： 反模型坍缩。互联网语料里现在充斥着大量AI生成的文本。如果不做过滤，训练出来的模型会出现「模型坍缩」（model collapse）：每一代都在上一代的AI输出上训练，能力会越来越差。DeepSeek专门做了一套过滤，把批量自动生成和套模板的内容拦掉。 中期训练引入Agent数据。工具调用轨迹、多步推理、搜索片段这些，不能靠后训练硬掰，必须在预训练中期就喂进去。这是V4-Flash的Agent能力跃升的关键原料。 多语言扩容。扩充了除中英外的长尾语言，覆盖不同文化的知识。所以你用V4做翻译、或者查一些非英文语言的长尾知识，效果会比V3好不少。 精选长文档。科学论文、技术报告这类「学术价值独特」的材料被重点收录。 训练数据规模上，Pro版本是33T tokens，Flash版本是32T tokens。分词沿用V3的128K词表。 序列长度是分阶段扩展的：从4K起步，逐步扩到16K、64K、1M。稀疏注意力也是分阶段引入：前1T tokens先用dense attention热身，到64K序列长度时切到sparse attention。这种渐进式训练在超长上下文模型里已经是事实标准，但V4的阶段切换时机设计比较精细。 ## 后训练：Specialist + OPD，一个被低估的范式变化 如果说架构改动是V4最显眼的变化，那后训练范式的变化其实是这篇报告最深刻的变化。V4在后训练章节的第一句话就很有趣： > the mixed Reinforcement Learning (RL) stage was entirely replaced by On-Policy Distillation (OPD). 翻译过来就是：混合RL阶段被彻底替换成在策略蒸馏。 这句话我觉得像是范式级别的转变了。 为什么要替换 传统后训练是「SFT+RLHF混炼」的路子：一个大杂烩数据集，SFT打底，再用一个reward model做RL。问题是什么？ 数学、代码、Agent、对话这些能力在RL阶段会互相打架。你调数学的reward权重，代码能力可能就掉了；你加Agent数据，对话又变笨。多任务联合优化的「负迁移」问题，几乎每个做过后训练的团队都踩过坑。 DeepSeek的解法是把「联合优化」拆成「分治+合并」： Stage 1 Specialist训练：每个领域（推理、数学、代码、Agent、通用对话）单独训练一个专家模型。先SFT，再用GRPO做RL。每个专家只管自己那块，reward signal清晰，不用跟其他领域折中。 Stage 2 On-Policy Distillation：把十多个专家模型当老师，通过反向KL loss蒸馏出一个统一的学生模型。 这个拆分的妙处在于：RL只在专家阶段做，最终的学生模型不做RL，只做蒸馏。RL的训练不稳定性被隔离在专家模型内部，学生模型通过更稳定的蒸馏loss拿到所有专家的能力。 反向KL是关键 OPD的技术细节里，有一个点特别值得讲：为什么用反向KL而不是正向KL？ 正向KL是让学生去cover老师的所有模式，结果往往学成四不像。反向KL是让学生集中在老师分布的高概率区域，学生会自动「选老师」：数学任务时对齐数学专家，代码任务时对齐代码专家。 这个「自动路由」的特性，是多老师蒸馏能跑通的关键。 为什么这个范式重要 讲到这里可能有朋友要问：这个东西对独立开发者有什么意义？ 我的判断是，这可能是比MoE更深刻的范式变化。 MoE是推理时混合（runtime mixture），OPD蒸馏是训练时混合（training time mixture）。后者的组合空间大得多。 这个范式天然适合几类场景： - 小团队：没钱一开始就训大模型，但可以训多个小specialist，最后蒸馏融合 - 垂直应用：法律/医疗/代码各训一个专家，最后合并 - 持续学习：要增加新能力时，训一个新专家加入蒸馏池就行，不破坏老模型 只要你能训出专家，就能通过OPD合进来。未来想加新能力（比如「写毛笔字」「解几何题」），路径很清晰：训专家→加入蒸馏池。这比RLHF要改reward、要重跑全流程友好得多。 这个范式会不会成为新的行业标准，目前还不好说。但V4已经用了十多个专家模型做OPD，证明在万亿参数级别它是可行的。  ## 评测结果：强在哪，弱在哪 评测是V4论文里最重要的部分之一，也是最容易被误读的部分。我直接把我的判断列出来。 数学推理：反超闭源旗舰 V4-Pro在几个数学类benchmark上拿到了开源阵营前所未有的高分：  Codeforces的竞赛评分V4-Pro能达到3206分，对应人类选手第23名。这是非常离谱的水平。 编程：LiveCodeBench和Codeforces双第一 V4-Pro在LiveCodeBench拿到93.5分，Codeforces Rating 3206。DeepSeek论文里明确写了，这是第一次开源模型在这两项任务上追平闭源。  但注意一个细节：SWE系列（真实工程代码任务）就没那么亮眼了。SWE Verified 80.6分接近Opus 4.6的80.8但没超过，SWE Multilingual也略输。 这就对应上了DeepSeek论文里自己的总结：V4模型非常擅长做题，但品味上还差一些火候。竞赛类任务有明确答案，RL能反复打磨；工程类任务要综合考虑代码风格、架构、可维护性，这些品味层面的东西现在的RL训练还吃不透。 Agent：全方位落后闭源 这是V4最弱的一块。  Terminal Bench 2.0落后GPT-5.4整整7分，HLE w/ tools落后Opus 4.6整整5分。DeepSeek论文里非常诚实地写了：「所有开源模型仍落后闭源对手」。 唯一的亮点是MCPAtlas Public（73.6），仅次于Opus的73.8。说明V4在通用工具调用和MCP服务上泛化能力不错，不是只在内部框架里打鸡血。 真实编程任务：接近Opus 4.5，差Opus 4.6 Thinking 13分 DeepSeek自己拿200多个真实的内部R&D编程任务做了测试，来自50多位工程师日常工作中提的真实需求，覆盖PyTorch、CUDA、Rust、C++：  V4-Pro的67%已经超过Sonnet 4.5（47%），接近Opus 4.5（70%），但距离Opus 4.6 Thinking（80%）还差13个百分点。 这组数据是DeepSeek论文发布时跑的，当时Claude最新是4.6 Thinking。现在Opus 4.7 Thinking已经发布，V4和当前最强闭源的真实差距大概是6个月到1年的研发时间。谈不上「完全追平」，也算不上「落后一代」。 中文场景：真正的第一梯队 中文写作是V4-Pro少数能对Opus 4.5掰手腕的地方：  意思就是日常中文写作对Gemini是碾压级，复杂指令跟随对Opus 4.5仍然有差距。论文里吐槽Gemini经常「让自己的风格偏好压过用户的明确需求」（擅自加戏），这个描述我读完忍不住笑了一下。 长上下文：128K内稳如狗，1M勉强能用 V4在1M长上下文的检索任务上超过Gemini，但落后Claude Opus 4.6。MRCR 8-needle测试显示128K以内性能稳定在0.9以上，256K后开始掉到0.82，到1024K降至0.59。 128K以内基本没有性能衰减，1M勉强能用。这是CSA+HCA混合架构带来的实际收益。对大多数Agent和代码场景，128K已经足够。 ## 一个特点：为什么V4这么偏科？ 读完整份报告，加上这些benchmark结果，有一个很鲜明的模式浮出来： V4特别擅长做题，但在品味型任务上差一档。 数学竞赛Putnam满分，Codeforces拿到人类选手第23名，LiveCodeBench全场第一。 但创意写作输给Opus 4.5，Agent任务落后GPT-5.4，HLE通用知识被Gemini压制。 我自己的理解是：这和DeepSeek招的人有关。 DeepSeek的招聘以竞赛获奖选手为主。这些人擅长什么？擅长在给定规则下把单点做到极致，擅长解有明确答案的题。模型训练的偏好会受数据团队、训练团队、评估团队的品味影响，这些品味又受团队成员的背景影响。 所以V4在有明确答案的任务上表现顶尖（数学、竞赛编程），在需要综合品味的任务上（创意写作、长链Agent、通用工程编程）就会相对偏弱。 这只是一个观察，谈不上批评。模型的性格映射着团队的性格，这件事很多时候比人们想象的更直接。 ## DeepSeek还是那个DeepSeek吗？ 写到这里不得不问一个问题：V4时代的DeepSeek，和V3时代比，变了吗？ 我的回答是：变了，但没变味。 V3时代的DeepSeek是「小团队、极致工程、带来惊喜」。V4时代的DeepSeek打开论文附录，研究工程作者名单已经超过300人，加上商业和合规接近350人。这不再是那个几十人的实验室。 但有几个东西没变。 一个是工程至上。V4的创新重点不在高层架构设计，而在「信号怎么流动」和「梯度怎么更新」这两个底层问题上。mHC解决深度scale的数值稳定性，CSA+HCA解决上下文scale的算力和内存，Muon解决参数scale的训练效率。每一项都是回答「为什么V3做不大」的问题。 我在1月那篇mHC解读里写过一句话：DeepSeek的技术哲学是去质疑那些所有人都觉得没必要改的东西。V4这篇论文把这句话又扎扎实实兑现了一次。残差连接改了，注意力机制改了，优化器也改了。每一处都是行业里默认不动的底座。 另一个是诚实。承认架构「太复杂」（原文：retained many preliminarily validated components which made the architecture relatively complex），承认训练稳定性机制「不理解」（原文：underlying principles remain insufficiently understood），承认sparse还不够极致，承认Agent能力落后闭源。这些话写进一篇技术报告里，放到国内同行里几乎找不到第二家。 还有一条是Open是真Open。R1的86页更新补全了训练账单和数据配方，V4的58页继续补全基础设施的每个缝隙。不是「开源权重就完了」的Open，是一份让别人真的能复现的Open。 DeepSeek在发布V4的时候引用了一句话：不诱于誉，不恐于诽，率道而行，端然正己。  不被赞誉诱惑，不被诽谤吓退，按自己的道走，端正自己。 这句话可能比58页的论文技术细节更能解释这家公司。 ## 最后 回到开头那条线。1月那三篇解读，mHC确实进V4了。Engram和OCR 2呢？ 1月Engram那篇我用的比喻是「给大模型发一本字典」：静态知识直接查表，不浪费网络深度现场推理。V4这次没把这本字典装进来，但论文明确把「沿新维度继续稀疏化」列进了未来路线图，参考文献正是Engram那篇论文。 OCR 2的视觉因果流也没进V4，但多模态被明确写进V5的方向（原文：incorporating multimodal capabilities）。 所以下一代DeepSeek大概率会是这样的轮廓：原生多模态（OCR 2这一脉的延伸）、引入某种可扩展的查找式记忆（Engram这一脉的延伸）、进一步降低延迟（为Agent交互做准备）、更长的long-horizon multi-round agentic能力。 V5什么时候发我不好预测。但DeepSeek的节奏已经固定下来：论文先铺路，模型后亮相。V4论文里写了未来方向，剩下的就是时间。 V4显然谈不上对Opus 4.7或GPT-5.5的超越，它是开源阵营的一次基础设施级更新。把百万token上下文、Agent原生支持、成本优势打包成一个可复用的底座。真正的价值不在V4-Pro能不能打赢最强闭源，而在V4-Flash让每一个独立开发者都能在自己的产品里塞进百万上下文。 闭源卷天花板，开源卷地板。 更有意思的故事，会在V5身上。 ——— 参考资料： - DeepSeek V4技术报告：见DeepSeek官方GitHub（deepseek-ai/DeepSeek-V4） - DeepSeek R1论文v2（86页）：arxiv.org/abs/2501.12948 - 我之前写的DeepSeek论文解读系列（mHC、Engram、OCR 2、R1更新）可以在公众号历史文章里搜到 ## 相关链接 - [@AlchainHust](https://x.com/AlchainHust) - [538](https://x.com/AlchainHust/status/2047711336357126372/analytics) - [arxiv.org/abs/2501.12948](http://arxiv.org/abs/2501.12948) - [Upgrade to Premium](https://x.com/i/premium_sign_up) - [12:16 AM · Apr 25, 2026](https://x.com/AlchainHust/status/2047711336357126372) - [538 Views](https://x.com/AlchainHust/status/2047711336357126372/analytics) --- *导出时间: 2026/4/25 01:01:53*
与 与杨植麟的第二次对话：站在无限的开端 本文是张小珺对月之暗面创始人杨植麟的第二次深度访谈，发生在Kimi K2模型发布后。文章深入探讨了AI如何通过编码能力突破“缸中之脑”，走向Agent与自我进化，以及杨植麟对技术挑战与创业心境的思考。 技术 › LLM ✍ 张小珺🕐 2026-07-22 杨植麟Kimi访谈Agent技术哲学DeepSeek自我进化创业MoEThe Beginning of Infinity
K Kimi K3 memory savings vs Jevon's paradox 本文深入分析了Kimi K3通过Kimi Delta Attention (KDA)技术实现的内存节省突破，对比了传统MLA和DeepSeek的架构，讨论了其在长上下文场景中的优势及对行业的影响。 技术 › LLM ✍ GDP🕐 2026-07-30 Kimi K3KDA内存节省长上下文DeepSeekMLA混合线性注意力KV cache
多 多模型整合指南：用 Hermes Desktop 统一管理 ChatGPT、Grok 与 DeepSeek 本文介绍如何使用 Hermes Desktop 将 ChatGPT、Grok、DeepSeek 和 MiniMax 等多个 AI 模型接入同一个桌面应用。文章详细讲解了通过图形界面一键配置模型账号、连接 Telegram/Discord 消息通道、以及设置 10 个实用的自动化工作流（如每日简报、竞品监控）的步骤，旨在无需编程即可实现多模型协同与自动化任务处理。 技术 › Hermes ✍ Wei🕐 2026-07-03 HermesAgentDeepSeekChatGPTGrok工作流教程自动化工具与效率多模型
实 实测美团 LongCat-2.0：国产芯片万亿模型的实用价值 本文实测了美团发布的基于 5 万张国产算力芯片训练的万亿参数大模型 LongCat-2.0。文章指出，该模型在预训练到大规模部署的全流程中实现了国产算力闭环，具有里程碑意义。虽然通用推理能力与顶级闭源模型仍有差距，但在 Terminal-Bench 和 SWE-bench Pro 等 Agent 与编程任务中表现强劲。作者实测了将其接入 Claude Code 和 Codex 进行工作流处理，结果显示其在长上下文处理和任务拆解上表现稳定，为开发者提供了一个可行的非国产替代方案。 技术 › LLM ✍ 卡尔的AI沃茨🕐 2026-07-02 LongCat-2.0美团国产大模型MoEAgent实测国产算力API接入代码生成Claude替代
G Gemini预训练负责人总结：如何进入头部AI团队的10条经验 Gemini预训练团队负责人撰文分享如何进入头部AI实验室。文章指出顶尖人才普遍具备方向准、数学硬、拼劲足三大特质。针对普通人，作者建议避开正面竞争，转而在底层优化或上层Agent系统发力，强调了开源项目、数学基础、动手复现及长期坚持的重要性。 职场 › 职业发展 ✍ WquGuru🕐 2026-06-27 AI职业规划面试LLM技能提升AgentDeepSeek
体 体验完微信Agent以后，我觉得这就是微信有史以来最大的更新 文章详细介绍了微信“小微”的内测体验，涵盖了其功能架构、底层模型、交互逻辑及与微信原生能力的打通情况。作者指出，虽然受限于算力成本和安全风控，目前的Agent策略偏向“只读不动”且需频繁确认，但在小程序调度、聊天记录上下文理解及AI生成工具方面表现出色。作者认为这是微信有史以来最大的更新，标志着平台级AI应用的正式落地。 技术 › Agent ✍ 数字生命卡兹克🕐 2026-06-24 微信微信小微AgentAIWeLMDeepSeek小程序产品评测人工智能腾讯
手 手把手搭建数字人Agent：Pixelle-Video本地部署教程 本文介绍了如何使用开源项目 Pixelle-Video 在本地电脑搭建一套完整的数字人 Agent 工作流。作者详细讲解了从准备环境、安装软件、配置 DeepSeek 和 ComfyUI，到生成视频和配置数字人像的全过程。该方法成本低（只需几块充值），功能涵盖脚本生成、配图、配音及数字人口播视频合成，打破市面上高价新媒体工具的信息差。 技术 › Agent ✍ 老王霸 AI Lab🕐 2026-06-23 数字人AgentPixelle-VideoComfyUIDeepSeekAI视频本地部署开源教程RunningHubAIGC
聊 聊聊我怎么设计创作流水线的：把“写文章”拆成 5 个 AI 的接力赛 本文介绍了如何利用 Helio 平台将文章创作流程拆解为 5 个独立的 AI 同事（调研、大纲、标题、去AI味、封面）。作者通过自定义指令和协作机制，让 AI 团队自动完成接力，实现了从选题到全案初稿的自动化生产，创作者仅需最终拍板，极大提升了效率。 技术 › Agent ✍ 阿蔺A-Lin🕐 2026-06-17 HelioAgent工作流AI同事Claude Code自动化写作DeepSeek提示词
从 从0到1带你速通WorkBuddy 本文是一篇WorkBuddy的从0到1新手教程。文章指出WorkBuddy是国内口碑不错的通用Agent产品，相比Claude Code和Codex更对国内用户友好。内容涵盖安装登录、界面模式介绍（Ask/Plan/Craft）、专家与技能市场、腾讯生态连接及个性化配置，并演示了日常办公报告生成和网页开发两个实战案例。 技术 › Agent ✍ 数字生命卡兹克🕐 2026-06-11 WorkBuddyAgent教程办公自动化DeepSeek腾讯混元国产大模型技能市场MCP应用评测
2 2026年AI工程师的核心技能：Loop（循环）工程 文章探讨了2026年AI工程范式的转变：从单纯的“提示词工程”转向设计自动化的“循环系统”。OpenAI与Anthropic的专家指出，工程师的角色已变为编写控制Agent的循环。文章深入解析了循环工程的定义、单体Agent与编队模式的区别，以及开放式与封闭式循环的差异。此外，文章重点讨论了循环模式带来的高昂Token成本问题，指出DeepSeek等低成本、大上下文的中国大模型是解决这一经济瓶颈的关键。 技术 › Agent ✍ Rahul🕐 2026-06-10 AI工程AgentDeepSeekLoopOpenAIClaude成本优化工作流自动化编程范式
2 2026年强化学习面试题库：算法与基础设施 本文汇总了35道2026年强化学习（RL）领域的面试核心问题。内容涵盖算法与基础设施两大方向，既包括PPO、GRPO等训练机制的原理探讨，也涉及分布式推理、显存优化等工程落地细节。作者强调现代RL岗位需要具备全栈理解能力，建议面试者不仅要熟记问题，更需深究背后的技术逻辑。 技术 › LLM ✍ Xiuyu Li🕐 2026-06-08 RL面试PPOGRPODeepSeekMoE基础设施算法强化学习大模型
这 这应该是目前最接近正解的 Agent 记忆方案 文章探讨了现有 Agent 记忆方案的局限性，即仅是“搜旧聊天”而非真正的学习。作者介绍了 MemOS Local Plugin，它通过 Reflect2Evolve 机制，从对话中自动提炼策略和技能。实测显示，它能跨 Session 应用写作偏好并积累经验，代表了从“存规则”到“学策略”的进步。 技术 › Agent ✍ Yanhua🕐 2026-06-04 AgentMemOS记忆机制HermesLinux本地插件RAG技能进化DeepSeek提示词工程