# 何恺明和字节Seed跳到同一条河流
**作者**: 花叔
**日期**: 2026-05-25T02:12:20.000Z
**来源**: [https://x.com/AlchainHust/status/2058732869363827129](https://x.com/AlchainHust/status/2058732869363827129)
---
5月7日，字节Seed发了一篇99页的论文，叫Cola DLM。
5月11日，MIT何恺明组发了一篇32页的论文，叫ELF。
4天之差。一篇来自国内做扩散模型最猛的工业实验室，一篇来自AI圈的奠基人之一。从两条几乎相反的路径出发，最后撞到了同一个设计点。
我觉得这种巧合背后应该代表着某种很有趣的趋势，所以我就花了几天时间好好读了读这两篇论文，也试图给大家解释解释这背后究竟代表着什么。
## 先认识一下何恺明
写这篇之前，先停一下，给不太熟悉AI圈的朋友补一段背景。
何恺明这个人，是AI领域绝对的神。
1984年出生于广州。他在执信中学的时候，因为拿了全国物理竞赛一等奖，本来已经有清华大学的保送资格。但他没用，坚持参加高考来证明自己（？？？），最后以标准分900分成为当年广东省9个满分状元之一（？？？？），进了清华物理系。
2007年到香港中文大学读研，师从汤晓鸥。港中大认识何恺明的人都说他是超级拼命三郎，早上六点多出门，晚上十二点回寝室。「天才还这么拼命，普通人没法玩」。2011年博士毕业后进入微软亚洲研究院（MSRA），跟孙剑做计算机视觉。
2015年，他在MSRA带队发了一篇叫ResNet的论文，提出了「残差连接」这个想法。这篇论文到今天被引用超过30万次，是21世纪引用量最高的AI论文，没有之一。
「残差连接」是什么概念？我之前写过两篇关于它的解读，这里再啰嗦一下：今天你听过的所有大模型，GPT、Claude、Gemini、Qwen、DeepSeek，骨子里都跑在Transformer架构上，而Transformer架构的每一层里都有残差连接。没有何恺明那篇论文，就没有今天我们用的任何一个大模型。
除了ResNet，他还做了MAE、Mask R-CNN、Faster R-CNN，每一个名字在视觉领域都是地基级的存在。
2016年8月，Yann LeCun把他挖到Facebook AI研究院（FAIR）做研究科学家。2023年8月，他和ResNet团队拿了在中国设立的未来科学大奖数学与计算机科学奖，奖金33.3万美元。颁奖词六个字：「基础性贡献」。
2024年2月，他离开FAIR，加入MIT EECS做副教授。2025年6月拿到MIT终身教职的同时，还被Google DeepMind聘为兼职杰出科学家（Distinguished Scientist），相当于MIT主职、DeepMind兼职两边并行。
这是他到MIT之后，第一次直接攻语言模型方向的论文。为什么这个细节重要？等会儿你会看到。
## 先说核心结论
这两篇paper都属于基础研究的范畴，他们是在试图动LLM最底层的一块地砖。
我们现在天天用的所有大模型，骨子里都是同一种生成方式：自回归（autoregressive，简称AR）。下一个字依赖前面所有字，已经说出来的字就是事实，写下不可改。
所有的「幻觉」「推理崩盘」「复杂任务掉链子」，往深了挖都连着这件事。
Cola DLM和ELF这两篇paper提出的解法不一样，但目标一样：让语言模型从一个字一个字往外蹦，变成在脑子里揉一团完整的意思，最后再落字。
具体做法是：把「离散化」这个动作推迟到生成的最后一刻。中间所有的「思考」都在连续空间里发生，直到最后一步才决定每个位置该是哪个具体的词。
简单解释一下离散和连续。离散是一颗一颗分开的珠子，每颗都有边界，比如「今」「天」「天」「气」四个汉字，字与字之间没有中间状态。连续是流动的水，没有边界，任何两个状态之间都有无数个过渡，就像颜色从红到橙，中间是平滑渐变。文字天然像珠子，图像天然像云雾。这也是为什么扩散这套工具最早在画图上大获成功，但在语言上一直没真正跑通。
听起来挺玄，一个比喻就清楚了。
AR模型是用钢笔写文章。一笔下去就是事实，写错了只能继续硬着头皮。
Cola和ELF是用铅笔打草稿。整段在反复涂改、揉、调，直到最后一稿才工工整整誊到稿纸上。
钢笔出活快，但走一步算一步。铅笔慢一点，允许全局规划。
这两篇论文做的事情，本质上是给LLM从钢笔切到铅笔。
## 什么是特么Cola DLM、ELF
正式展开前，先把这两个名字拆开。
Cola DLM全称是Continuous Latent Diffusion Language Model，连续潜空间扩散语言模型。Continuous是「连续」，Latent是「潜空间」，Diffusion是「扩散」，Language Model就是语言模型。
「潜空间」这个词后面会反复出现，先打个底：可以把它想成一张「意思的地图」，每个具体的意思在地图上都有自己的位置。「今天爬山很累」是地图上的一个点，「今天爬山有点累」就在它附近，「股票跌了」在很远的另一片区域。模型表达一个意思的时候，先在这张地图上选位置，最后才把位置翻译成具体的字。
四个词，对应四个核心选择：用连续表示、在潜空间里做、用扩散方式生成、目标是语言。
ELF全称是Embedded Language Flows，嵌入式语言流。Embedded是「嵌入」（指词嵌入），Language是「语言」，Flows是「流」，这里特指Flow Matching，2023年开始流行的一种生成方法，跟扩散模型是亲戚。
两个名字其实暗藏了它们各自的脾气：Cola DLM名字四个词，每个都在指明一个架构决定；ELF三个词，干脆利落。这种命名风格本身就暗示了它们的设计哲学。
## 为什么过去这条路没人走通
铅笔的想法不是2026年才有的。
从2022年的Diffusion-LM开始，到SSD-LM、TESS、DiffuSeq、Plaid、Latent Diffusion LM等等，过去三年里大概有近十个团队试过把扩散模型用在语言上，逻辑跟Stable Diffusion画图一样，从一团噪声里逐步「去噪」出一段文字。
但效果都不行。打不过同期的自回归LLM，甚至打不过基于离散token的扩散模型（LLaDA、MDLM那一脉）。
业内一度有个共识：语言这东西天生离散，连续扩散没戏。
何恺明和字节Seed都不信这个结论。
他们各自找到了同一个症结：过去那些连续扩散语言模型，每去噪一步都要回头交一次差。
这个动作的学术叫法是per-step discretization，逐步离散化。它的意思是：模型在连续空间里走一步，然后被强行拉回词表算一次损失，看自己有没有偏离正确答案。下一步再走，再被拉回来。
这相当于什么？相当于用铅笔打草稿的人，每写一笔都要立刻誊到正式稿纸上。铅笔被偷偷换回了钢笔，模型根本没机会真正在连续语义里揉。
Cola和ELF做的第一件事，是同时把这个动作砍掉。
denoising全程留在连续空间，只在最后一步才映射回token。
这就是我前面提到的「把离散到连续的步骤推迟到最后一刻」。这是两篇论文最核心的共识。
ELF 论文里有一张图把这件事画得特别清楚。从左到右是去噪过程：t=0.00 时是一团随机噪声点；t=0.25、t=0.5、t=0.99 一路过去，橙色点在连续空间里逐渐聚集成几个簇，但始终是连续的、模糊的；只有到最后一刻 t=1.00，每个簇才坍缩成 cat / dog / bird 这种具体的离散词。整个"想"的过程都在连续空间里发生，"说"出来只是最后一瞬间的事。
下面分头讲。它们的路径完全相反，但都指向了这一个动作。
## 何恺明的解法：极简到能让人发笑
ELF这篇paper的作者列表有意思。一作Keya Hu和Linlu Qiu两个MIT博士生，论文脚注里直接写明：作者顺序由抛硬币决定。何恺明压在最后。
整篇paper读下来，我觉得味道是「该有的都没省，多余的一个都不加」。
ELF的设计极致克制：
- 编码器：直接用2020年Google出的老模型T5的encoder，冻结。不训练、不微调，就这么用着
- 解码器：根本没有独立的解码器。同一个网络通过一个二值开关切换，要么在去噪，要么在解码
- 训练目标：中间所有步骤只用最简单的MSE损失（均方误差），不算交叉熵。只在最后一步才算交叉熵把embedding映射回token
- 从图像扩散搬来的工具（Flow Matching、Classifier-Free Guidance、self-conditioning）一个都没改，原封不动迁移过来
结果出来了：105M参数的ELF-B，在OpenWebText数据集上Gen PPL达到24，只用32个采样步骤。
这张图是 ELF 论文开篇第一张。柱子越矮代表生成质量越好（Gen PPL 越低越好）。MDLM、Duo、FLM、LangFlow 这几个 baseline 都要跑 1024 个采样步骤才能达到它们各自柱子的高度，而 ELF 只用 32 步，柱子还比所有人都矮一截。
105M是什么规模？大概是GPT-2-Small的大小。一张消费级显卡能跑。
对比同期的离散扩散模型MDLM、Duo，它们普遍用了5000亿到1万亿tokens的训练数据。ELF用了450亿，差了一个数量级。
ELF在论文里写得很明白：
> 现有的连续DLM不work，不是连续本身不行，是大家在它身上加了太多东西。
何恺明做事情有一个特别明显的倾向：先把不必要的东西全拆了，看剩下的核心能跑到多远。
ResNet是这样：核心想法用一句话就能说清楚，加一条捷径让信息可以跳过某些层直接往前传。MAE是这样：把图像随机遮住75%，让模型把它补回来。MeanFlow是这样：一步生成图像，不再反复迭代。
ELF也是这样的味道。它在告诉所有人：过去三年那近十篇连续DLM论文加上去的精巧设计，可能大部分都是错的。你只要把per-step discretization拿掉，把图像扩散那边验证好的最佳实践原封不动搬过来，连续DLM就能work。
我看到这篇论文的第一反应是想笑，因为它太何恺明了。
这是理解ELF的钥匙：用极简反推一件事，「连续DLM必须复杂」这个共识，本来就是错的。
## 字节的解法：先想好意思，再翻译成字
Cola DLM跟ELF味道完全相反。
整篇论文99页，11位作者，外加港大、澳国立、北大、人大的合作者。规模上对齐了2B参数的LLaMA和LLaDA基线（具体是Text VAE 0.5B加上扩散主干1.8B，加起来约2.3B）。
我读到一半有个感觉：字节不是在写一篇paper，他们在写一份宣言。
我试着用一个生活化的比喻把Cola讲清楚。
你写文章其实分两步。
第一步：在脑子里想清楚自己要表达什么意思。这个时候你想的不是具体的字，是一团模糊的意思，比如「我想说今天去爬山很累」「我想说这个观点跟主流不一样」。
第二步：把这些意思翻译成具体的字、具体的句子、具体的标点。
我们平时不会意识到这两步是分开的，因为它们在脑子里几乎同时发生。但你认真想想就会发现，「想清楚要说什么」和「怎么把它说出来」确实是两件事。
Cola做的事情，是把这两步在模型架构里显式拆开。
「想清楚要说什么」这一步，Cola交给一个叫Text VAE的模块。VAE全称是变分自编码器，做的事情简单说就是把一段文字压成一团向量，再从这团向量解压回原来的文字。可以理解成它在学一种「概念表示」，每一段话对应一团数字，这团数字代表这段话的「意思」。
「按照意思生成内容」这一步，Cola交给一个叫block-causal DiT的模块。DiT是扩散Transformer，2023年Sora同源的那一类架构。block-causal是说，这个模块一段一段生成「概念向量」，段内可以反复调，段之间有先后顺序。
最后，再用Text VAE的解码器，把这些「概念向量」翻译回具体的文字。
整个流程是：你输入提示词 → 模型在脑子里反复揉清楚要表达什么意思（生成一段段「概念向量」）→ 最后把这些意思翻译成字。
字节把整套训练管线画在了论文 Figure 1 里，建议放大看一眼。左边 Stage 1 单独训 Text VAE，学怎么把文字压成 latent 又能解回来；中间 Stage 2 把 VAE 和 Diffusion Transformer（DiT）联合训练，让 DiT 在 latent 空间里学先验；右边推理时，prefix 先编码进 latent，DiT 块块往后生成新的 latent，最后 VAE decoder 把所有 latent 翻译成文字。三阶段下来就是「先想清楚要说什么，再翻译成字」
跟AR的区别在哪？
AR是边想边说，每说出一个字就立即定死。Cola是先把要说什么完整想清楚（在连续的概念空间里揉），最后才统一翻译成字。
为什么字节要花99页写这件事？因为他们的野心不止于此。论文的最后一节叫Afterword，字节在里面写了一段我觉得分量最重的话，大意是：
> 自回归语言建模只是设计空间里自洽的一小角。表示绑死在token表面，训练目标是直接对token做最大似然估计，整套环境围绕符号性文本展开。我们这篇paper同时改了这三件事。
他们不是在做一个更好的语言模型，他们在重新定义「语言建模」这件事是什么。
这是理解Cola的钥匙：思考和说话，可以、也应该在架构上拆开。
## 同一条河流
赫拉克利特说，人不可能两次踏进同一条河流。
何恺明组和字节Seed这个月踏进的，是同一条新的河流。
更准确地说，两条路完全不同。ELF从图像生成那一脉走过来，主张极简，认为过去的连续DLM设计冗余。Cola从语言建模这一脉走过去，主张分层，认为语言天然有「全局意图+局部实现」两层结构。
但它们的核心动作是同一个：denoising全程留在连续空间，离散化推迟到最后一刻。
这件事的深层意义比paper里的benchmark数字更大。它在质疑两个过去被当成「必然」的假设。
第一个假设：语言天生是离散的，所以语言模型必须在离散空间生成。
但其实「语言以离散符号呈现」和「语言模型必须在离散符号上生成」是两件完全不同的事。前者是物理事实，后者是工程选择。ELF和Cola指出了这个选择可能是错的。
第二个假设：自回归是语言模型最自然的形式，因为人就是这么说话的。
这个假设其实没经过严格审视。人说话一字一字出口，但人想清楚要说什么的过程，不是一字一字想的。我们脑子里打草稿的过程更像Cola——一段意思在头脑里反复揉，最后才落到具体的词。
两条路同时走到这个点，是因为这件事到了不解决就被甩开的临界点。我感觉这就像2017年Transformer出来之前，attention这件事已经被好几个团队同时探索过。一个idea的时机到了，就会被很多人同时摸到。
## 再补充几个细节
写到这里主线已经讲完了。但有几个细节值得专门拎出来，它们暴露了这两篇论文更深的野心。
测尺都得换
Cola花了大段讨论一个反直觉的现象：有时候PPL（困惑度）更低的模型，生成质量反而更差。
困惑度是过去十年所有语言模型的核心评估指标，模型预测下一个token的概率有多准。低困惑度=好模型，这是LLM圈的「金本位」。
但Cola发现在连续潜空间模型里，PPL衡量的是模型对ground-truth token的概率拟合得有多准，而生成质量取决于模型能不能从prior采到decoder能解码出语义合理文本的latent区域。这两件事被分开了。
这意味着什么？过去十年所有「我比你低3个PPL所以我更强」的论文，那套话语在连续latent范式下可能都不太适用了。评估LLM的整套度量体系都得换。
Cola已经在做多模态了
Cola论文Section 5.5给了一段预告：用同样的架构同时处理文本和图像。文本走Text VAE，图像走Image VAE，两者的潜在向量合并到同一个block-causal DiT里学先验。
这件事是Cola这套思路的自然延伸。一旦你接受「diffusion学的是概念分布，而不是token recovery」，那文本和图像在概念层就是同构的。只需要不同的VAE分别处理表面形式，深层的「语义先验」是共享的。
如果这条路走通，下一代多模态模型可能跟今天Gemini 3.1 Pro、GPT-5.5那种「文本和图像各自被编码成token，再塞进同一个transformer」的做法完全不一样。
它们本质上还是把图像挤进文本的设计空间。Cola这条路是反过来：给文本和图像建一个共同的连续设计空间。
字节已经在论文里给出了早期实验。左边是文字续写和「图+文混合输入→输出文字」，中间是「文字→图像」生成，右边是它的统一架构图：文本和图像各走自己的 VAE 编码器，但共享同一个 block-causal DiT 学先验。换句话说，意思在哪一种模态里被组织起来都是同一回事，最后只需要不同的 decoder 把它翻译成文字或图像。
算力门槛可能要被拉低
ELF-B只有105M参数。一张消费级显卡能跑。
它能在OpenWebText上做到Gen PPL=24，超过参数量170M的Duo。同时只用了1/10的训练数据。
我说几句不严谨的判断。如果这条路被验证可以scale到百亿千亿，意味着语言模型训练的算力门槛会被显著拉低。不是说ELF-B直接能替代GPT-5，那不可能。但ELF展示了一个可能性：也许过去三年我们在LLM训练上烧掉的钱里，相当一部分是被错误的归纳偏置浪费掉的。
如果连续扩散这条路真能取代AR成为主流，独立开发者和小团队第一次有了在前沿做事的可能性。这件事对我这种独立开发者来说意义很大。
## 写在最后
写到这里我想说几句更主观的话。
何恺明做了一辈子图像生成。从ResNet到MAE，再到去年的MeanFlow，他的工作几乎全在视觉领域。这次进语言模型，做的第一件事就是用图像那边的方法颠覆了语言模型最基础的假设。
这件事倒是恰好说明了一个领域的人换个领域看，原来理所当然的东西可能根本不必要。LLM圈里还没人真的把per-step discretization拿掉，因为大家都被「语言是离散的」这个直觉绑死了。图像那边的人没这个包袱，进来一看就发现：等等，这玩意儿真的必要吗？
字节那边的故事不太一样。字节Seed是国内Diffusion方向最强的团队之一，Seedance、SeedDream都是他们做的。他们一直在做图像和视频生成，对扩散框架特别熟。
这里说一句话外音。今年1月我写过DeepSeek的mHC论文，里面就提到过字节Seed。DeepSeek的mHC是改造字节2024年9月那篇Hyper-Connections（HC）论文做出来的。字节在残差连接、扩散、潜在空间这些底层方向上，本来就是国内走得最深的团队。
他们走到Cola这一步，是从图像那边推到文本这边来的。一个习惯了在潜空间里揉来揉去的团队，看到大家还在token level上一个字一个字往外蹦，肯定觉得别扭。
两个团队都不是「语言模型原住民」。这件事可能不是偶然。
LLM这条赛道过去三年所有的「突破」，CoT、长上下文、Agent、RAG，本质上都是在AR这个框架内做优化。AR这个底层假设本身从来没被严肃质疑过。
何恺明从图像那边走过来，字节从语言这边走过去。两条路在5月初会师。
它们都还很早。Cola的2B规模、ELF的105M规模，跟千亿级别的闭源模型比都是玩具。这条路能不能走到尽头还很难说。LLaDA、Mercury这些走离散扩散派系的团队也没停，AR这边更没停，DeepSeek V4刚发完，Opus 4.7该升级还在升级。
字节给自己最有底气的论据是这张 scaling 曲线。同样的算力预算（横轴 EFLOPs），红线是 Cola DLM，蓝线是 AR，橙线是离散扩散派系的 LLaDA。最右下角 Tasks Average 那张总图，红线一路爬到最高。说明在严格对齐的 2B 规模下，Cola 不只是「能跑」，还「越大越强」。
但AR-only的局面这个月被划开了第二道口子。第一道是2025年LLaDA、Mercury带头的离散扩散派系。这一次的口子更深，因为它质疑的是「语言天生离散」这个最底层的假设。
2017年Transformer论文出来的时候，当时也没人预料到它会成为今天所有大模型的底层骨架。
这一次大概也是同一种感觉。
———
参考资料：
- Cola DLM论文：https://arxiv.org/abs/2605.06548
- ELF论文：https://arxiv.org/abs/2605.10938
- Cola DLM项目页：https://hongcanguo.github.io/Cola-DLM/
- ELF代码：https://github.com/lillian039/ELF
- 我之前写过ResNet和DeepSeek mHC的解读，公众号历史文章可以搜到
## 相关链接
- [@AlchainHust](https://x.com/AlchainHust)
- [1.2K](https://x.com/AlchainHust/status/2058732869363827129/analytics)
- [https://arxiv.org/abs/2605.06548](https://arxiv.org/abs/2605.06548)
- [https://arxiv.org/abs/2605.10938](https://arxiv.org/abs/2605.10938)
- [https://hongcanguo.github.io/Cola-DLM/](https://hongcanguo.github.io/Cola-DLM/)
- [https://github.com/lillian039/ELF](https://github.com/lillian039/ELF)
- [Upgrade to Premium](https://x.com/i/premium_sign_up)
- [10:12 AM · May 25, 2026](https://x.com/AlchainHust/status/2058732869363827129)
- [1,204 Views](https://x.com/AlchainHust/status/2058732869363827129/analytics)
---
*导出时间: 2026/5/25 11:54:42*