何恺明和字节Seed跳到同一条河流:连续扩散语言模型的范式转移
文章深度解读了2026年5月何恺明MIT团队与字节Seed团队前后发布的两篇论文(ELF与Cola DLM)。两者殊途同归,挑战了主流的自回归(AR)生成范式,主张将语言模型的生成过程从“离散Token预测”转变为“连续空间的潜变量扩散”。这种“先思考后落字”的铅笔模式,不仅提升了效率与效果,更可能引发LLM底层架构、评估标准及多模态统一范式的新一轮变革。
文章深度解读了2026年5月何恺明MIT团队与字节Seed团队前后发布的两篇论文(ELF与Cola DLM)。两者殊途同归,挑战了主流的自回归(AR)生成范式,主张将语言模型的生成过程从“离散Token预测”转变为“连续空间的潜变量扩散”。这种“先思考后落字”的铅笔模式,不仅提升了效率与效果,更可能引发LLM底层架构、评估标准及多模态统一范式的新一轮变革。
文章以极高的通俗性与深入的技术洞察,绝佳地对比了何恺明组与字节跳动关于连续空间语言模型的前沿论文,结构清晰且比喻精妙,但因偏向宏观学术趋势探讨而缺乏实际落地操作性。
APEX(Asynchronous Prefix denoising for EXtreme compression)由 Lightricks 与耶路撒冷希伯来大学联合研发,是一种面向扩散模型的极端潜空间压缩方法。它通过“结构到细节”的累积前缀表示,让少量潜token同时满足计算效率、重建质量和生成质量三个目标。该方法为潜通道分组排序,早期通道表达整体结构,后续通道逐步补充细节,并用异步去噪调度在不同时间窗内分别处理各组。在 ImageNet 512×512 实验中,APEX 在 64× 与 128× 空间压缩下显著提升生成效果,64-token 模型在推理预算相当的情况下全面优于 256-token 基线,为世界模型开发提供了高效表示设计原则。
本期 INDIGO TALK 对谈字节前工程师郭宇,从 2015 年字节作为神经网络驱动公司的往事讲起,谈到抖音意外胜出的内幕、Vibe Coding 背后的决策负担与工程师倦怠、Agent OS 的未来图景、智能的五个层次与商品化,以及软件为何会像牛奶一样便宜。当软件可以随时生成、用完即丢,个人化软件让分发失去意义,我们真正要交付的是什么?最后讨论当工作不再是必选项时,年轻人该如何选择人生方向。
文章深度还原了2024年字节跳动视频生成模型Goku训练故障事件。团队经历数月无法解释的训练异常,上百名工程师参与排查,最终发现PyTorch代码被篡改、共享服务器上存在隐藏攻击代码,矛头指向实习生田柯宇。字节随后辞退并起诉田柯宇。两年后,田柯宇获近3000万美元融资并在播客中重提旧事,称自己出于“朴素的正义”,引发前同事公开回应与争议再起。文章通过多方访谈呈现排障细节、字节的处理过程,并探讨AI人才竞争中成果与手段的伦理问题。
文章介绍 Anthropic 最新报告显示 Claude 已能作为“超级博后”全自动完成科研任务。仅凭一段 Prompt,Claude 可自主读文献、串联蛋白质开源模型,24-48 小时内完成 de novo 蛋白质设计;湿实验验证中 15 个靶点成功 14 个,单靶点命中率高达 35.1%,攻克了 TNFα 等地狱级靶点并实现跨物种结合。此外 Claude Opus 5 仅用 19 分钟即逆向解析 NMR 与质谱原始数据,纯度计算结果与人类专业实验室几乎一致。作者认为 AI 正从工具人进化为自主科研决策者,未来科研竞争将转向提出有价值的科学问题。
文章解读了一篇关于 FDE(Forward Deployed Engineer)的论文《FDE-Gym》。该论文将真实企业项目改造成覆盖金融、医疗、制造、能源等 18 个行业的 95 个任务,评测 AI Agent 承担真实企业交付工作的能力。Agent 仅获得客户最初的一句话需求,需自行读文档、查系统、确认信息并判断客户真正的问题。评分不仅要求完成需求,还要求交付系统真正改善业务指标,乱找人、反复试错都会产生成本。结果显示最强模型平均得分仅 0.56,95 个任务中仅真正解决 14 个,最大瓶颈在于未写入需求的业务规则、隐性约束以及客户未表达清楚的问题。文章指出 FDE 的难点在于在信息不完整、需求模糊的环境里判断该解决什么并真正交付。
本文是 Paul Graham《What I Worked On》的中文编译,作者回顾了自己早年写作与编程的经历:从中学接触 IBM 1401 与 Fortran,到拥有 TRS-80 后真正开始编程;大学从哲学转向人工智能,自学 Lisp 并重实现 SHRDLU;研究生时期看清早期符号主义 AI 的局限,转而专注 Lisp 并写作《On Lisp》。毕业后赴佛罗伦萨美术学院学画,经历艺术院校的失望,后在美国靠编程与自由职业维生,在 Interleaf 工作并总结出“低端吞掉高端”等重要经验。文章展现了作者在写作、编程与绘画之间追寻能长久留存之事的探索历程。
文章梳理了曾因在字节跳动实习期间恶意篡改代码被起诉索赔800万元的田柯宇,如今创立世界模型实验室并获五源资本合伙人孟醒领投近3000万美元的事件。作者深入调查孟醒的十五年的职业履历,指出其在Orbeus、知图科技、滴滴自动驾驶等公司的经历存在时间线重叠与美化的痕迹:每逢商业化进入艰难阶段便抽身离场,却将留守团队多年熬出的收购成果包装为自己的'成功退出'。文章质疑这位自称把'价值观契合'放在最高优先级的投资人,为何领投中国AI行业职业诚信争议最大的年轻人,揭示了创投圈叙事包装与职业诚信的深层矛盾。
Google DeepMind 9 月发布的论文《Agentic Economies for Autonomous Scientific Discovery》主张,AI 科研的真正瓶颈不在想法生成而在资源有限的验证,需设计市场与制度解决协作、信用分配、问责与安全问题。AI 裁判 Pith 批评其核心论点与自引证据相悖且缺乏实证。产业侧 Molecule 的 Onchain Lab 已按论文要求施工。实验证据双向:Economy of Minds 的拍卖机制大幅提升 agent 任务表现,而另一实验显示仅有经济角色不会产生交易,需可验证的工作与权利。结论:经济制度的威力来自可验证性,而非价格标签。
作者分享了在 M2 Pro Mac 上将 Qwen-Image 2.1 改图时间从 30 分钟压到 6.8 分钟(提速4.5倍)的完整方法论。首先通过耗时拆解定位瓶颈,然后叠加四个优化点:换用 Turbo 模型将去噪从20步降至8步;将 VAE 编解码切换到苹果 MLX 框架,从315秒降到15秒;实测发现 Q8 与 Q4 量化在扩散模型上速度相同,因此选用画质更好的 Q8;利用块因果结构实现前缀 KV 缓存,使每步采样时间减半。作者还用该流水线完成了一段10秒视频的逐帧换装,并通过肤色基准校正、锚点补偿和时序平滑三层方案解决了误差累积问题。
作者认为 TRAE 是国内 AI Coding 领域第一,TraeWork 和 TraeCode 合并后成为最接近 Codex 的 Agent Harness。文章通过多个实际案例展示 TRAE 能力:用电脑控制和浏览器控制插件自动调研 Producthunt 产品;10 分钟开发 Obsidian UI 学习插件并上架;20 分钟将插件移植到 DeepSeek Harness;通过绑定微信、飞书随时随地远程修 Bug、合并代码;办公学习方面有模板库和飞书文档集成。作者认为 TRAE 三端打通、双模式设计(SOLO 和 IDE),让 AI Agent 覆盖更广人群,即使界面像 Codex 也无妨。