🏷️ JEPA

什么是世界模型？(WTF is a World Model?)

本文深入探讨了人工智能领域热门概念“世界模型”。文章指出世界模型是一个问题陈述而非特定架构，类似于SLAM。文章通过自动驾驶案例阐述了Yann LeCun的形式化定义（状态预测与渲染分离），并对比了当前三种主流范式：生成式模型（如Sora）、潜在动力学模型（如Dreamer）以及JEPA架构，分析了它们在压缩策略和预测目标上的差异。

谢赛宁对LLM的判断：从Sora关停到世界模型的崛起

文章从OpenAI关停Sora切入，深入探讨了Sora核心架构DiT创造者谢赛宁对大语言模型（LLM）的根本性质疑。谢赛宁认为LLM只是在模仿语言的统计规律，而非理解世界，语言是“鸦片”。文章详细阐述了基于抽象表征空间的预测架构（JEPA）和世界模型才是通往通用智能的正确路径，并指出未来的AI架构中，LLM将退化为仅用于交流的界面，而表征层才是真正的基石。

LeWorldModel: 利用双损失函数从像素中学习稳定的物理世界模型

文章介绍了 LeWorldModel (LeWM)，一种新的世界模型架构。它解决了当前世界模型（如 DINO-WM 和 PLDM）的局限，仅通过两个损失项（Next-embedding 预测损失和 SIGReg）实现了从原始像素开始的稳定端到端训练。实验表明，LeWM 能在潜在空间中自发涌现出时间直线性和物理约束，有效避免了表示偏差和模型崩塌问题。