# 翻译： 李飞飞关于世界模型的分类
**作者**: Mr Panda
**日期**: 2026-06-03T18:57:10.000Z
**来源**: [https://x.com/PandaTalk8/status/2062490267551477771](https://x.com/PandaTalk8/status/2062490267551477771)
---
# 世界模型的功能分类
> “世界是一切实际发生之事。”——路德维希·维特根斯坦，《逻辑哲学论》，1921
## 世界不是由词语构成的。
在一篇早前的文章中，我们曾提出：空间智能将成为 AI 的下一个前沿，而世界模型正是通往空间智能的道路。本文想进一步追问一个更具体的问题：今天有许多系统都被称为“世界模型”，但它们到底分别承担哪些功能？这些功能又共同组成了怎样的能力？
语言模型已经让机器在概念、词汇和推理上表现出惊人的能力。但无论是真实世界还是虚拟世界，物理世界都运行在另一种基础之上。语言模型学习的是文本的统计结构；世界模型学习的则是空间和时间的统计结构：光线如何落在物体表面，一个花园从未被相机拍到的角度看起来会怎样，物体如何受力、运动并遵守物理定律。
也正因为如此，“世界模型”成了当今 AI 领域中最重要、也最容易被混用的术语之一。计算机视觉、机器人学、强化学习和生成式 AI 都说自己在构建世界模型，但它们指向的东西并不相同。一个能生成华丽但物理上不可能的火焰的视频模型，一个能即兴生成可玩游戏的语言模型，一个能忠实模拟燃烧过程的物理引擎，都可能被冠以“世界模型”之名。
这种混乱并不新鲜。古希腊人也从未真正就世界由什么构成达成一致：是火，是水，还是不可分割的原子？原因在于，“世界”从来不是一个单一对象。它更像是一个占位词，代表某个思想家为了推理而需要纳入考虑的整体。AI 今天继承了这个问题，而它恰恰发生在整个领域最需要精确定义的时候。
## 分类背后的循环
要厘清这种混乱，可以从一张比当下任何技术都更早出现的图开始。强化学习教材，包括 Sutton 和 Barto 的经典教材，几十年来一直用类似的图来描述智能体如何与世界互动。这个框架的正式名称是部分可观测马尔可夫决策过程，即 POMDP。“世界模型”这个术语最初的技术含义，也来自这一传统。
在这个循环中，智能体可以是人、机器人，也可以是软件系统。智能体采取行动，行动改变世界的状态。但智能体并不能直接看到完整状态。它能接收到的只是观察：落在视网膜上的光子、传感器读数，或者视频帧中的像素。新的观察会影响新的行动，循环由此不断继续。
这里的“状态”需要特别说明。它不是化学意义上固体、液体、气体的状态，而是物理学和机器人学意义上的状态：某一时刻世界中正在发生的一切的完整描述，包括每个物体、每个位置、每个速度和每种属性。状态是世界的底层现实；原则上它是完整的，但对于身处世界之内的任何智能体来说，它都不可能被直接完整看见。观察，是智能体对这种现实的局部视角。行动，则是智能体基于观察做出的回应。
“智能体 -> 行动 -> 状态 -> 观察 -> 智能体”，正是这个循环赋予了“世界模型”现代技术语境中的含义。这个词本身还可以追溯到更早的 Kenneth Craik。他在 1943 年提出，人类心智通过运行现实的“小尺度模型”来进行推理。到 20 世纪 80 年代末和 90 年代初，这个概念又进入了神经网络研究。
这个循环也解释了为什么今天许多不同系统都会被称为世界模型。它们其实是同一个循环的不同投影：有的输出观察，有的输出状态，有的输出行动。
## 世界模型的三种功能
第一类世界模型是渲染器。渲染器输出的是观察，通常是面向人眼的像素。它最重要的质量指标是视觉保真度。一个把文本提示变成电影级无人机航拍镜头的视频模型，就是渲染器。像 Google 的 Genie 3，或者 World Labs 的 RTFM 这样的交互式系统也属于这一类，因为它们会根据用户输入实时生成画面。
渲染器并不一定显式理解三维结构。它生成的是观看者会看到的画面，而不一定是世界真实存在的结构。无人机镜头里的建筑从上方看可能完美无缺，但如果你试图开车穿过下方的城市，这些建筑和街道可能很快就会崩塌。
第二类世界模型是模拟器。模拟器输出的是状态：一种在几何、物理或动态上忠实于世界的表示，人类和计算机程序都可以在其上计算、检查并交互。
渲染器的承诺是视觉上的，模拟器的承诺则是结构上的。它需要几何结构经得起检查，物理行为符合牛顿定律，动态过程按照世界应有的方式演化。模拟器同时服务两类使用者。一类是建筑师、设计师、电影制作人和游戏开发者等人类专业人士，他们需要的不只是“看起来合理”，而是更高层次的准确性。另一类是强化学习智能体、机器人控制器和自动驾驶系统等计算机程序，它们把模拟器当作训练场，在其中大规模测试那些在现实世界中危险、昂贵或根本无法执行的场景。
第三类世界模型是规划器。规划器输出的是行动。给定一个观察和一个目标，规划器要回答的问题是：智能体下一步应该做什么？
从很多方面看，规划器正好是渲染器的反面。渲染器接收行动或条件，生成观察；规划器接收观察和目标，生成行动，由此闭合感知与行动之间的循环。视觉-语言-行动模型、基于模型的系统，以及新一波 World Action Models，都是在朝规划器方向努力：它们试图让机器人在非结构化世界中判断自己应该采取什么动作。
这三个类别可以描述今天大多数已经进入产品或研究演示的系统，在实践中也很有用。但它们并不是彼此割裂的。支撑三者的是同一种底层知识：世界如何在几何、物理和动态上运作。原则上，一个能从任意角度渲染杯子的模型，也应该能够模拟杯子被推动后会发生什么，并规划一只手如何把杯子拿起来。越来越多有意思的研究，正在主动模糊这三者之间的边界。
## 为什么模拟是关键枢纽
在渲染器、模拟器和规划器三类世界模型中，模拟器得到的公众关注最少，但它可能是最关键的一类。这种不对称，正是本文想强调的重点。
渲染器无疑是目前商业上最成熟的方向。图像生成和文本生成视频产品正在快速进入消费者市场和企业市场。Google 的 Nano Banana 模型已经把高质量图像生成能力交到了潜在数亿用户手中。技术是真实的，市场也是真实的。
但渲染器优化的是视觉可信度，而不是物理准确性。这个上限很重要。它们可以生成非常美的画面，却不能被信任用来设计建筑，也不能直接用来训练机器人。
规划器则最令人兴奋，也最处于早期阶段。它与快速发展的机器人学习密切相关。过去两年，机器人领域出现了许多在视频中看起来很惊艳的演示，但我们需要诚实地看待这些演示究竟证明了什么。几乎所有演示都发生在高度受控的实验室环境中，物体集合有限，任务时长也很短。它们还没有在真实部署所要求的复杂性、变化性和持续时间上得到验证。
一段令人信服的演示视频，和一个能在厨房、仓库或手术室中可靠工作的机器人之间，仍然隔着巨大的距离。尽管如此，商业投入已经非常可观。一批资金充足的新公司正在竞相推出通用规划系统，而大型基础设施公司也在把规划能力放到更广泛的模拟技术栈之上。能够规划的机器人，才可能真正工作。因此，整个行业都在争夺这一目标。
模拟，是连接渲染与规划的桥梁。如果语言是世界的抽象，像素是世界的投影，那么几何、物理和动态过程就更接近世界本身。模拟器必须在这个层面工作。它提供结构性的骨架，渲染器可以从中导出视觉外观，规划器也可以从中推断行动后果。
一个掌握模拟的模型，可以把自己的理解投射成像素，供人类观看；也可以投射成行动预测，供具身智能体使用。只掌握渲染或只掌握规划的模型，都很难做到这一点。
模拟的商业空间同样巨大。仅 NVIDIA 的 Omniverse，就瞄准了公司估计超过一万亿美元的可服务市场，覆盖工厂、仓库、供应链和数字孪生。机器人训练、自动驾驶测试、建筑可视化、工程设计和药物发现，也都依赖某种形式的模拟能力。
当然，最困难的问题也集中在这里。带有显式几何、材料属性和物理标注的三维数据，比训练渲染器所需的互联网视频稀缺好几个数量级。仿真到现实的差距，也就是 sim-to-real gap，仍然存在。生成式模拟器还会带来新的风险：AI 生成的几何结构可能看起来正确，却包含自相交、尺度错误等问题，最终产生荒谬的物理结果。大规模多物理场模拟，也就是让刚体、可变形物体、流体和布料共同作用，计算成本仍然远高于单一领域模拟。
在 World Labs，Marble 是进入这一领域的第一步。它可以接收文本、图像、视频或空间草图等多模态提示，生成可探索的 3D 环境。它既输出用于视觉探索的 Gaussian splats，也输出物理引擎可以操作的碰撞网格。但 Marble 只是一个更长故事的开端。随着渲染、模拟和规划之间的边界开始坍缩，整个领域正在共同走向新的阶段。
## 边界正在坍缩
接下来，更重要的变化还会发生。当前世界模型领域最关键的趋势，是这三个类别正在相互融合。其背后的共同洞见是：渲染一个世界、模拟一个世界、并在这个世界中行动，所需要的知识在很大程度上是同一套知识。
继续以杯子为例。一个真正理解杯子如何放在桌面上的模型，应当理解它的几何结构、材料属性、受力响应等信息。基于这种理解，它应该能从任意角度渲染杯子，模拟杯子被推动后会怎样，也能规划一只手如何把杯子拿起来。渲染器、模拟器和规划器，其实是同一种底层理解的三种投影。
一些来自机器人实验室的近期研究已经显示，至少在概念上，预训练的视频渲染器可以作为联合世界预测与行动预测的骨干。这意味着渲染器和规划器之间存在一座桥：同一个模型既可以想象接下来会发生什么，也可以推断应该做什么。
与此同时，World Labs 的 Marble 已经能够从单个模型同时输出 Gaussian splats 和碰撞网格，开始消解渲染器与模拟器之间的边界。每一个层级都在从被动输出转向交互系统：渲染器开始以行动为条件，模拟器开始生成更可控、更可编辑的世界，规划器也开始从简单反应走向更深的思考与推演。
## 统一世界模型
这一趋势的逻辑终点，是统一的世界模型：一个基础模型能够渲染照片级真实的视图，生成物理上准确的结构，并规划行动序列；它可以根据下游使用者的需要，在不同输出模态之间切换。
要走到这一步，仍然有许多艰巨挑战。数据基础并不均衡：渲染器拥有海量互联网视频，而模拟器和规划器都面临 3D 资产和机器人演示数据短缺的问题。对视觉美感的优化，可能会牺牲机器人或高保真模拟所需的精度。如何在同一个架构中调和这些张力，是今天世界模型研究最核心的开放问题之一。World Labs 继续演进 Marble，正是为了面对这个问题。
不过，方向已经很清楚。从 20 世纪 80 年代末开始，这个领域就一直在押注同一个命题：一个足够丰富的世界模型，或许就是任何智能体看见世界、构建世界并在其中行动所需的一切。今天，这个赌注正在驱动新一代研究。
让这个“大赌注”变得有分量的，是已经发生的汇合。渲染、模拟和规划这三条线索，原本是彼此分离的研究计划，如今每一条都已经支撑并塑造着数十亿美元规模的产业。现在，它们开始表现得越来越像同一个整体。随着三者边界继续坍缩，它们将重塑更宏大的关系：机器智能与其所处物理世界之间的关系，也就是空间智能的漫长道路。
语言让机器拥有了谈论世界的方式。世界模型，则将让机器最终学会理解、想象、推理并与这个世界互动。
## 相关链接
- [Mr Panda](https://x.com/PandaTalk8)
- [@PandaTalk8](https://x.com/PandaTalk8)
- [6.9K](https://x.com/PandaTalk8/status/2062490267551477771/analytics)
- [Jun 4](https://x.com/drfeifei/status/2062247238143996275)
- [627K](https://x.com/drfeifei/status/2062247238143996275/analytics)
- [早前的文章](https://drfeifei.substack.com/p/from-words-to-worlds-spatial-intelligence)
- [Upgrade to Premium](https://x.com/i/premium_sign_up)
- [7:02 PM · Jun 4, 2026](https://x.com/PandaTalk8/status/2062490267551477771)
- [6,916 Views](https://x.com/PandaTalk8/status/2062490267551477771/analytics)
---
*导出时间: 2026/6/5 09:59:31*