世界模型的功能分类法:渲染、模拟与规划
本文由李飞飞撰写,旨在厘清当下 AI 领域中“世界模型”这一概念的混淆。文章基于强化学习中的智能体循环框架,将现有的世界模型划分为三类:侧重视觉保真度的“渲染器”、侧重物理与几何结构准确的“模拟器”,以及侧重决策输出的“规划器”。作者强调,模拟器虽然公众关注度较低,但连接了视觉与行动,是实现物理世界精准交互的关键,也是空间智能的核心所在。
本文由李飞飞撰写,旨在厘清当下 AI 领域中“世界模型”这一概念的混淆。文章基于强化学习中的智能体循环框架,将现有的世界模型划分为三类:侧重视觉保真度的“渲染器”、侧重物理与几何结构准确的“模拟器”,以及侧重决策输出的“规划器”。作者强调,模拟器虽然公众关注度较低,但连接了视觉与行动,是实现物理世界精准交互的关键,也是空间智能的核心所在。
文章极具时效性与洞察力,深刻剖析了世界模型的三重分类(渲染、模拟、规划),逻辑清晰且概念界定严谨,但偏向理论与宏观探讨,缺乏具体的落地实操步骤。
本文深入探讨了人工智能领域热门概念“世界模型”。文章指出世界模型是一个问题陈述而非特定架构,类似于SLAM。文章通过自动驾驶案例阐述了Yann LeCun的形式化定义(状态预测与渲染分离),并对比了当前三种主流范式:生成式模型(如Sora)、潜在动力学模型(如Dreamer)以及JEPA架构,分析了它们在压缩策略和预测目标上的差异。
作者因厌倦在YouTube、Google和大学网站间费力搜寻AI学习资源,整理了一份完全免费的AI课程大全,涵盖350多门课程和5000多个讲座。内容按主题分类,包括深度学习、机器学习基础、优化、强化学习、概率图模型、贝叶斯深度学习、医学影像、图神经网络、NLP、语音识别、计算机视觉等14个方向。课程来源包括Geoffrey Hinton、Andrew Ng、Andrej Karpathy、Richard Socher等名师在多伦多大学、斯坦福、牛津、MIT、CMU、DeepMind等机构的经典课程,并附有课件和视频链接。
文章介绍了NYU Tandon 2026年秋季由Anthropic研究员Pavel Izmailov开设的研究生课程《Language Models, Reinforcement Learning, Reasoning》。课程共13周,除Sutton & Barto教材外全部使用原始论文,沿「预训练→架构与训练效率→后训练RL→对齐与安全→前沿与未来」的主线展开,涵盖Attention机制、扩展律、Muon优化器、RLHF、GRPO与RLVR、奖励过优化、可扩展监督以及世界模型等前沿主题。文章分析了课程叙事逻辑,指出RL重回舞台中心、中国实验室工作成为正典、安全对齐被当作工程学科等趋势,并给出自学者建议。
李飞飞宣布其创办的空间智能公司 World Labs 将加入 AMD,她本人将出任 AMD 执行副总裁兼首席科学家。文章回顾了她自 2000 年进入 AI 领域以来的历程,包括 ImageNet、Google Cloud AI 和斯坦福 HAI 的工作,以及 2024 年与 Ben Mildenhall、Justin Johnson 共同创立 World Labs,专注空间智能与物理世界推理。公司发布了 Atlas 模型,解决了新视角预测等关键问题。她认为与 AMD 的软硬件整合能加速 AI 解决药物研发、机器人等现实问题,并以'寻求新世界'表达对未来的期待。
南洋理工大学S-Lab与大晓机器人等机构发布统一世界模型Puffin-World,让同一模型原生理解物理方向、空间几何和视觉外观,实现三维世界生成与重建,无需依赖外部模型。模型将世界表示为物理状态(重力场、纬度图)、几何状态(深度)和外观状态(RGB)三种关联状态,并提出Omni-Camera统一相机表示,结合绝对与相对相机信息。该框架在表征、模态、任务三个层面实现统一,支持相机参数估计、自由视点生成、3D场景重建等任务,并构建了包含1500万组视觉-语言-相机数据的Puffin-16M数据集,在多个基准上取得领先结果。
李飞飞创立的 World Labs 发布了新的多模态世界模型 Atlas,用户只需一张图片即可创建完整的 3D 空间场景并自由运动,模型还能理解时间演变规律。Atlas 可将多张输入图像锚定在共享三维空间上下文中,支持三大任务:一是从参考图出发,以像素级精确的相机控制生成图像或最长 1 分钟的 1440p 视频;二是用少量图片重建真实 3D 场景,生成点云和 3D 高斯泼溅结果,效果超过专门的 3D 优化模型;三是时空仿真,可将普通手机视频重制为“子弹时间”效果,并为机器人训练生成测试数据。
智象未来发布 HiDream-O1-World,定位为全球首款原生全模态交互式世界模型。它提供漫游、编辑和交互三类核心能力,用户可自由探索视角、通过文字语音实时改变场景与角色行为。技术上依托 3D 先验注入 Memory 上下文与 TTT 机制解决时空一致性与物理一致性,其 DreamWorld 论文被 ECCV 2026 录用。该模型在 WBench 榜单综合得分 80.9 位列第一,未来可应用于互动影游、具身智能仿真等方向,标志着 AI 从生成画面走向生成世界。
本文基于对李飞飞两小时访谈的思考,探讨了AI时代人类“主体性”的重要性。作者指出,AI不仅能学习写作模式,还能帮助人们看见习惯和盲区,但关键在于如何使用:是直接获取答案,还是用它来拓展思考。文章强调,对孩子而言,AI可能剥夺他们与困难相处的机会,因此教育者需参与规则设计。同时,作者认为语言模型虽强,但世界不只由语言构成,空间智能提供了另一种理解方式。最后,作者提出三个问题,提醒人们在AI辅助下保持主动性和判断力,避免过早交出方向盘。
文章综述了本周五篇重要的 AI 论文。1. Agentic Harness Engineering 提出了可验证的三层演化模型,显著提升了编程 Agent 的 Pass@1 率;2. AgenticQwen-30B 展示了高效的 MoE 模型在工具使用任务上的能力;3. Agentic World Modeling 提出了按定律分级的世界模型分类法;4. RecursiveMAS 通过潜空间递归计算解决了多 Agent 通信的 Token 膨胀问题;5. OneManCompany 探索了动态人才市场的多智能体协作模式。
文章介绍了 LeWorldModel (LeWM),一种新的世界模型架构。它解决了当前世界模型(如 DINO-WM 和 PLDM)的局限,仅通过两个损失项(Next-embedding 预测损失和 SIGReg)实现了从原始像素开始的稳定端到端训练。实验表明,LeWM 能在潜在空间中自发涌现出时间直线性和物理约束,有效避免了表示偏差和模型崩塌问题。