翻译:李飞飞关于世界模型的分类
本文基于李飞飞的观点,深入探讨了“世界模型”这一AI术语在当前语境下的定义与功能。文章通过强化学习中的POMDP框架,将世界模型系统分为三类:输出视觉观察的“渲染器”、输出物理状态的“模拟器”以及输出行动指令的“规划器”。作者指出,尽管渲染器目前商业应用最成熟,但模拟器作为连接视觉与行动的桥梁,是实现空间智能和通用机器人的关键。文章最后预测,这三类功能的边界将逐渐坍缩,最终融合为一个统一的、能够理解并交互物理世界的基础模型。
本文基于李飞飞的观点,深入探讨了“世界模型”这一AI术语在当前语境下的定义与功能。文章通过强化学习中的POMDP框架,将世界模型系统分为三类:输出视觉观察的“渲染器”、输出物理状态的“模拟器”以及输出行动指令的“规划器”。作者指出,尽管渲染器目前商业应用最成熟,但模拟器作为连接视觉与行动的桥梁,是实现空间智能和通用机器人的关键。文章最后预测,这三类功能的边界将逐渐坍缩,最终融合为一个统一的、能够理解并交互物理世界的基础模型。
本文是 Saturday Robotics 读书会第33期的观点总结,主讲人 Tonghe Zhang(CMU)提出:当 GPT-6 Astra 等前沿语言模型能力'溢出'后,机器人学的经典瓶颈将不再是研究问题,而是编码智能体可解决的工程循环。文章总结12个核心观点:灵巧性本质是奖励问题、上下文学习免费获得、硬件即代码、Sim-to-Real 是优化问题、验证是关键货币、低层控制无需思维链等。核心论断是端到端方案在可行处总是胜出,结构化只是临时脚手架,语言模型将缓慢而突然地'吞噬'机器人学。
文章指出机器人研发正处于开源红利期,个人开发者可借助成熟开源框架在数周内跑通从仿真训练到真机部署的完整闭环。作者按技术栈分层整理了经过工程验证的开源项目:足式强化学习(rsl-rl、AMP、TienKung-Lab、unitree_rl_gym)、模仿学习(ALOHA-ACT、Diffusion Policy)、VLA 具身大模型(OpenVLA、Octo、LingBot)、一站式框架 LeRobot、传统动力学求解库(Pinocchio、Acados)、MuJoCo 仿真模型库,以及 Awesome 学习资源清单,并给出四步最简上手顺序建议。
南洋理工大学S-Lab与大晓机器人等机构发布统一世界模型Puffin-World,让同一模型原生理解物理方向、空间几何和视觉外观,实现三维世界生成与重建,无需依赖外部模型。模型将世界表示为物理状态(重力场、纬度图)、几何状态(深度)和外观状态(RGB)三种关联状态,并提出Omni-Camera统一相机表示,结合绝对与相对相机信息。该框架在表征、模态、任务三个层面实现统一,支持相机参数估计、自由视点生成、3D场景重建等任务,并构建了包含1500万组视觉-语言-相机数据的Puffin-16M数据集,在多个基准上取得领先结果。
Microduck 是 Hugging Face 旗下 Poollen Robotics 推出的迷你双足具身智能开发平台,高约 25cm、重 800g,配备 15 个舵机和 RK3566 主控。其动态行走、自起、拾物、踢球、前滚翻及轮滑等动作均基于强化学习训练:使用 MuJoCo 仿真平台和 PPO 算法,结合域随机化建模齿隙、电压衰减与控制延迟,实现 Sim2Real 迁移,策略以 ONNX 导出端侧部署。软件采用 Rust 微服务守护进程架构,通过 Unix Socket + JSON-RPC 通信,robotd 独占底层控制并执行安全校验,updaterd 提供带签名校验与健康检查的自愈型 OTA 更新机制。
本文基于对李飞飞两小时访谈的思考,探讨了AI时代人类“主体性”的重要性。作者指出,AI不仅能学习写作模式,还能帮助人们看见习惯和盲区,但关键在于如何使用:是直接获取答案,还是用它来拓展思考。文章强调,对孩子而言,AI可能剥夺他们与困难相处的机会,因此教育者需参与规则设计。同时,作者认为语言模型虽强,但世界不只由语言构成,空间智能提供了另一种理解方式。最后,作者提出三个问题,提醒人们在AI辅助下保持主动性和判断力,避免过早交出方向盘。
文章批评了仅靠堆砌人类数据解决机器人问题的观点,深度解析了 Physical Intelligence 的 π0.7 论文。π0.7 通过拒绝仿真数据、利用子目标图像作为引导(Affordances)、以及增加详细的任务元数据(如子目标、子任务指令)来解决数据冲突,实现了跨具身迁移和更好的指令遵循。作者指出,机器人数据公司应通过自建机器人并提供高质量注释来创造价值,而非单纯销售原始数据。
文章作者以其公司 microagi 计划部署十亿台机器人为引,探讨机器人普及将带来物质极大丰裕的"富足世界",从根本上消除经济学赖以成立的资源稀缺假设。但同时指出,通用机器人将取代大量体力劳动岗位,若经济制度不变,数百万人将失去收入、地位与人生意义。作者认为机器人界回避了这一困境:若不解决分配问题,公众与政府将联合阻止机器人部署,富足将无法实现。文章回顾机器人技术的快速进展(Figure AI、Generalist、Gemini Robotics 等),并指出当前可验证任务最易被自动化,最后以欧洲为焦点讨论三种未来路径。
本文是硅谷101 Alignment 峰会 Day 1 下半场的深度纪要,总结出 AI 落地的四道坎:本体、评估、信任、维护,且四道坎都不在模型本身。机器人领域模型大小被物理参数封顶,数据质量与多样性之争可统一为数据金字塔,触觉数据与跨本体抽象是关键;世界模型定义仍在发散,AMD 收购 World Labs 释放垂直整合信号,评估工具的缺失是最大短板;Agent 的真正瓶颈是信任而非模型,企业需渐进开放权限,云端 agent 基础设施有大量脏活,交互范式需摆脱聊天框。作者结合一线信号给出创业与投资判断。