Wiki 知识库

全部文档 / 标签: 世界模型

29 篇
清除

Google的世界模型Genie 4正式发布,这一次,世界终于要活过来了。

Google DeepMind发布新一代世界模型Genie 4,作者从游戏与VR玩家视角解读其三大进步:照片级画质与物理交互、世界一致性与实时控制、原生同步音频与角色实时对话。文章科普了世界模型两条技术路线——Google Genie代表的视频生成路线与李飞飞World Labs代表的3D高斯泼溅路线,指出二者各有优劣并正在合流:World Labs推出全能世界模型Atlas,Google则在Genie 4中引入Gemini作为引导智能体负责规划。作者展望世界模型将改变开放世界游戏、互动影游的内容生产逻辑,催生游戏、电影与互动叙事之间的全新媒介。

技术 › LLM 数字生命卡兹克 2026-10-2815.5 KB 2.6K 19 65

APEX: Better generation from fewer tokens

APEX(Asynchronous Prefix denoising for EXtreme compression)由 Lightricks 与耶路撒冷希伯来大学联合研发,是一种面向扩散模型的极端潜空间压缩方法。它通过“结构到细节”的累积前缀表示,让少量潜token同时满足计算效率、重建质量和生成质量三个目标。该方法为潜通道分组排序,早期通道表达整体结构,后续通道逐步补充细节,并用异步去噪调度在不同时间窗内分别处理各组。在 ImageNet 512×512 实验中,APEX 在 64× 与 128× 空间压缩下显著提升生成效果,64-token 模型在推理预算相当的情况下全面优于 256-token 基线,为世界模型开发提供了高效表示设计原则。

技术 › LLM LTX.io 2026-10-1714.8 KB 1.4M 91 67

谁领投了字节投毒实习生田柯宇

文章梳理了曾因在字节跳动实习期间恶意篡改代码被起诉索赔800万元的田柯宇,如今创立世界模型实验室并获五源资本合伙人孟醒领投近3000万美元的事件。作者深入调查孟醒的十五年的职业履历,指出其在Orbeus、知图科技、滴滴自动驾驶等公司的经历存在时间线重叠与美化的痕迹:每逢商业化进入艰难阶段便抽身离场,却将留守团队多年熬出的收购成果包装为自己的'成功退出'。文章质疑这位自称把'价值观契合'放在最高优先级的投资人,为何领投中国AI行业职业诚信争议最大的年轻人,揭示了创投圈叙事包装与职业诚信的深层矛盾。

投资 › 宏观经济 sleepy 2026-10-1526.6 KB 22.5K 16 86

AI 落地的四道坎 -- 本体、评估、信任、维护 | 峰会洞察 02

本文是硅谷101 Alignment 峰会 Day 1 下半场的深度纪要,总结出 AI 落地的四道坎:本体、评估、信任、维护,且四道坎都不在模型本身。机器人领域模型大小被物理参数封顶,数据质量与多样性之争可统一为数据金字塔,触觉数据与跨本体抽象是关键;世界模型定义仍在发散,AMD 收购 World Labs 释放垂直整合信号,评估工具的缺失是最大短板;Agent 的真正瓶颈是信任而非模型,企业需渐进开放权限,云端 agent 基础设施有大量脏活,交互范式需摆脱聊天框。作者结合一线信号给出创业与投资判断。

技术 › Agent Cloris 2026-10-1388.1 KB 8.2K 22 82

Language Will Eat Robotics, Slowly, Then Suddenly

本文是 Saturday Robotics 读书会第33期的观点总结,主讲人 Tonghe Zhang(CMU)提出:当 GPT-6 Astra 等前沿语言模型能力'溢出'后,机器人学的经典瓶颈将不再是研究问题,而是编码智能体可解决的工程循环。文章总结12个核心观点:灵巧性本质是奖励问题、上下文学习免费获得、硬件即代码、Sim-to-Real 是优化问题、验证是关键货币、低层控制无需思维链等。核心论断是端到端方案在可行处总是胜出,结构化只是临时脚手架,语言模型将缓慢而突然地'吞噬'机器人学。

技术 › 机器人 Junfan Zhu 朱俊帆 2026-10-1249.0 KB 14.5K 32 75

字节投毒实习生田柯宇携世界模型创业回归,10人团队估值近2亿美元

曾因字节投毒事件轰动国内AI圈的田柯宇现已创业,致力于世界模型研发。其核心思路是让AI自创一套约20万符号的专属语言来表示、压缩和预测视频,而非依赖人类语言理解世界,计划喂入1亿小时视频训练基座模型,目标是让AI真正理解空间、运动和物理规律,未来服务于机器人、自动驾驶等领域。该10人团队尚无产品,已获五源资本、IDG等近3000万美元融资,估值近2亿美元。文章还澄清了当年事件真相:法院判决仅因违约赔偿50万元,与网络传言差距巨大。田柯宇离开字节后曾获NeurIPS 2024最佳论文。

技术 › LLM Max For AI (@MaxForAI) 2026-10-084.9 KB 60

NYU 13周研究生课:LLM推理时代的前沿全景

文章介绍了NYU Tandon 2026年秋季由Anthropic研究员Pavel Izmailov开设的研究生课程《Language Models, Reinforcement Learning, Reasoning》。课程共13周,除Sutton & Barto教材外全部使用原始论文,沿「预训练→架构与训练效率→后训练RL→对齐与安全→前沿与未来」的主线展开,涵盖Attention机制、扩展律、Muon优化器、RLHF、GRPO与RLVR、奖励过优化、可扩展监督以及世界模型等前沿主题。文章分析了课程叙事逻辑,指出RL重回舞台中心、中国实验室工作成为正典、安全对齐被当作工程学科等趋势,并给出自学者建议。

技术 › LLM meng shao 2026-10-0512.9 KB 7.9K 72 80

Opus 5.5:从大语言模型,到世界模型?

本文是 Next Token 播客第 004 期的聊天实录,由 Orange AI 与歸藏、杨攀、向阳乔木等围绕 Anthropic 最新发布的 Opus 5.5 展开讨论。文章梳理了 Opus 5.5 刷屏的三类内容:纯代码生成的品牌宣传片、具备物理互动打击感的像素动画,以及操作电脑绘画的能力。嘉宾们认为该模型已从“软件操作工”进化为有审美判断的“熟练工”甚至“天才员工”,并探讨其是否已具备世界模型特质、Skill 与 MCP 内化带来的智能提升、以及内容创作行业中人的角色变化等话题,最后展望了模型自我迭代(RSI)的可能性。

技术 › LLM Orange AI 2026-09-2911.7 KB 16.9K 31 68

The best founders are world builders

文章提出最优秀的创始人是“世界构建者”:创业公司通过 fork 现实构建新世界,并吸引用户进入。作者回顾了 CRM 从 ACT!、Siebel 到 Salesforce 的发展史,指出传统 CRM 将丰富动态的客户关系压缩为静态表格,在代码和设计可被轻易复制的时代,真正的护城河在于对用户的深刻理解。随着 LLM 等前沿智能的出现,创始人应从头重建以客户上下文为核心的系统,让高能动性员工接触真实的世界模型,使全公司持续从用户身上学习,实现 founder-led sales 的规模化。

技术 › LLM YB 2026-09-1718.1 KB 30.1K 138 62

Aether AI 开源 RSIAgent:不训练模型的递归自我改进框架

UCSD 助理教授黄碧薇创办的因果世界模型公司 Aether AI 开源了 RSIAgent,一套不训练模型的递归自我改进框架。底层模型参数固定,通过 Curriculum、Actor、Verifier 三个 Agent 协作:自主选择任务、实际操作、独立验证,并将经验写入长期 Memory 持续积累。在 OSWorld 2.0 上平均部分得分从 71.97% 提升至 78.98%。其思路与 Prime Agent 类似,即保持模型权重不变,持续改进模型外部能力,重点在于通过自主出题和验证不断丰富 Memory。

技术 › Agent 思维怪怪 (@0xLogicrw) 2026-09-162.1 KB 68

面向空间智能的统一世界模型Puffin-World:从生成画面走向构建物理可信世界

南洋理工大学S-Lab与大晓机器人等机构发布统一世界模型Puffin-World,让同一模型原生理解物理方向、空间几何和视觉外观,实现三维世界生成与重建,无需依赖外部模型。模型将世界表示为物理状态(重力场、纬度图)、几何状态(深度)和外观状态(RGB)三种关联状态,并提出Omni-Camera统一相机表示,结合绝对与相对相机信息。该框架在表征、模态、任务三个层面实现统一,支持相机参数估计、自由视点生成、3D场景重建等任务,并构建了包含1500万组视觉-语言-相机数据的Puffin-16M数据集,在多个基准上取得领先结果。

技术 › LLM 青稞社区 2026-09-1313.4 KB 1.4K 5 71

World Labs 发布新一代世界模型 Atlas

李飞飞创立的 World Labs 发布了新的多模态世界模型 Atlas,用户只需一张图片即可创建完整的 3D 空间场景并自由运动,模型还能理解时间演变规律。Atlas 可将多张输入图像锚定在共享三维空间上下文中,支持三大任务:一是从参考图出发,以像素级精确的相机控制生成图像或最长 1 分钟的 1440p 视频;二是用少量图片重建真实 3D 场景,生成点云和 3D 高斯泼溅结果,效果超过专门的 3D 优化模型;三是时空仿真,可将普通手机视频重制为“子弹时间”效果,并为机器人训练生成测试数据。

技术 › LLM 歸藏 (@op7418) 2026-09-021.8 KB 64

PixVerse R2世界模型:AI视频走向可交互的持续世界

文章介绍了PixVerse R2世界模型的突破:不同于生成固定内容视频的传统路线,R2实现连续可交互的视频流,用户的实时输入能持续影响场景、角色和故事。技术报告解析了其两层训练架构、Dynamic Chunk动态分块、Hybrid Teacher Forcing与Diffusion Forcing抑制漂移,以及Sink Memory、Rolling History、Object KV Cache三通道记忆系统。应用方向包括可探索的World、互动影游Story和实时数字人Character。作者认为影响持续存在的世界模型将催生互动影视、实时游戏和新型社交空间等新形态产品。

技术 › LLM 卡尔的AI沃茨 2026-08-2515.7 KB 3.3K 2 73

全球首款原生全模态交互式世界模型 HiDream-O1-World 发布

智象未来发布 HiDream-O1-World,定位为全球首款原生全模态交互式世界模型。它提供漫游、编辑和交互三类核心能力,用户可自由探索视角、通过文字语音实时改变场景与角色行为。技术上依托 3D 先验注入 Memory 上下文与 TTT 机制解决时空一致性与物理一致性,其 DreamWorld 论文被 ECCV 2026 录用。该模型在 WBench 榜单综合得分 80.9 位列第一,未来可应用于互动影游、具身智能仿真等方向,标志着 AI 从生成画面走向生成世界。

技术 › LLM 苍何 2026-08-2514.5 KB 9K 18 65

AIDO Cell 虚拟细胞世界模型:AI 将药物研发周期从月压缩到小时

本文介绍 David Baker 旗下公司推出的 AIDO Cell 虚拟细胞世界模型。相比 Geneformer、scGPT 等基于文本统计的单细胞大模型,AIDO Cell 是有状态的因果动力学系统,通过流形降维、物理先验剪枝和神经代理求解,实现细胞动态演化的高效推演。它在抗癌药物研发中可复现靶点作用机制、前置推演耐药演化、破解多药联用组合爆炸并做全细胞毒性早筛,有望将实验筛查时间从月级缩至小时级,未来或将沿细胞—组织—器官—人体路径走向数字孪生人体。

技术 › 生物医药 rick awsb 2026-08-236.3 KB 27K 35 64

Advancing Scientific Discovery with DeepEarth: 用突破机器实现25倍能力提升

文章提出'科学突破机器'概念:无需先实现AGI,通过范围受限的自我改进循环(sub-RSI loop)即可在特定问题上模拟ASI效果。作者团队将其应用于DeepEarth——一个多模态时空世界模型,用于全球环境智能。系统通过共享记忆、快速筛选实验预算、基于不变量的验证与计分卡机制,让智能体集群自主进行假设、实验与迭代。最终将模型调和均值从0.016提升至0.407,实现约25倍的能力提升,并发现单一编码器的改进未必带来融合能力的提升,环境信号(如AlphaEarth卫星嵌入)是最大杠杆。

技术 › Agent Sai Vegasena 2026-08-1911.3 KB 279.3K 42 72

我的成神计划:飞升成神(缘起篇)

作者提出'成神计划',主张在AI时代摆脱碎片化信息,践行长期主义,系统学习世界底层知识,构建跨领域世界模型。路线分为四层:认识真相(元能力、逻辑数学概率、物理系统)、建立跨领域模型(进化生物、神经认知心理、经济博弈、历史社会政治)、获得现实行动与财富能力(商业金融)、认识并超越自身心智(哲学)。学习过程遵循输入知识、建立模型、预测现实、实践验证、修正模型、对外输出的循环,最终建立能解释世界、改变世界、认识自己的完整模型。

读书 › 方法论 Zede 2026-08-184.3 KB 4.9K 57 48

什么是世界模型?概念溯源、流派划分与AI新前沿

本文深入探讨了当前AI领域的热门概念“世界模型”。文章梳理了该概念从1943年心理学起源到2024年爆发式发展的历史脉络,详细区分了两大核心阵营:用于行动的模型(如DreamerV3和JEPA)与用于呈现的模型(如Sora和视频生成)。文中分析了杨立昆、李飞飞及OpenAI等不同派别的技术路径与定义之争,揭示了世界模型如何成为超越大语言模型的下一代AI竞争焦点。

技术 › LLM snowboat 2026-06-0954.7 KB 25K 76

翻译:李飞飞关于世界模型的分类

本文基于李飞飞的观点,深入探讨了“世界模型”这一AI术语在当前语境下的定义与功能。文章通过强化学习中的POMDP框架,将世界模型系统分为三类:输出视觉观察的“渲染器”、输出物理状态的“模拟器”以及输出行动指令的“规划器”。作者指出,尽管渲染器目前商业应用最成熟,但模拟器作为连接视觉与行动的桥梁,是实现空间智能和通用机器人的关键。文章最后预测,这三类功能的边界将逐渐坍缩,最终融合为一个统一的、能够理解并交互物理世界的基础模型。

技术 › LLM Mr Panda 2026-06-0513.7 KB 12.8K 12

世界模型的功能分类法:渲染、模拟与规划

本文由李飞飞撰写,旨在厘清当下 AI 领域中“世界模型”这一概念的混淆。文章基于强化学习中的智能体循环框架,将现有的世界模型划分为三类:侧重视觉保真度的“渲染器”、侧重物理与几何结构准确的“模拟器”,以及侧重决策输出的“规划器”。作者强调,模拟器虽然公众关注度较低,但连接了视觉与行动,是实现物理世界精准交互的关键,也是空间智能的核心所在。

技术 › Agent Fei-Fei Li 2026-06-0427.3 KB 1.2M 5.1K 74

本周顶级 AI 论文综述:Agent 工程、Qwen 模型与世界建模

文章综述了本周五篇重要的 AI 论文。1. Agentic Harness Engineering 提出了可验证的三层演化模型,显著提升了编程 Agent 的 Pass@1 率;2. AgenticQwen-30B 展示了高效的 MoE 模型在工具使用任务上的能力;3. Agentic World Modeling 提出了按定律分级的世界模型分类法;4. RecursiveMAS 通过潜空间递归计算解决了多 Agent 通信的 Token 膨胀问题;5. OneManCompany 探索了动态人才市场的多智能体协作模式。

技术 › Harness Engineering DAIR.AI 2026-05-0316.3 KB 80.7K 263 80

什么是世界模型?(WTF is a World Model?)

本文深入探讨了人工智能领域热门概念“世界模型”。文章指出世界模型是一个问题陈述而非特定架构,类似于SLAM。文章通过自动驾驶案例阐述了Yann LeCun的形式化定义(状态预测与渲染分离),并对比了当前三种主流范式:生成式模型(如Sora)、潜在动力学模型(如Dreamer)以及JEPA架构,分析了它们在压缩策略和预测目标上的差异。

技术 › LLM Vai Viswanathan 2026-05-0249.1 KB 187.9K 1.4K 75

谢赛宁对LLM的判断:从Sora关停到世界模型的崛起

文章从OpenAI关停Sora切入,深入探讨了Sora核心架构DiT创造者谢赛宁对大语言模型(LLM)的根本性质疑。谢赛宁认为LLM只是在模仿语言的统计规律,而非理解世界,语言是“鸦片”。文章详细阐述了基于抽象表征空间的预测架构(JEPA)和世界模型才是通往通用智能的正确路径,并指出未来的AI架构中,LLM将退化为仅用于交流的界面,而表征层才是真正的基石。

技术 › LLM Bill_DO_A_BIT多少做点 2026-04-2915.8 KB 47.1K 197 70

The Next Intelligence Breakthrough Won’t Look Like the Last

本文记录了 AGI House 举办的一场关于前沿 AI 研究的晚宴讨论。参与嘉宾包括来自 OpenAI、Google DeepMind、Meta 及斯坦福等机构的顶尖研究人员与投资人。讨论重点从单纯的模型规模扩展转向系统化智能,核心观点包括:机器人仿真即将迎来类似 LLM 的突破时刻、智能将从目前的串行处理转向并行处理、AI 代理(尤其是编程 Agent)可能是通向 AGI 的路径,以及评估体系的滞后正成为新的瓶颈。

技术 › LLM AGI House 2026-04-2621.2 KB 10.2K 83 62

因子图与“世界模型”:统一的感知与规划框架

文章探讨了世界模型与因子图之间的深层联系。作者指出,因子图本质上是基于能量的模型,可用于状态估计和SLAM。通过将世界模型锚定在“现在”,文章提出了STAG框架,该框架利用统一的因子图优化机制,同时处理基于过去数据的感知和基于未来目标的规划,实现了感知与行动的无缝融合。

技术 › LLM Frank Dellaert 2026-04-2425.2 KB 33.2K 194 84

LLM的低垂果实摘完了:MIT评出2026年最该关注的10个AI趋势

MIT Technology Review 发布 2026 年 AI 趋势榜单,指出“低垂果实已摘完”,讨论重心从能力边界转向权力边界。榜单涵盖人形机器人数据、LLM+、世界模型等技术演进,也涉及 AI 诈骗、军事化、Deepfake 武器化等社会风险,以及中国开源、AI 科学家和反 AI 运动等地缘政治议题,强调 AI 发展面临的结构性变化。

技术 › LLM Jason Zhu 2026-04-239.6 KB 20.5K 65 71

π0.7 与机器人数据公司的误区

文章批评了仅靠堆砌人类数据解决机器人问题的观点,深度解析了 Physical Intelligence 的 π0.7 论文。π0.7 通过拒绝仿真数据、利用子目标图像作为引导(Affordances)、以及增加详细的任务元数据(如子目标、子任务指令)来解决数据冲突,实现了跨具身迁移和更好的指令遵循。作者指出,机器人数据公司应通过自建机器人并提供高质量注释来创造价值,而非单纯销售原始数据。

技术 › Agent Shreyas Gite 2026-04-2210.1 KB 61.1K 246 79

从层级到智能:利用 AI 重构组织设计的未来

文章回顾了两千年来组织架构从罗马军队、普鲁士总参谋部到现代企业层级的演变,指出层级结构本质上是受限于人类沟通带宽的信息传递协议。作者(Block 公司)提出了一种基于人工智能的新型组织模式:利用“公司世界模型”和“客户世界模型”取代中层管理的信息传递职能,构建由智能层驱动的智能体公司,从而大幅提升信息流动速度和决策效率,实现从“人治”向“智能治理”的跨越。

职场 › 管理 jack 2026-04-0116.4 KB 6.5M 11.1K 85