PlanWAM 公开面向驾驶规划的未来表征研究
论文从历史观测预测有助于驾驶规划的未来潜在表征,再生成并选择轨迹。真实未来仅用于训练,推理阶段只读取已有历史。
沿着研究与发布的节点,回看世界模型的不同方向。
收录 35 条事件;这是一份选编,不是完整发展史。
日期沿用事件记录。只知年份的事件不补造月日,也不据排列推断同年事件的先后。
论文从历史观测预测有助于驾驶规划的未来潜在表征,再生成并选择轨迹。真实未来仅用于训练,推理阶段只读取已有历史。
官方介绍用已有观察与当前动作持续预测视觉环境的 Odyssey-3,并提供 Flash 的研究预览,支持导航与独立相机移动。
论文以机器人动作轨迹为条件预测多视角未来视频,通过几何校准和反事实后训练改善动作遵循;遮挡下仍可能出现物理错误。
论文利用较长视觉历史预测未来视频表征,再生成机器人动作块,并比较逆动力学与视频动作联合去噪两种路径。
论文让未来表征之间进行因果交互并并行预测,用候选动作序列辅助规划;预测在单段内并行,超出跨度后仍需分段递推。
该版本在策略使用的 VLM token 空间中,按机器人动作预测后续状态;RGB 重建不参与主要预测过程,代码仍是发布承诺。
论文介绍在不同时间尺度学习动作条件潜在状态;上层预测为下层规划提供子目标,实体机器人闭环控制仍待验证。
论文先预测机器人动作引起的潜在状态增量,再更新状态并解码未来画面,以关注操作中局部物体的变化。
论文介绍将物理推理器、世界生成器与动作预测器放入统一架构,共同学习语言、未来视觉和动作。
该版本结合车辆与路侧观测生成候选轨迹,并以选择的轨迹和动作序列预测未来占据与动态流。
World Labs 宣布已与 AMD 签署最终协议,拟加入 AMD。公告预计交易于 2026 年底完成,仍须获得监管批准并满足其他惯常交割条件。
Runway 介绍后续版本 GWM Worlds 2:生成 720p、24 fps 视频及音频,响应连续相机控制与文本输入。官方同时指出快速旋转可能损伤细节,长时记忆仍不完善。
World Labs 介绍 Atlas,以共享空间上下文生成图像、视频和三维表示,并宣布向部分合作伙伴提供早期访问。
Runway 介绍由世界模型生成视觉界面的 Solaris,点击、拖拽等交互作为后续画面的条件,并提供早期访问申请。
官方技术说明介绍以历史状态和实时多模态输入持续驱动同步音视频生成的 R2,并说明流式预测、记忆与实时加速方案。
该版本以外部世界状态库保存相机相关场景信息,取回当前视角内容用于持续生成;固定预算的记忆仍不保证长时一致。
报告说明以流式三维点缓存提供空间记忆和视角条件,修订条件编码与视频生成的衔接;内部三维记忆服务于视频预测。
让 AI Driver 参与闭环模拟的 GAIA 世界模型。
NVIDIA 发布面向物理 AI 的 Cosmos 3,介绍机器人、自动驾驶与视觉智能体等应用方向。
基于 Genie 3 的 Waymo 世界模型。
LeWorldModel 研究稳定的端到端 JEPA 训练,在潜在空间根据观测与动作预测后续表征,并用于目标条件规划。
Ctrl-World 根据初始画面和逐帧动作条件生成多视角后续画面,用于让机器人策略在学得的环境中交互和评估。
基于 Gen-4.5、逐帧生成且可通过动作控制的实时自回归模型。
从多种输入生成 3D 世界,并支持交互编辑、扩展和组合。
DINO-WM 利用 DINOv2 的空间特征和离线行为轨迹学习动作条件预测,在测试时优化动作序列以接近目标图像的特征。
DreamerV3 学习预测动作后果的世界模型,并在想象轨迹中改进行为;论文研究多种控制任务中的学习方法。
Nature 论文介绍 WHAM,从人类游玩数据学习游戏画面与控制器动作,可通过画面或动作条件探索游戏场景。
冻结预训练视频编码器后,在其表征之上另行训练的动作条件预测器。
根据文本提示生成可实时导航的动态世界。
Vista 官方仓库宣布公开 v1.0 模型权重,为驾驶场景生成与可控未来模拟研究提供下载入口。
OpenAI 在这篇技术报告中介绍可生成时长可变、最长一分钟视频的 Sora。
DIAMOND 根据历史画面和动作生成后续游戏画面,让强化学习智能体在扩散世界模型中训练。
先将传感器观测编码为 token,再通过离散扩散预测未来的世界模型。
DayDreamer 研究在四种真实机器人上直接在线学习,通过学得的世界模型想象未来并改进策略,不依赖仿真器。
在世界模型生成的梦境环境中训练智能体,再将策略迁回实际环境。