世界模型图谱WORLD MODEL ATLAS
一份持续生长的中文资料

世界模型，
从这里读懂。

读文章，理解概念与进展。
查模型，找到具体接口与原始来源。

以三个相连的几何体示意观察与输入、表示与预测、行动与变化的阅读路径
从一个问题，走进一个可能的世界。
文章选读

从一个问题开始

全部阅读
专题解读

Sora 算世界模型吗？

依据 OpenAI 2024 年的 Sora 技术报告，讨论视频生成与世界模拟的关系，以及报告尚未回答的动作条件问题。

开始阅读
入门路径

世界模型，先看这三个问题

它看见什么，预测什么，又怎样回应行动？从具体模型出发，建立自己的阅读顺序。

开始阅读
模型选读

从这些模型，认识不同方向

不同研究路径的阅读入口，兼顾近期进展。

Meta AI表征与状态预测

V-JEPA 2-AC

冻结预训练视频编码器后，在其表征之上另行训练的动作条件预测器。

Google DeepMind视频与传感模拟

Genie 3

根据文本提示生成可实时导航的动态世界。

World Labs空间场景生成

Marble

从多种输入生成 3D 世界，并支持交互编辑、扩展和组合。

NVIDIA视频与传感模拟

Cosmos 3

联合处理和生成语言、图像、视频、音频及动作序列的世界模型家族。

Runway视频与传感模拟

GWM-1

基于 Gen-4.5、逐帧生成且可通过动作控制的实时自回归模型。

Wayve视频与传感模拟

GAIA-4

让 AI Driver 参与闭环模拟的 GAIA 世界模型。

按研究方向选读，不代表能力排名。

查看全部模型
发展时间线

把进展，放回时间里。

从早期研究到新的模型发布，
沿着原始材料，回看这些节点。

查看完整时间线
  1. PlanWAM 公开面向驾驶规划的未来表征研究
  2. Odyssey 发布 Odyssey-3 研究预览
  3. DreamTrue 公开动作条件机器人视频预测研究
  4. Long-WAM 公开长视觉历史的世界动作模型研究
  5. PPWM 提出有限跨度的并行未来预测
  6. Token-World 论文更新至 v2
  7. H-JEPA 提出分层未来表征预测
  8. DeltaWorld 提出动作条件的状态增量预测
  9. UniWAM 提出联合理解、视觉预测与动作生成
  10. V2X-WAM 论文更新至 v2
  11. World Labs 宣布签署加入 AMD 的协议
  12. GWM Worlds 2：音视频交互世界研究预览
  13. World Labs 介绍 Atlas 世界模型
  14. Runway 介绍逐帧生成交互界面的 Solaris
  15. PixVerse 介绍 R2 实时视听世界模型技术
  16. Alaya-EVOKE 论文更新至 v2
  17. AlayaWorld v1.1 公开技术报告
  18. Wayve 介绍 GAIA-4
  19. NVIDIA 发布 Cosmos 3
  20. Waymo 介绍驾驶世界模型
  21. LeWorldModel 研究从像素端到端学习预测表征
  22. Ctrl-World 研究机器人策略在生成环境中的交互
  23. Runway 介绍 GWM-1 家族
  24. World Labs 发布 Marble
  25. DINO-WM 研究在预训练视觉特征上规划
  26. DreamerV3 论文发表于 Nature
  27. WHAM 论文发表：预测游戏画面与玩家动作
  28. V-JEPA 2 论文介绍动作条件变体
  29. Google DeepMind 介绍 Genie 3
  30. Vista 公开驾驶世界模型权重
  31. OpenAI 发布 Sora 世界模拟器技术报告
  32. DIAMOND 研究用扩散世界模型训练 Atari 智能体
  33. Copilot4D 登上 ICLR 2024
  34. DayDreamer 将世界模型用于真实机器人学习
  35. World Models 提出梦境中的智能体训练

上下滑动，回看更多节点