入门路径

从输入、输出和动作条件认识世界模型

它看见什么,预测什么,又怎样回应行动?从具体模型出发,建立自己的阅读顺序。

世界模型图谱 · 编辑整理基于已收录来源
本文目录 · 5 节

先看接口,再读名字

面对一篇新的世界模型发布文,我们建议先问三个问题:输入是什么,输出是什么,动作是否会改变预测。这个顺序是一种阅读方法,帮助你把抽象名称还原为具体接口。

本站收录的例子并不都输出同一种东西:Sora 的技术报告描述视频生成;V-JEPA 2-AC 预测的是未来视频观测的表征;Marble 则可以把生成的 3D 世界导出为 Gaussian splats、网格或视频。先分清输出,才能理解各自材料在讨论什么。

来源:Sora(2024 技术报告) 原始材料 ↗

01 / 它接收什么输入?

不要只停在“多模态”三个字上。把来源里明确出现的输入逐项写下来,再分辨它是观测、提示,还是控制信号。

Sora 的这篇技术报告明确写到图像和提示词;Marble 的发布文列出文本、图像、视频和粗略 3D 布局;V-JEPA 2-AC 的论文则描述过去的视频帧、动作和末端执行器状态。这里列出的是已引用材料支持的接口摘要,不保证穷尽每个模型的接口。

来源:Sora(2024 技术报告) 原始材料 ↗

02 / 它预测或生成什么?

接着看输出的形式。我们建议把“可以观看的视频”“供其他模块使用的表征”和“可以导出的 3D 世界”分别记录,而不把它们压成同一个能力标签。

例如,Copilot4D 的研究页写到将预测的 BEV token 解码回点云;V-JEPA 2-AC 的论文写到以动作和本体感知观测为条件预测未来表征。两条记录都涉及预测,但它们的输出说明需要分别阅读。

03 / 行动会改变它的预测吗?

读到“交互”时,再追问动作如何进入模型。在本站,动作条件字段只记录来源是否明确支持这一判断;“未知”不等于模型没有这个能力。

Genie 3 的发布文说,它根据智能体的动作模拟未来。GAIA-4 的材料则描述,AI Driver 的动作推动模拟中的位置、视角和传感器流变化。这些具体表述比单独的“可交互”标签更值得查看。

还要一起读限制。GAIA-4 的 world-on-rails 模式让道路参与者沿记录轨迹行动;Genie 3 的所引发布文称连续交互可维持几分钟。它们都是材料中的具体边界,不是本站对模型优劣的评分。

继续阅读一个名字,可能不止一个模型 ↗