专题解读

Sora 是世界模型吗?与视频生成模型有什么区别

依据 OpenAI 2024 年的 Sora 技术报告,讨论视频生成与世界模拟的关系,以及报告尚未回答的动作条件问题。

世界模型图谱 · 编辑整理基于已收录来源
本文目录 · 6 节

Sora 与世界模拟器的关系

OpenAI 在 2024 年发表 Sora 技术报告时,把扩展视频生成模型视为通向通用物理世界模拟器的一条可能路径。沿着这项研究,Sora 确实处在世界模型的讨论之中。本文只谈这份报告及所引的对照材料,不涉及后续版本或当前产品服务。

来源:原始报告 ↗

报告描述了图像和提示词输入,以及最长一分钟的视频输出。它没有提供足够材料说明外部动作怎样作为明确条件改变后续预测。因此,本站把 Sora 的动作条件记录为“未知”;这不等于认定它没有这项能力。

OpenAI 展示了 Sora 对人物、动物和环境某些方面的模拟能力,也在报告中列出物理交互失真的例子。这些演示为研究模拟能力提供了材料,还不足以证明模型可以可靠地预测任意行动的后果。

“Sora 是世界模型吗”没有脱离定义的单一答案。作为探索世界模拟的视频模型,它与这条研究路线相关;若问题特指可用于交互和规划的动作条件预测,所引报告还不够回答。

“世界模型”涵盖了不同任务

研究者用“世界模型”讨论过不同目标:生成连贯的视觉场景、预测行动后果,或学习可供规划使用的内部表征。Sora 的技术报告主要沿着视频生成与模拟能力的线索展开。拿机器人规划模型的要求直接衡量它,容易把研究目标混在一起。

OpenAI 把 Sora 的一组表现称为“涌现的模拟能力”,措辞是模拟人物、动物和物理环境的“某些方面”。报告没有把这些演示说成对物理世界的完整掌握。

来源:原始报告 ↗

同一份报告也展示了失败案例,例如玻璃破碎等基本物理交互。画面连贯可以成为研究模拟能力的线索,具体的物理预测仍需针对相应任务检验。

预测未必以视频呈现

Sora 生成可观看的视频。另一些模型把预测留在内部表征或传感器空间:V-JEPA 2-AC 预测未来视频观测的表征,Copilot4D 把预测的 BEV token 解码成未来点云。输出形式不同,研究的问题也可能不同。

能否生成视频,无法独自决定一个模型是否有用。判断它的预测能力,还得看输入条件、预测对象和使用任务;如果要讨论交互,外部行动能否改变预测尤其关键。

画面质量适合评价可观看的输出,却测不出潜在表征是否帮助机器人选择动作,也测不出预测点云是否贴近实际传感器观测。这几类结果需要各自的任务和测试协议。

行动如何进入预测

Genie 3 的发布材料明确说,模型会根据智能体的动作模拟未来。行动进入预测条件后,模型需要给出与不同动作相应的后续世界。

GWM-1 的家族介绍列出相机位姿、机器人指令和音频等控制方式,并称模型可以逐帧实时生成。它为外部控制提供了具体入口,但家族中各变体仍要分别看。

V-JEPA 2-AC 接收过去的视频帧、动作和末端执行器状态,预测未来视频观测的表征。这样的预测可以用于研究规划问题,无需把每一步未来都渲染成视频。

回到 Sora 的输入和输出

  1. 模型接收文字、图像、历史观测,还是具体行动?
  2. 它输出视频、三维场景,还是无法直接观看的状态或表征?
  3. 如果改变行动,后续预测会怎样变化?公开材料是否展示了测试?
阅读模型材料时依次核对输入、输出和动作条件,最后确认行动是否影响预测。

图 1:读模型材料时可核对输入、输出和动作条件。示意图并非 Sora 的模型架构。

世界模型图谱 · 本站绘制查看原图 ↗(新窗口)

按这几项对照 Sora:所引报告明确写到图像和提示词输入、视频输出,也列出物理模拟限制;外部动作是否作为明确条件进入预测,材料没有给出足够信息。本站将这一项保留为未知。

来源:Sora(2024 技术报告) 原始材料 ↗

这项记录只针对所引的 2024 年报告。若后续版本公开了更明确的动作接口和评估结果,需要按新材料重新判断。

还需要什么证据

Sora 让视频生成与世界模拟的讨论有了具体材料。OpenAI 把扩展这类模型视为通向通用物理世界模拟器的可能路径,同时承认现有模拟在物理交互上会出错。

来源:原始报告 ↗

若要进一步判断它能否服务于交互和规划,还需要看到明确的行动输入、行动改变预测的测试,以及误差随时间积累的情况。所引报告尚未提供足够材料回答这些问题。

继续阅读世界模型,先看这三个问题 ↗