Sora 与世界模拟器的关系
OpenAI 在 2024 年发表 Sora 技术报告时,把扩展视频生成模型视为通向通用物理世界模拟器的一条可能路径。沿着这项研究,Sora 确实处在世界模型的讨论之中。本文只谈这份报告及所引的对照材料,不涉及后续版本或当前产品服务。
来源:原始报告 ↗
报告描述了图像和提示词输入,以及最长一分钟的视频输出。它没有提供足够材料说明外部动作怎样作为明确条件改变后续预测。因此,本站把 Sora 的动作条件记录为“未知”;这不等于认定它没有这项能力。
OpenAI 展示了 Sora 对人物、动物和环境某些方面的模拟能力,也在报告中列出物理交互失真的例子。这些演示为研究模拟能力提供了材料,还不足以证明模型可以可靠地预测任意行动的后果。
“Sora 是世界模型吗”没有脱离定义的单一答案。作为探索世界模拟的视频模型,它与这条研究路线相关;若问题特指可用于交互和规划的动作条件预测,所引报告还不够回答。
“世界模型”涵盖了不同任务
研究者用“世界模型”讨论过不同目标:生成连贯的视觉场景、预测行动后果,或学习可供规划使用的内部表征。Sora 的技术报告主要沿着视频生成与模拟能力的线索展开。拿机器人规划模型的要求直接衡量它,容易把研究目标混在一起。
OpenAI 把 Sora 的一组表现称为“涌现的模拟能力”,措辞是模拟人物、动物和物理环境的“某些方面”。报告没有把这些演示说成对物理世界的完整掌握。
来源:原始报告 ↗
同一份报告也展示了失败案例,例如玻璃破碎等基本物理交互。画面连贯可以成为研究模拟能力的线索,具体的物理预测仍需针对相应任务检验。
预测未必以视频呈现
Sora 生成可观看的视频。另一些模型把预测留在内部表征或传感器空间:V-JEPA 2-AC 预测未来视频观测的表征,Copilot4D 把预测的 BEV token 解码成未来点云。输出形式不同,研究的问题也可能不同。
能否生成视频,无法独自决定一个模型是否有用。判断它的预测能力,还得看输入条件、预测对象和使用任务;如果要讨论交互,外部行动能否改变预测尤其关键。
画面质量适合评价可观看的输出,却测不出潜在表征是否帮助机器人选择动作,也测不出预测点云是否贴近实际传感器观测。这几类结果需要各自的任务和测试协议。
行动如何进入预测
Genie 3 的发布材料明确说,模型会根据智能体的动作模拟未来。行动进入预测条件后,模型需要给出与不同动作相应的后续世界。
GWM-1 的家族介绍列出相机位姿、机器人指令和音频等控制方式,并称模型可以逐帧实时生成。它为外部控制提供了具体入口,但家族中各变体仍要分别看。
V-JEPA 2-AC 接收过去的视频帧、动作和末端执行器状态,预测未来视频观测的表征。这样的预测可以用于研究规划问题,无需把每一步未来都渲染成视频。
回到 Sora 的输入和输出
- 模型接收文字、图像、历史观测,还是具体行动?
- 它输出视频、三维场景,还是无法直接观看的状态或表征?
- 如果改变行动,后续预测会怎样变化?公开材料是否展示了测试?
图 1:读模型材料时可核对输入、输出和动作条件。示意图并非 Sora 的模型架构。
按这几项对照 Sora:所引报告明确写到图像和提示词输入、视频输出,也列出物理模拟限制;外部动作是否作为明确条件进入预测,材料没有给出足够信息。本站将这一项保留为未知。
这项记录只针对所引的 2024 年报告。若后续版本公开了更明确的动作接口和评估结果,需要按新材料重新判断。
还需要什么证据
Sora 让视频生成与世界模拟的讨论有了具体材料。OpenAI 把扩展这类模型视为通向通用物理世界模拟器的可能路径,同时承认现有模拟在物理交互上会出错。
来源:原始报告 ↗
若要进一步判断它能否服务于交互和规划,还需要看到明确的行动输入、行动改变预测的测试,以及误差随时间积累的情况。所引报告尚未提供足够材料回答这些问题。