世界模型关心未来会怎样
世界模型利用已经看到的状态或观测,估计环境接下来可能怎样变化。有些系统还把候选行动放进预测,让结果帮助规划、控制或训练。不同研究对这个词的使用并不完全一致;这里采用的是便于阅读这些研究的宽口径解释。
来源:World Models 原始材料 ↗ · V-JEPA 2-AC 原始材料 ↗
2018 年的《World Models》提供了一个具体例子:研究者让智能体在模型生成的“梦境”环境里训练,再把策略迁回实际环境。模型生成的未来成为智能体练习行动的场所。
后来,可交互视觉世界、多模态生成和潜在表征预测等研究也使用了这个名称。它们可能共享对环境变化的关心,具体输入、输出和用途却相差很远。
机器人推杯子时,模型在预测什么
机器人看见桌上的杯子,准备从左侧推动。供它规划的模型可以利用当前观察和候选动作,估计杯子会移到哪里、手臂可能碰到什么,再把预测交给控制系统选择下一步。这只是解释预测循环的例子,世界模型并不都以机器人或显式三维场景为输入。
- 观察:模型接收图像、传感器状态或其他历史信息。
- 预测:模型产生未来画面、状态或表征。
- 行动:若系统支持,候选动作会改变预测的未来。
- 检验:真实执行后的反馈用于判断预测是否对任务有用。
换一个推动方向,模型也应给出相应的后续变化。仅能生成合理的下一帧,还无法说明它对不同动作、长时间过程或陌生环境的预测是否可靠。
预测可以有不同形式
Sora 的技术报告讨论视频生成与世界模拟的联系,输出是可观看的视频;Genie 3 的发布材料描述了可实时导航的生成环境,并明确说未来会随智能体动作变化。两者都处理视觉世界,行动进入模型的方式却不同。
V-JEPA 2-AC 预测未来视频观测的表征,动作和末端执行器状态是条件的一部分。它无需把每一步未来渲染成视频。评价这类模型时,视频画质便不是合适的唯一尺度。
怎样读一项世界模型声明
- 输入是什么:历史观察、文字提示,还是可执行的动作?
- 输出是什么:视频、三维世界、传感器状态,还是供下游使用的表征?
- 预测怎样被检验:只看演示,还是看行动改变结果、任务完成与真实反馈?
这三项信息决定该用什么证据检验一项声明。来源没有交代动作接口时,记录为未知更准确;模型名称和演示画面无法补上缺失的测试。