重建、生成和预测是不同任务
从照片恢复相机位置和三维几何,创建一个可浏览的 3D 世界,预测推开物体后它怎样运动,分别需要不同的能力。这些能力可能互相帮助,一项测试成绩却无法替另外两项作证。
来源:原始报告 ↗ · Marble 原始材料 ↗ · Genie 3 原始材料 ↗
VGGT 论文研究从图像估计几何,Marble 的发布材料展示三维世界的生成与编辑。两者都与空间有关,测试问题并不相同;展示图也无法单独说明物理预测是否准确。
从图像恢复几何
VGGT 论文描述模型从输入图像估计相机、点图、深度图和点轨迹。相机位姿、深度或重建误差都可以针对有标注的数据检验。即使模型在相应测试中恢复了几何,这项结果也没有回答物体受力后会怎样运动。
来源:原始报告 ↗
论文也列出适用边界,例如该版本不支持鱼眼或全景图像。几何测试的成绩要连同输入图像类型和测试协议一起看,不能改写成笼统的“空间理解”分数。
从提示构造三维世界
Marble 的发布材料描述了从文本、图像、视频或粗略 3D 布局创建世界,再编辑、扩展、组合,并导出为 Gaussian splats、网格或视频的流程。这些接口展示了生成与编辑的用途,没有测量它把某个真实场景重建得有多准确。
材料还提到用于粗略物理模拟的低保真碰撞网格。要判断接触、运动或长时间变化是否符合现实,需要施加动作并与真实结果对照;碰撞网格本身无法给出这个答案。
该测量什么
| 要回答的问题 | 应该观察的结果 | 不能顺手推出 |
|---|---|---|
| 几何估计准不准? | 相机、深度、点云或轨迹与有标注数据的差距。 | 真实行动后果一定正确。 |
| 生成世界可不可用? | 生成、编辑、导出后是否满足明确的创作或交互任务。 | 它准确重建了输入对应的真实场景。 |
| 行动会怎样改变世界? | 对同一起点施加不同动作,核对后续状态及长期一致性。 | 单张三维画面已经证明因果理解。 |
来源:原始报告 ↗ · Marble 原始材料 ↗ · Genie 3 原始材料 ↗
空间推理还涉及方向、距离、遮挡和视角变化等提问。答题正确与重建误差低都是有用结果,但它们测量的是不同能力。
“空间世界模型”具体做了什么
“空间世界模型”可能在估计、重建、生成、编辑,也可能在预测行动后果。论文中的几何测试、产品接口展示和真实环境对照实验,分别支持不同结论。说清任务与测试对象,才能知道一项成果的边界。