空间专题

会重建 3D 场景,就理解世界了吗?

借 VGGT 与 Marble 区分几何重建、三维世界生成和行动后果预测:它们看起来都与空间有关,测量的问题却不同。

世界模型图谱 · 编辑整理基于已收录来源
本文目录 · 5 节

重建、生成和预测是不同任务

从照片恢复相机位置和三维几何,创建一个可浏览的 3D 世界,预测推开物体后它怎样运动,分别需要不同的能力。这些能力可能互相帮助,一项测试成绩却无法替另外两项作证。

来源:原始报告 ↗ · Marble 原始材料 ↗ · Genie 3 原始材料 ↗

VGGT 论文研究从图像估计几何,Marble 的发布材料展示三维世界的生成与编辑。两者都与空间有关,测试问题并不相同;展示图也无法单独说明物理预测是否准确。

从图像恢复几何

VGGT 论文描述模型从输入图像估计相机、点图、深度图和点轨迹。相机位姿、深度或重建误差都可以针对有标注的数据检验。即使模型在相应测试中恢复了几何,这项结果也没有回答物体受力后会怎样运动。

来源:原始报告 ↗

论文也列出适用边界,例如该版本不支持鱼眼或全景图像。几何测试的成绩要连同输入图像类型和测试协议一起看,不能改写成笼统的“空间理解”分数。

从提示构造三维世界

Marble 的发布材料描述了从文本、图像、视频或粗略 3D 布局创建世界,再编辑、扩展、组合,并导出为 Gaussian splats、网格或视频的流程。这些接口展示了生成与编辑的用途,没有测量它把某个真实场景重建得有多准确。

材料还提到用于粗略物理模拟的低保真碰撞网格。要判断接触、运动或长时间变化是否符合现实,需要施加动作并与真实结果对照;碰撞网格本身无法给出这个答案。

该测量什么

不同空间任务对应的测试与常见误读
要回答的问题应该观察的结果不能顺手推出
几何估计准不准?相机、深度、点云或轨迹与有标注数据的差距。真实行动后果一定正确。
生成世界可不可用?生成、编辑、导出后是否满足明确的创作或交互任务。它准确重建了输入对应的真实场景。
行动会怎样改变世界?对同一起点施加不同动作,核对后续状态及长期一致性。单张三维画面已经证明因果理解。

来源:原始报告 ↗ · Marble 原始材料 ↗ · Genie 3 原始材料 ↗

空间推理还涉及方向、距离、遮挡和视角变化等提问。答题正确与重建误差低都是有用结果,但它们测量的是不同能力。

“空间世界模型”具体做了什么

“空间世界模型”可能在估计、重建、生成、编辑,也可能在预测行动后果。论文中的几何测试、产品接口展示和真实环境对照实验,分别支持不同结论。说清任务与测试对象,才能知道一项成果的边界。

继续阅读世界模型,先看这三个问题 ↗继续阅读Sora 算世界模型吗? ↗