木块动了，机器人还缺哪条信息
一段视频里，木块从桌子左侧移进托盘。看过许多类似视频的机器人，或许已经能辨认木块、托盘和夹爪，也能预期物体移动时会怎样遮挡。现在让它自己完成这件事，问题却多了一层：应该向自己的控制器发出什么命令，命令发出后又会发生什么？
下面沿用一个移动木块的解释性场景。假设我们只看到移动前后的两帧，木块可能是被夹起放下，也可能被推过去；如果镜头也移动，画面中的位置变化还会混入视角变化。完整视频能排除部分歧义，但即使动作过程看得清楚，也未必给出了这台机器人可直接执行的命令。这个场景用于说明数据的作用，不是某篇论文的实验结果。
视频中的运动规律与机器人的控制接口之间，需要建立具体联系：从什么状态出发，采取什么动作，会得到什么观察和结果。动作信息可以来自实际交互记录，也可以经过状态变化推导或模型推断。研究之间的重要差别，就在于怎样建立这条联系，以及联系在哪些条件下得到检验。
左侧记录木块移动前后的观察，右侧补上与机器人运动、姿态和时间对应的线索。AI 生成的概念示意图，不是机器人实验结果，也不表示所有视频学习都要求人工动作标签。
看到变化，和知道命令怎样起作用
先考虑最直观的方案：机械臂抓起木块，抬高，横移，再松开夹爪。旁观者会把这句话理解成一组有目的的动作，控制器却需要符合接口的参数。某台机器可能接收末端位置目标，另一种接口可能接收速度或关节命令。它们指向同一场景中的运动，但输入含义、单位和执行方式不同。
“向右一点”也依赖起点和参考坐标。木块离托盘很远时，一次小移动可能只是接近目标；已经靠近边缘时，同样移动可能引起碰撞。夹爪仍在桌面高度与已经抬高，对下一步横移的影响也不同。因此，训练样本中只有动作向量还不够，还要知道机器人从什么状态开始，以及物体和目标处于什么关系。
时间对应同样会改变样本含义。设想夹爪先接到闭合命令，随后才真正夹住木块，再开始抬升。如果把闭合前的画面与抬升后的动作错误配对，模型可能学到“木块还没被抓住，也能随机械臂上升”。这不是多放一些视频就自然消失的问题，需要弄清观察、动作与状态各自对应哪个时刻。
夹爪闭合与木块抬起属于前后不同阶段，画面、动作和状态应按对应时刻配对。此图仅解释时间对应，不表示某篇论文记录了哪种命令。AI 生成概念示意。
还要区分请求发生的运动与实际发生的运动。控制器收到了抬升命令，木块却留在桌上，可能是夹爪没有抓牢；机械臂确实横移了，木块仍没进托盘，可能与起点或目标位置有关。只看最后失败，很难判断哪一环出了问题。记录命令、机器人自身状态和视觉后果，让这些解释有机会被区分。
| 记录 | 帮助判断的问题 |
|---|---|
| 视觉观察 | 物体、夹爪与目标在哪里，画面怎样变化 |
| 发出的动作 | 请求机器人执行了什么命令 |
| 机器人自身状态 | 关节、末端或夹爪从什么状态开始 |
| 时间与执行反馈 | 命令、运动和观察是否对齐，实际发生了什么 |
这个表不是要求所有研究使用同一种数据格式。它提醒我们：所谓“动作数据”应说明含义和来源，既可能是原始控制记录，也可能是从对应状态构造的动作表示。一个没有定义的数值向量，还不能告诉读者它怎样连接到机器人的真实运动。
V-JEPA 2 怎样把视频经验接到机械臂
V-JEPA 2 的两阶段设计把这条连接分得比较清楚。第一阶段没有动作条件，模型通过视频中的表征预测学习视觉表示。第二阶段固定已有视频编码器，用机器人交互数据训练新的动作条件预测器 V-JEPA 2-AC，使它根据观察表征、机器人状态和动作预测之后的视觉表征。
这两阶段回答的问题不同。第一阶段让模型从大规模视频中学习可用于理解和预测的视觉特征；第二阶段为这些特征补上特定机器人动作与后果的对应。在木块场景中，可以把它理解为：已有的视频经验帮助表示场景，机器人交互数据则帮助判断从当前状态抬升或横移，会使场景怎样变化。这里是对机制的解释，不是对该模型识别能力的单独测评。
论文使用 DROID 数据中的不到 62 小时机器人视频做这一后训练，并在两个实验室的 Franka 机械臂上评估特定操作任务。文中把视频称为“未标注”，其确切含义是没有使用额外的奖励、任务类别或演示是否成功的标签。视频仍带有逐帧的末端状态：位置、朝向和夹爪状态。
一个关键细节是，论文通过相邻帧的末端状态变化构造训练动作。也就是说，动作信息不一定来自人为给每帧写下“抬起”“向右”的文字标签，而可以从随视频记录的状态序列得到。它仍然提供了观察与运动之间的对应；把“未标注”理解成“只有画面，没有任何动作相关信息”，会漏掉这一步。
训练时，视频帧先经过固定编码器得到特征，状态和动作序列与这些特征一起进入预测器。预测器学习相应动作之后的下一状态表征，并以实际之后的观察编码作为学习依据。固定编码器让后训练沿用已有的视觉表示，新的预测器负责建立动作条件下的变化关系。
部署时，目标图像又承担另一项职责。以木块已经位于托盘中的画面为解释性目标，规划器比较多条候选动作序列，将它们送入动作条件模型，预测未来表征；随后比较预测表征与目标表征的距离，寻找更接近目标的序列。论文采用的是这种目标条件规划，距离在模型表征中计算，无须先生成一段可观看的视频。
选到候选序列后，系统执行第一个动作，观察新状态，再重复规划。这让目标、预测和实际反馈形成一个循环。该论文中的零样本部署仍有明确的数据、任务与硬件范围，训练阶段也使用了机器人交互信息。它支持的是所报告条件下的结果，不能据此推出模型从未接触机器人数据，或可以直接控制任意机械臂。
没有动作标签，也能学到交互线索
实际状态记录并不是连接视频与交互的唯一方法。Genie 的原始研究从没有真实动作标签的视频中学习潜在动作接口，用这些潜在动作控制生成的虚拟环境。它的潜在动作模型从视频变化中推断动作表示，动力学模型再根据过去的画面表示和这一动作预测下一帧。
训练时，动作推断模型能利用已经发生的画面变化学习表示；生成时，用户选择一个潜在动作，模型据此预测接下来的画面。这两个方向共同建立可控的视频生成接口。潜在动作可以被理解为模型学出的变化选项，但它们的含义不能事先按机械臂按钮表来指定，也不应假定每个编号总对应某种固定物理运动。
如果把这种方法放到木块例子旁边，就会看到另一种数据问题：模型可能学出了使生成画面中木块移动的选项，但现实机械臂还需要可执行的参数。某个潜在动作编号不能直接告诉我们应抬高多少、夹爪怎样闭合，或如何遵守这台机器的运动约束。建立这种对应，还需要额外的接口设计、数据或实际校准。
Genie 原论文研究的是生成交互环境。这种机制说明，真实动作标签并非所有可控视频学习的必备输入；迁移到实体机器人后，仍须检验学出的动作表示怎样对应硬件、是否能在真实接触中产生预期结果。这一迁移讨论是从机制出发的工程解释，不能当作原论文已经完成的机器人实验。
也可以先推断动作，再学习行为
VPT 采用另一条路线。其正式摘要描述了半监督模仿学习：先用少量同时带有视频和真实动作的数据训练逆动力学模型，再为大量未标注视频推断动作标签，利用这些伪标签学习行为。研究中的视频来自 Minecraft 游戏，动作使用键鼠接口；这里把它作为视频到行为的邻近研究，而不把它列为世界模型架构。
“逆动力学”这个名称可以按提问方向理解。动作条件预测问的是：给定当前观察和动作，后面可能发生什么？逆动力学问的是：看到前后变化，什么动作可能造成了它？VPT 将后一种推断用于补充训练数据，再让行为模型从观察学习选动作。具体训练与结果应按它的游戏任务理解。
回到移动木块的假设场景，如果一部分记录同时提供画面与已知动作，就可能用来学习两者的对应，再尝试为其他视频补上动作。但伪标签仍是推断结果。同一组前后画面可能对应多个控制过程，遮挡或相机移动也可能让判断变得困难；推断错的标签会进入后续学习。
因此，补出动作标签以后，还需要检查标签是否准确、与观察是否对齐，以及学到的行为能否实际执行。Minecraft 中的键鼠动作与机械臂的连续控制接口具有不同含义和约束。VPT 展示了一种利用未标注视频的方法，不能仅凭这种方法成立，就推定它在机器人领域同样可用。
候选动作的未来，要回到实际反馈中检验
现在把木块场景走完。假设机械臂已经抓住木块，目标是放入托盘，候选可以包括“保持高度横移”和“先抬高再横移”。动作条件模型让系统有机会在执行前比较这些后果；规划器还需要依据目标作出选择。V-JEPA 2-AC 使用的是未来表征与目标表征的距离，其他系统可能使用不同目标或评分，不能把它们混成一种通用判断器。
若系统选择先抬高，执行后的画面应该显示新的物体与夹爪状态。假如木块仍留在桌上，就不能继续沿着“已抓牢并抬起”的想象路线横移。需要从实际新观察重新判断后续动作。闭环的意义在于让每次选择受到新反馈约束，而不让第一份预测一直替代现实。
预计木块已抬起，与实际只抬起空夹爪，要求不同的后续动作。绿色回箭头表示把新观察带回判断过程。AI 生成的假设失败场景，不是对某个模型失败案例的报告。
如果新的观察支持木块已经被抓住并抬起，系统才有依据继续横移、下降和放置。在这个假设任务中，还应检查松开夹爪后木块是否留在托盘里，确认任务结果。反之，目标位置虽然看起来接近，木块却仍在滑动或没有真正被放下，就不能仅凭中途的预测宣布完成。
重新观察也有边界。如果相机看不清夹爪是否接触木块，或者模型把遮挡后的物体状态判断错，下一轮仍可能作出错误预测。如果训练数据很少出现滑落、碰撞或某种材质，动作与后果已经配对也不保证能覆盖这些情况。反馈提供修正判断的机会，它本身不是成功保证。
这会改变我们对“还需要多少数据”的提问。机器人若能表示场景，却不能预测抬升后的变化，应检查动作条件学习；若预测已有一定依据，却总把命令与画面对错时刻，应检查记录和执行的时间关系；若熟悉任务能完成，换位置或物体就失败，应检查新条件下的覆盖和实际结果。不同缺口需要不同证据。
同样，表征距离更接近目标，不自动代表所有物理要求都得到满足。目标画面可能没有表达抓取是否牢靠、途中是否发生碰撞等条件。移动木块的系统最终仍要在实际任务上确认结果，说明检查了什么、什么还没有检查。动作条件预测支持决策，任务验证决定这些决策是否可用。
数据够不够，要看缺的是哪一段连接
一段木块移动的视频可以提供丰富视觉经验；要让具体机器人自己完成动作，还需要把这种经验接到可执行接口上。V-JEPA 2-AC 用带有末端状态的机器人视频建立动作条件预测，Genie 学习生成环境中的潜在动作，VPT 用逆动力学为更多视频补动作标签。它们利用视频的方式不同，动作信息的来源也不同。
如果下一项任务改成把木块推入托盘，也可以沿着同样的联系检查：视频中的推动怎样对应机器人的控制输入，接触前的位置是否记录，命令与随后变化是否对齐，木块有没有真正到达目标。会搬运的结果不能替代推动的验证；多看一些移动视频，也不能自动补上这台机器在新动作中的对应。这个新场景没有改变提问方法，却改变了需要拿出的证据。
所以，读到“看视频学会控制”时，先找清模型从画面中获得了什么，再找动作信息怎样产生、候选怎样变成命令、结果怎样被观察和验证。缺少哪一环，就要求那一环的证据：只有视觉表现，尚不足以判断动作接口；已有动作配对，也还要看实际执行与任务范围。视频规模值得关注，完整的控制过程则需要逐步得到支持。
原文与来源
- V-JEPA 2：2025 年 arXiv v1 原始论文（48 页，含图表与技术附录） ↗
- Genie：2024 年原始论文 arXiv v1，潜在动作机制 ↗
- VPT：NeurIPS 2022 正式摘要与原论文入口 ↗
图片：AI 生成概念示意图 · 世界模型图谱