只有几个像素，却可能让选择反过来
设想你在玩一个俯视角小游戏：角色沿着走廊前进，前方有一个很小的物体。它如果是奖励，你应当靠近；如果是敌人，你应当绕开。墙壁、地面和角色都画得很清楚，只有那个物体的轮廓或颜色不对，接下来的选择却可能完全反过来。这个假设场景说明，小物体占了多少画面，与它对任务有多重要，是两回事。
对世界模型也是如此。它预测的画面不只是交给人欣赏，还可能成为智能体练习行动的环境。模型漏掉一块墙上的纹理，策略也许照常学会走路；模型把敌人变成奖励，策略就可能在错误的规则里练习。影响行为的并非画面整体有多漂亮，而是与任务有关的信息在时间中是否可靠。
DIAMOND 把这个问题放进了具体实验：作者用扩散模型预测图像，在模型内部训练游戏智能体，再检验智能体回到 Atari 环境后的得分。他们还比较了若干预测片段，分析很小的视觉不一致怎样与策略表现联系起来。这些结果提供了研究线索，但不能被简化为“分辨率越高，智能体就越聪明”。
假设的游戏场景：一个很小的物体，可能决定角色应当靠近还是绕开。AI 生成概念图，不是 Atari 截图或论文中的模型输出。
细节要经过怎样的链条，才能改变行动？
把模型中的一次练习拆开来看：智能体先看到一帧图像，选择动作；世界模型预测动作后的下一帧，并给出奖励和这一局是否结束的预测；智能体再依据这些反馈调整策略。反复练习后，策略倾向于选择在这些想象经历中能带来较高回报的行动。DIAMOND 中，图像预测与奖励／终止预测由不同的模型承担，因此看懂图像只是这条链的一环。
现在把那个小物体放回链条。若敌人的位置被预测得偏了一点，智能体练习到的可通行区域就变了；若敌人几帧之间忽然变成奖励，靠近它的后果也可能变得混乱。更麻烦的是，策略会主动选择行动：某个错误一旦让一条路线显得有利，智能体可能更常走那里，于是在这个局部错误上练得越来越熟。这里说的是模型误差影响学习的一种可能机制，不是论文已经逐步验证了这个假设游戏的全过程。
这与“能不能识别小物体”还不完全相同。识别器可以对当前一张图给出正确标签，世界模型却必须在给定历史和动作后，把对象的身份、运动和相互作用接到下一帧。它既要保留信息，也要保留信息之间的关系。敌人一会儿在左边、一会儿凭空出现在右边，即使每一张单独看都很锐利，仍然不适合作为可靠的练习环境。
所以，评估一处视觉改善有没有意义，要沿着“信息变了什么—预测的后果变了什么—策略学到了什么—真实环境表现怎样”往后追。停在第一步，只能说明画面有所改变；走到最后，才开始接近对控制能力的检验。
一个对象在敌人与奖励之间来回切换
DIAMOND 论文的图 5 给了一个很直观的例子。在 Asterix 的预测片段中，IRIS 生成的橙色敌人，在第二帧变成红色奖励，第三帧又变回敌人，第四帧再次变成奖励。DIAMOND 在作者展示的对应片段里没有出现这种切换。两种模型都使用由专家策略收集的同一份 10 万帧静态数据训练，用于这个视觉对照。
这个例子值得停下来仔细看。背景不必大幅改变，只要对象身份来回切换，下一步行动的意义就不稳定：追过去究竟是在获取奖励，还是接近危险？对一个在模型内学习的智能体而言，这不只是“看起来有点怪”，而是它所经历的训练问题发生了变化。把对象预测清楚的价值，来自对象所对应的行动后果。
作者还展示了 Breakout 中砖块和记分在相邻帧间的不一致，以及 Road Runner 中路上小奖励点的闪变。DIAMOND 的展示片段保留了更一致的细节；在 Breakout 的一个例子里，击破红砖后的分数也相应增加了 7。分数出现在画面里，并不等于奖励预测器直接读取这几个数字。它说明的是，视觉模型有时连这种与事件关联的细小变化也能保持一致。
概念对照：上排的同一物体在危险物与奖励物之间切换，下排保持身份。图示帮助理解时间一致性，不是论文对照实验，也不表示某个模型的实际生成结果。
这些片段和真实游戏得分之间，还有一道需要谨慎跨越的距离。论文表 1 中，DIAMOND 在 Asterix、Breakout、Road Runner 的平均原始得分分别为 3698.5、132.5、20673.2；IRIS 对应为 853.6、83.7、9614.6。作者据此讨论视觉细节改善与表现改善的联系，同时使用“很可能归因于世界模型”这样的有限表述。我们应保留这个力度，不能把并列的画面和得分当作已经隔离所有变量的因果证明。
这也是阅读案例时容易略过的一点：用于定性画面对照的静态专家数据实验，与整个智能体反复收集数据、更新模型和策略的基准实验，不是同一条训练流程。前者帮助定位可见差异，后者报告任务结果。它们相互支持，但不能把其中一段演示当作整个得分差距的唯一解释。
扩散模型解决的是哪一部分问题？
一些世界模型先把图像压缩成离散符号，再预测符号序列。这样做可以让序列建模更容易处理，但如果压缩阶段舍弃了任务所需的细节，后面的预测就很难把信息补回来。DIAMOND 选择直接在图像空间中，用历史观察和动作作为条件，逐步去掉噪声，生成下一帧。论文提出这一路线，是为了研究扩散建模能否更好地保留与强化学习有关的视觉信息。
“逐步去噪”有两个不同的时间尺度。一次动作以后，环境前进一个时间步；为预测这个时间步的图像，扩散模型内部还会做若干次去噪计算。把二者混为一谈，就容易以为三次去噪意味着预测三帧。实际上一帧也可以经过多次去噪，再成为下一次环境预测的条件。
多次计算并不是越多越好。模型中的策略要练习大量轨迹，每生成一帧都要付出计算成本。DIAMOND 采用 EDM 形式和 Euler 采样，默认每帧 3 次函数评估。论文在有限步数下比较 DDPM 与 EDM，发现在所展示的 Breakout 长滚动实验中，EDM 的误差累积更轻；这个结论依赖当时的架构、数据与采样设置，不能扩展为所有扩散实现的普遍排名。
另一方面，足够锐利也不总能靠一次预测得到。Boxing 中，模型知道智能体控制的白色拳手做了什么，却无法同样确定黑色对手的下一步。一次去噪可能把几种合理结果平均成模糊图像；多步采样可以走向其中一种更明确的结果。这里需要保留的是多种可能未来，而不是强迫模型把一个不确定问题画成唯一答案。
也因此，一个边缘清晰、动作流畅的敌人，仍可能出现在不合理的位置。去噪解决了怎样形成一份明确样本的问题，却不能替代对动作后果与概率分布的学习。若一个危险结果在数据里很少出现，模型可以生成许多好看的安全片段，却仍然没有给决策者足够的信息。判断模型的可靠程度，不能只挑一段最顺眼的轨迹。
论文还强调，两种视觉模型在这里都生成 64×64 图像。因此，展示中的细节改善并不是直接把分辨率调大。作者比较的每帧网络调用数，DIAMOND 为 3 次、IRIS 为 16 次，也不能单独替代总算力比较：不同网络的一次前向计算并不等价。网络规模、训练时间与完整评估范围仍须一起看。
高分、平均分和算力，要放在同一张桌上看
Atari 100k 给每个游戏的智能体 10 万次环境动作预算，并不是只让整个训练做 10 万次计算。DIAMOND 在 26 个游戏上各训练 5 个随机种子，每次运行约使用 12GB 显存，在单张 RTX 4090 上约需 2.9 天。模型内部生成的练习经历还要另付计算成本。真实交互节省，与总训练便宜，是两个需要分别检查的判断。
论文报告平均人类归一化分数约为 1.46，表示先按每个游戏的随机及人类参考分数归一化，再进行汇总；它不表示所有游戏都达到人类水平。DIAMOND 在 11 个游戏超过人类参考，而表中的一些任务依然很弱。例如 Bank Heist 的平均原始分数为 19.7，明显低于该表列出的多种基线。把不突出的任务留在视野里，才能看清能力分布。
另一项汇总指标 IQM 去掉两端各四分之一后，对中间部分取平均，能降低极端高分的影响。DIAMOND 的 IQM 为 0.641，STORM 为 0.636；作者将两者描述为相当。平均分上明显更高，与更典型的一组结果大幅领先，并不是同一句话。正式解读还应查看置信区间及逐游戏数据。
| 看到的证据 | 可以支持什么 | 还不能据此推出什么 |
|---|---|---|
| 对象身份在展示片段里更一致 | 该片段的视觉预测更连贯 | 所有轨迹都如此，或已证明完整因果链 |
| 真实游戏得分提高 | 该设置下智能体的任务表现改善 | 提升仅由某一个视觉细节造成 |
| 真实交互预算相同 | 在这个交互预算下可以比较结果 | 总计算量、训练时长和模型规模完全相同 |
| 扩展到可玩的三维场景 | 模型能在该场景下响应控制并生成轨迹 | 已经训练并验证了能完成三维任务的策略 |
把同样的判断带到一个新场景
如果把故事从游戏换成一个仓库搬运场景，小物体可能变成货架边缘的一张标签。判断它是否重要，需要先明确任务：如果机器人只需沿空走廊前进，标签上的细字可能无关；如果它要把包裹放到指定格口，同样的字就可能决定目的地。这个场景仍是解释性假设，不是 DIAMOND 的机器人实验。
再往下追：标签是否在相邻视角中保持同一内容？不同转向会把机器人带到哪个格口？预测中的放置结果是否与实际观察相符？最后还要让系统在真实任务中检验选择。这条检查顺序把“图像细节”落回了任务与行动，而不是把所有像素都同等看待。
同一张货架标签，对沿走廊移动和寻找指定格口这两类任务，可能有不同的重要性。AI 生成假设场景，不是 DIAMOND 的应用实验。
DIAMOND 的三维 CS:GO 扩展也提醒我们注意这条界线：作者用静态游戏数据训练了可交互的世界模型，但这一部分没有强化学习智能体，也没有在线数据收集。模型会在少见区域漂移，短记忆还可能让武器或场景改变。能试玩的预测世界，与经过任务验证的决策系统，仍有一段需要实验填上的距离。
下一次看到一段细节丰富的世界模型演示，可以挑一个对象一路跟下去：它是什么，动作发生后它怎样变化，这种变化又会让智能体选择什么。能沿着这条线读到任务结果，视觉质量才不再是一个悬在行动之外的形容词。
原文与来源
图片：AI 生成概念示意图 · 世界模型图谱