《World Action Models: The Next Frontier in Embodied AI》综述笔记

1. 一句话概括

这篇综述提出并系统化了 World Action Model，WAM：机器人不再只根据当前观测直接输出动作，而是将未来世界状态预测与动作生成耦合起来，让动作建立在对未来物理结果的预判之上。

论文的主要贡献是定义概念、划分架构、梳理数据和评测体系，并不是提出一个新的具体模型。

2. 为什么需要 WAM

传统 VLA 学习的是：

p(a\mid o,l)

即给定当前观测 $o$ 和语言指令 $l$ ，直接生成动作 $a$ 。

这种范式语义能力强，但通常没有显式建模：

动作执行后物体会如何运动；
是否发生碰撞、滑动或形变；
当前动作是否会导致任务失败；
不同动作会产生什么反事实结果。

因此，VLA 更接近一种反应式策略。WAM 则希望把世界模型变成策略内部的预测核心，从“看到什么就做什么”转向“预测做完会怎样，再决定怎么做”。

3. WAM 的正式定义

三类模型的区别可以写成：

模型	学习目标	主要能力
VLA	$p(a\mid o,l)$	根据观测和语言生成动作
World Model	$p(o'\mid o,a)$	预测某动作造成的未来状态
WAM	$p(o',a\mid o,l)$	同时建模未来状态与动作

其中：

$o$ ：当前观测；
$o'$ ：未来观测或未来状态表示；
$l$ ：语言任务；
$a$ ：机器人动作。

论文认为，一个模型要被称为 WAM，至少需要满足两个条件：

Forward Predictive Modeling：预测或利用可量化的未来状态；
Coupled Action Generation：生成的动作必须与预测未来发生明确耦合。

未来状态不一定是 RGB 视频，也可以是光流、深度、点云、触觉状态或物理 latent。

与相关概念的边界

Video Action Model，VAM：以未来视频作为世界表示，是 WAM 的一个子类。
Video Policy：使用视频生成模型的 backbone，但若仅做 $p(a\mid o)$ ，没有未来预测目标，就不属于 WAM。
Action World Model，AWM：功能上与 WAM 相近；作者选择 WAM，是为了强调它是继 VLA 之后的完整机器人基础模型，而不仅是附带动作模块的模拟器。

4. 核心架构分类

论文将 WAM 分成两大类：

\boxed{\text{Cascaded WAM}} \qquad \boxed{\text{Joint WAM}}

4.1 Cascaded WAM：级联式

基本流程：

当前观测 + 指令
        ↓
预测未来状态或视觉计划
        ↓
动作解码器
        ↓
机器人动作

概率上可以表示为：

p(o',a\mid o,l) = p(a\mid o',o,l)\,p(o'\mid o,l)

世界模型和动作模型通常分开训练。

两种中间表示

显式规划

先生成可观察的未来表示，例如：

RGB 视频或关键帧；
光流；
深度、法线；
3D 轨迹或点云。

再使用 inverse dynamics model、几何计算或独立策略，从视觉计划中恢复动作。

隐式规划

不生成完整视频，而是预测：

latent future；
latent action；
未来视觉或触觉特征。

随后由 policy 消费这些 latent，生成实际关节动作。

优点

世界预测和动作控制职责清晰；
预测视频容易观察和解释；
能直接利用大规模预训练视频生成模型；
不同模块容易替换。

缺点

两阶段存在训练和表示错配；
视频“看起来合理”不代表动作可执行；
两个模块叠加造成推理延迟；
长视频预测误差会累积；
动作解码可能是病态逆问题：同一未来状态可由多种动作产生。

4.2 Joint WAM：联合式

Joint WAM 在一个统一模型内同时预测：

(o',a)

世界预测和动作生成共同训练，使共享表示同时包含物理动态与控制信息。

主要分为两条路线。

自回归生成

将视频、状态和动作序列化为 token，按照因果顺序生成：

当前状态 token
→ 未来状态 token
→ 动作 token
→ 更远未来 token

其表示方式又包括：

不同模态采用不同输出头；
世界和动作统一离散化为 token；
不生成像素，而是自回归预测连续 latent。

问题是早期视觉幻觉可能继续影响后续动作，形成严重的误差传播；逐 token 生成也不利于实时控制。

Diffusion / Flow 非自回归生成

使用扩散模型或 flow matching，同时细化未来世界和动作轨迹。

常见结构包括：

Unified Stream：世界和动作进入同一个 DiT；
Multi-Stream：视频流与动作流分别建模，再通过 cross-attention、共享 hidden state 或共享表示交换信息。

其优势是适合连续、多峰动作分布；缺点是去噪步骤较多、计算量大。

5. WAM 是否一定要生成视频

不一定。

论文特别提出一个重要问题：

显式像素预测是否真的有必要？

一些结果显示，世界预测头的主要作用可能是训练时提供辅助监督，而不是推理时必须真的生成未来视频。部分框架在测试时移除未来预测头，动作性能也不一定明显下降。

因此，一个重要方向是：

(o_t,a_t) \rightarrow z_{t+1}

即采用 JEPA 式或其他 latent predictive objective，只预测与物理和动作有关的抽象未来表示，忽略纹理、背景等控制无关细节。

这也意味着：

WAM 的核心不是“必须生成好看的未来视频”，而是未来预测必须真正影响动作表示或动作生成。

6. 训练数据体系

论文将 WAM 数据分成四类。

数据来源	优点	主要问题
机器人遥操作	动作准确、与目标机器人完全对齐	成本高、规模有限
便携式人类示范	采集容易、交互丰富、可展示人类灵巧操作	需要映射到机器人 embodiment
仿真数据	可无限扩展、状态和物理标签完整	sim-to-real gap
人类与第一视角视频	规模巨大，包含丰富物理和任务先验	缺少机器人动作标签，形态差异大

WAM 相比普通 VLA 的一个潜在优势是可以同时利用：

(o_t,a_t,o_{t+1})

形式的机器人数据，以及只有：

(o_t,o_{t+1})

的无动作视频数据。

作者认为，理想训练方式不是只扩大机器人数据，而是混合：

精确的机器人控制数据；
人类交互视频；
仿真中的完整物理监督；
大规模互联网动态先验。

人类视频可以迁移什么

论文将可迁移信息分成三层：

低层物理先验：重力、物体恒常性、接触和运动；
中层因果动态：某种交互会造成何种结果；
高层任务逻辑：任务步骤和长期时间依赖。

真正困难的是过滤掉与目标机器人运动学不兼容的人类动作。

7. 评测体系

WAM 理论上应该同时评价：

\text{未来预测质量} + \text{动作执行质量} + \text{二者之间的因果一致性}

但现有评测大多仍然是分开的。

世界模型评测

1. Visual Fidelity

未来图像或视频是否清晰、连贯和符合条件：

PSNR、SSIM；
LPIPS、DreamSim、DINO similarity；
FVD 等分布级指标。

2. Physical Commonsense

预测是否符合物理规律：

物体是否保持恒常性；
是否存在穿透、漂浮等现象；
接触、重力、材料和运动是否合理；
速度和加速度是否连续。

3. Action Plausibility

生成的未来状态是否包含足够信息，以恢复或产生可执行动作；机器人或物体的运动是否与指令一致。

Policy 评测

论文同时整理了：

通用机械臂操作；
双臂和 humanoid；
移动操作；
柔性物体和接触操作；
真实机器人平台。

最终指标仍主要是 success rate、任务完成度、泛化能力和长时程表现。

8. 当前最主要的问题

8.1 架构选择缺少公平比较

目前有级联、联合扩散、离散 token、latent prediction 等大量设计，但缺少在相同数据、规模和评测协议下的系统对比。

因此还不能确定：

Joint 是否一定优于 Cascaded；
像素预测是否优于 latent prediction；
性能提升究竟来自未来推理，还是额外训练监督。

8.2 RGB 不能完整表示物理状态

接触操作依赖的很多信息在图像中不可见：

触觉分布；
接触力；
材料软硬程度；
声音；
本体状态。

未来 WAM 应预测视觉、触觉、力觉和 proprioception 的联合状态，而不是把“世界”等同于 RGB 视频。

8.3 长时程误差累积

长 rollout 中：

世界预测发生分布漂移；
动作误差不断累积；
缺少 corrective replanning；
一次生成完整长期轨迹成本过高。

作者提出三种可能路线：

高层 VLM 负责分解任务，WAM 负责低层执行；
WAM 自身进行多时间尺度预测；
扩展历史上下文和 memory，保存长期状态。

8.4 推理延迟

生成未来会产生明显的 latency tax。论文举例称，一些加速后的 WAM 约为 7 Hz，而非生成式 VLA 可以达到约 50 Hz。

关键问题可能不是“如何快速生成高清未来”，而是：

一个任务究竟需要多精确的未来模型？

理想系统应进行 task-adaptive predictive fidelity：关键接触阶段精确预测，简单移动阶段使用粗粒度预测。

8.5 缺少联合评测

一个模型可能：

视频预测很好，但动作很差；
动作成功，但根本没有利用预测未来；
预测和执行各自合理，但二者不一致。

论文提出未来需要评价：

Counterfactual Consistency：改变想象未来后，动作是否相应改变；
Foresight-Conditioned Success：真实执行是否遵循之前预测的未来；
Intent Alignment：想象内容与实际动作意图是否一致。

8.6 安全与失败恢复

错误的世界预测可能让机器人自信地执行一段危险动作。因此，未来预测不仅应该用于生成动作，还应在执行前被：

物理约束检查；
不确定性估计；
安全 verifier 检查；
异常时中止或重新规划。

也就是将 imagined future 作为安全监控器的输入。

9. 关于“预测失败后是否自动回退”

这篇综述并没有把 WAM 定义为一个必然具有搜索和回退能力的系统。

WAM 的最低要求是：

\text{预测未来} + \text{让未来与动作耦合}

但这不自动等价于：

生成多个未来
→ 判断失败
→ 回退
→ 重新规划

很多 Joint WAM 仍然只进行一次前向生成；有些模型甚至只在训练时使用未来预测头。真正的自动修正还需要额外加入：

MPC 或候选轨迹搜索；
value / reward / success verifier；
预测与真实观测的误差检测；
uncertainty estimation；
closed-loop replanning。

论文明确把“长时程缺少 corrective replanning”和“预测集成的安全验证”列为开放问题。

10. 最终结论

这篇综述的核心观点可以压缩成：

VLA 主要学习动作分布；World Model 学习环境转移；WAM 试图在统一系统中，让动作建立在对未来物理状态的预测之上。

最重要的研究问题不是单纯生成更清晰的视频，而是：

未来表示是否包含动作真正需要的物理信息；
模型生成动作时是否真的利用了预测未来；
预测错误后是否能检测、停止和重新规划；
如何以足够低的延迟完成闭环控制；
如何从人类视频中学习通用物理，同时适配机器人 embodiment。

对于你的研究方向，最直接的切入点是：

\boxed{ \text{Latent Predictive WAM} + \text{Long-term Memory} + \text{Causal Failure Attribution} + \text{Closed-loop Replanning} }

即让模型不仅预测“接下来会发生什么”，还能够识别哪一步导致失败、真实状态为何偏离预测，并利用历史失败记忆修正后续规划。

World Action Models 综述