https://github.com/OpenMOSS/Awesome-WAM

下面按 截至 2026 年 7 月 13 日 的公开论文整理。需要注意：World Action Model（WAM）这个名称主要在 2026 年被明确提出和系统化；不少 2025 年论文虽然没有直接使用 WAM 一词，但从今天的分类看，已经属于“预测未来世界 + 生成机器人动作”的 WAM 路线。

1. WAM 到底是什么

传统 VLA 通常学习：

[ p(a_{t:t+H}\mid o_{\le t},l)
]

即根据当前观察 (o) 和语言指令 (l) 直接预测动作。

WAM 进一步学习：

[
p(o_{t+1:t+H},a_{t:t+H}\mid o_{\le t},l)
]

即同时考虑：

• 世界接下来会怎样变化；

• 哪些动作能够产生这种变化；

• 预测的视觉未来和动作是否物理一致。

2026 年的 WAM 综述将其描述为：把预测状态建模和动作生成统一起来，对未来状态与动作的联合分布建模。(arXiv)

目前比较清晰的四类架构是：(arXiv)

2. 2025 年：从 Video Policy 走向 WAM

2.1 核心论文

2.2 2025 年的主线

2025 年主要回答了三个问题：

视频模型能不能帮助机器人动作生成？

VPP、UVA、UWM、WorldVLA 和 VideoVLA 的结果整体支持：相比只使用静态图像预训练，视频模型中的运动和时序表征能够改善 policy 学习。(arXiv)

是否必须生成完整未来视频？

UVA、DreamVLA、mimic-video 已经开始给出否定答案：

• UVA：联合训练，但测试时可以跳过视频解码；

• DreamVLA：预测结构化 world knowledge；

• mimic-video：直接读取视频模型 latent。

这为 2026 年 Fast-WAM 和 latent WAM 的爆发埋下了基础。

如何使用没有动作标签的视频？

主要出现两种方法：

1. 从视频中学习 latent action，如 AdaWorld、UniVLA、Motus；

2. 预训练视频生成器，再用少量 robot action data 学习 IDM 或 action head。

3. 2026 年：WAM 成为明确范式

3.1 核心论文

4. 最值得关注的技术演化

4.1 从显式视频生成转向 latent future

早期思路：

[
o_t,l \rightarrow \hat{o}{t+1:t+H}
\rightarrow a{t:t+H}
]

问题是：

• 视频扩散采样慢；

• 纹理、光照和背景并不一定和动作相关；

• 视觉上合理的未来不一定能被机器人执行；

• 视频生成误差会被 inverse dynamics 放大。

因此 2026 年明显转向：

[
o_t,l \rightarrow z_{\text{future}}
\rightarrow a_{t:t+H}
]

代表工作：

• VPP、mimic-video：视频模型中间特征；

• DiT4DiT：denoising feature；

• Fast-WAM、GigaWorld：训练时视频预测，测试时 action-only；

• Being-H0.7：posterior future latent 蒸馏；

• OA-WAM：object slot world state。

这是目前最明确的研究趋势。

4.2 从视频辅助 policy 转向真正联合建模

大致经历：

1. 视频模型作为 frozen encoder：VPP；

2. 视频模型 + 独立 IDM：Vidar、mimic-video；

3. 共享 latent、独立 decoder：UVA；

4. 同一模型联合 diffusion：UWM、VideoVLA；

5. 多专家统一模型：Motus、MotuBrain；

6. 大规模联合 world-action foundation model：DreamZero、Cosmos 3。

4.3 从 open-loop imagination 转向 closed-loop control

单次生成长未来容易产生累积误差，因此越来越多工作采用：

• action chunk；

• 短期 future prediction；

• 执行动作后读取真实 observation；

• 重新生成下一段动作；

• action generation 与 motor execution 异步并行。

LingBot-VA、DreamZero 和 MotuBrain 都强调了闭环、实时或异步控制。(arXiv)

4.4 从 RGB 世界转向结构化和多模态世界

当前主要扩展包括：

• RGB-D / normal / 4D：TesserAct；

• point cloud：ParticleFormer、PointWorld；

• object slots：OA-WAM；

• tactile：Dream-Tac；

• language reasoning：World-Language-Action；

• language/image/video/audio/action：Cosmos 3。

这反映出一个关键认识：机器人真正需要预测的不是漂亮的视频，而是接触、运动、空间关系、对象身份和任务进度。

5. 推荐阅读顺序

第一梯队：建立 WAM 主线

1. World Action Models: The Next Frontier in Embodied AI：先看定义和 Cascaded / Joint 分类。(arXiv)

2. Unified Video Action Model：理解共享 latent 与 action-only inference。(arXiv)

3. Unified World Models：理解视频扩散和动作扩散如何统一。(arXiv)

4. WorldVLA：理解 autoregressive image-action world model。(arXiv)

5. DreamZero：理解大规模 WAM、零样本和跨 embodiment。(arXiv)

第二梯队：理解当前争议

6. Cosmos Policy：未来、动作、value 和 planning 如何统一。(arXiv)

7. Fast-WAM：测试时到底需不需要生成未来。(arXiv)

8. GigaWorld-Policy：action-centered causal architecture。(arXiv)

9. Being-H0.7：latent future 是否可以替代 pixel rollout。(arXiv)

第三梯队：寻找研究切入点

10. OA-WAM：object-centric representation。(arXiv)

11. Dream-Tac：视觉之外的接触和触觉世界。(arXiv)

12. ABot-M0.5：移动操作、长时程和动作空间解耦。(arXiv)

6. 我对这个方向的判断

目前 WAM 还没有证明“生成越准确的视频，动作一定越好”。Fast-WAM、GigaWorld 和 Being-H0.7 反而说明：

WAM 的主要收益可能不是测试时真的“看见未来”，而是视频预测目标迫使模型在训练过程中学习运动、接触和状态变化。

因此未来更有潜力的研究问题可能是：

• 如何验证 latent 中编码的确实是 causal dynamics，而不是数据集相关性；

• 如何把未来表示压缩为 contact、flow、affordance、object state 等 action-sufficient state；

• 如何判断 world prediction 和 action prediction 的梯度是否冲突；

• 如何处理多种可能未来，而不是生成唯一确定视频；

• 如何在失败后进行在线 belief update 和 replanning；

• 如何对 imagined future 进行 uncertainty calibration；

• 如何建立能同时评价 visual fidelity、physical consistency 和 action utility 的 benchmark。

你的 latent causal memory / latent 中关键帧与 action 归因 想法和这条趋势非常契合：最有价值的点不是再次证明“加 future prediction 有用”，而是回答：

[
\text{WAM 的 latent 到底预测了什么，哪些未来因素真正导致了动作改进？}
]

这会比单纯做可视化更接近一个独立研究问题。

一、主线必读：12 篇

Stage 0：先建立统一概念

这篇读完后，先记住三个基本问题：

1. future prediction 是显式 pixel rollout，还是隐式 latent representation？

2. action 是否依赖生成出来的 future？

3. world loss 的作用是测试时规划，还是仅作为训练时辅助监督？

后面的论文基本都在回答这三个问题。

Stage 1：WAM 的源头

1. UniPi — Learning Universal Policies via Text-Guided Video Generation

NeurIPS 2023，Cascaded WAM

最经典的：

[
\text{instruction}+\text{observation}
\rightarrow \text{future video}
\rightarrow \text{action}
]

它把 sequential decision-making 表述为文本条件视频生成，再从生成视频中提取控制动作。重点理解：

• policy-as-video 的基本思想；

• video planner 和 inverse dynamics 为什么需要解耦；

• pixel-space planning 的优点和误差传播问题。(arXiv)

阅读优先级：S

2. GR-1 — Unleashing Large-Scale Video Generative Pre-training for Visual Robot Manipulation

ICLR 2024，Autoregressive Joint WAM

GR-1 使用统一 GPT-style Transformer，同时预测未来图像和机器人动作，并展示了大规模视频生成预训练对机器人控制的帮助。(arXiv)

重点看：

• future image prediction 如何作为机器人预训练任务；

• 图像 token、状态 token 和 action token 如何放进同一序列；

• autoregressive future/action generation 的局限。

阅读优先级：S

3. PAD — Prediction with Action

NeurIPS 2024，Diffusion Joint WAM

PAD 将未来图像预测和动作生成放在一个 DiT 中联合去噪，是后续 UWM、VideoVLA、DreamZero 等 diffusion WAM 的直接前身。它还支持机器人数据和无动作视频的联合训练。(arXiv)

重点看：

• joint denoising objective；

• image noise timestep 和 action noise timestep；

• 为什么 future prediction 可以作为 action learning 的额外监督。

阅读优先级：S

读完这三篇，你就能理解 WAM 最基本的三条源流：

• UniPi：先想象、再行动；

• GR-1：自回归联合生成；

• PAD：扩散式联合生成。

Stage 2：2025 年的结构收敛

4. VPP — Video Prediction Policy

ICML 2025

VPP 的关键不是完整生成视频，而是把视频扩散模型内部的中间特征作为 predictive visual representation，再用 diffusion policy 输出动作。它只运行视频模型的一次前向，而不是完整 denoising。(ar5iv)

重点看：

• 哪一层视频特征最适合动作预测；

• one-step noisy future feature 为什么仍然有用；

• pixel future 与 latent future 的区别。

阅读优先级：S

这是理解后续 DiT4DiT、Fast-WAM、Being-H0.7 的基础。

5. UVA — Unified Video Action Model

RSS 2025

UVA 学习统一的 video-action latent representation，但使用两个独立的轻量 diffusion decoder。部署时可以跳过视频生成，直接预测动作。通过 masked training，一个模型还可以执行 policy、forward dynamics、inverse dynamics 和 video generation。(ar5iv)

重点看：

• shared latent + decoupled decoder；

• 不同时间分辨率的视频和动作如何统一；

• 为什么联合训练不等于联合推理。

阅读优先级：S

6. UWM — Unified World Models

RSS 2025

UWM 在一个 Transformer 中整合 action diffusion 和 video diffusion，并为两种模态设置独立 diffusion timestep。因此，它可以通过控制 timestep 切换成 policy、forward dynamics、inverse dynamics 或 video generator，也能利用无动作视频。(ar5iv)

重点看：

• modality-specific diffusion timestep；

• action-free video 如何进入训练；

• joint modeling 和 shared latent 的区别；

• world-model pretraining 是否真正改善 policy generalization。

阅读优先级：S

建议把 UVA 和 UWM 连着读：

7. Motus — A Unified Latent Action World Model

2025

Motus 使用 Mixture-of-Transformers 整合理解、视频生成和动作专家，通过 UniDiffuser-style scheduler 支持 world model、VLA、IDM、视频生成和联合 video-action prediction。它还利用 optical flow 学习 latent action。(ar5iv)

重点看：

• understanding/video/action 三个 expert 如何交互；

• latent action 如何从无动作视频中学习；

• heterogeneous data 如何进入统一训练；

• model unification 是否带来能力迁移。

阅读优先级：S

这篇模型比较复杂，不建议一开始精读实现细节。先读 Figure 1、训练阶段和 ablation。

Stage 3：2026 年的规模化与关键争议

8. Cosmos Policy

Cosmos Policy 直接把动作、未来状态和 value 编码成视频模型的 latent frame，在不修改基础视频模型架构的情况下进行机器人后训练。它还能够使用预测的 future state 和 value 做测试时轨迹规划。(ar5iv)

重点看：

• action/state/value 如何统一为 latent frame；

• WAM 如何从行为克隆扩展到 model-based planning；

• world model rollout 与 value function 如何配合；

• policy rollout data 如何反过来改进 world model。

阅读优先级：S

这是“WAM 不只是预测动作，还可以承担规划器和价值模型”的代表。

9. DreamZero — World Action Models are Zero-shot Policies

DreamZero 基于大型预训练视频扩散模型联合预测视频和动作，重点探索零样本物理技能泛化、视频数据迁移、跨 embodiment 学习和实时闭环控制。论文报告其 14B 模型能够以约 7 Hz 运行闭环控制。(ar5iv)

重点看：

• WAM 相比 VLA 声称解决了什么 generalization gap；

• heterogeneous robot data 如何联合训练；

• video-only human/robot demonstration 如何迁移；

• zero-shot skill 与 zero-shot semantics 的区别；

• 系统工程如何将大视频模型用于闭环控制。

阅读优先级：S+

这是截至目前 WAM 方向最具代表性的规模化工作之一，但需要注意其结论来自特定模型、数据和真实机器人设置，不能简单等同于“所有 WAM 都优于 VLA”。

10. Fast-WAM — Do WAMs Need Test-time Future Imagination?

Fast-WAM 是目前最重要的分析型工作之一。它保留训练时 video co-training，但测试时跳过未来视频预测。实验表明，移除视频联合训练的影响通常大于移除测试时 future imagination；作者据此认为，视频建模的主要价值可能在于改善训练阶段的世界表示。(ar5iv)

重点看：

• future co-training 和 test-time imagination 如何被严格解耦；

• imagine-then-execute 的提升究竟来自哪里；

• latency、performance 和 visual rollout 的关系；

• 实验是否足以支持“测试时不需要 imagination”。

阅读优先级：S+

这篇一定要和 DreamZero 对照读：

11. GigaWorld-Policy

GigaWorld-Policy 采用 action-centered 因果结构：动作由当前观察预测，未来视频再以预测动作和当前观察为条件生成；future-video token 不允许反向影响 action token，因此推理时可以选择不生成视频。(ar5iv)

重点看：

• causal attention mask；

• action-first 与 imagine-first 的差别；

• future video 是 action 的条件，还是 action 的监督；

• 如何避免生成错误未来干扰动作。

阅读优先级：S

这篇可以理解成 Fast-WAM 思想的结构化版本：

[
o_t \rightarrow a_{t:t+H}
\rightarrow \hat{o}_{t+1:t+H}
]

而不是：

[
o_t \rightarrow \hat{o}{t+1:t+H}
\rightarrow a{t:t+H}
]

12. VLA-JEPA

VLA-JEPA 不预测 pixel future，而是让当前观察分支预测未来帧的 latent target。未来信息只作为 target，不进入 student 输入，从而减少信息泄漏、背景变化和无关视觉运动带来的影响。(arXiv)

重点看：

• leakage-free future target；

• JEPA-style latent prediction；

• action-relevant state transition 与 pixel variation 的区别；

• latent world modeling 是否需要生成器。

阅读优先级：S+

对于你想做的 latent causal memory / latent attribution，这篇非常关键。

二、第二梯队：8 篇扩展阅读

这些论文不一定都要逐行精读，但能补齐不同路线。

三、结合你方向的专项 Reading List

你之前提出的是：

WAM + latent causal memory，分析 latent 中真正对动作有因果贡献的关键帧、对象、接触状态或 action。

因此除了主线论文，我建议重点读下面三组。

3.1 Latent future representation

推荐顺序：

1. VPP

2. DiT4DiT

3. VLA-JEPA

4. Being-H0.7

5. Fast-WAM

6. GigaWorld-Policy

它们对应六种不同的 future representation：

读这组时，建议统一记录：

[
z_t = f(o_{\le t}, l)
]

究竟通过什么监督变成 future-aware，以及动作头是否真正使用 (z_t) 中的未来信息。

3.2 Memory 与长时程状态

推荐顺序：

1. MemoryWAM

2. HiMem-WAM

3. UVA

4. Motus

5. VLA-JEPA

MemoryWAM 主要解决 bounded observation window 与长历史计算成本的矛盾；HiMem-WAM 则强调在 skill boundary 写入紧凑任务状态。(ar5iv)

你可以重点比较：

• memory 写入是定时、事件触发还是 learned gate；

• memory 保存原始 observation、latent state、skill state 还是 prediction error；

• memory 是供 world prediction 使用，还是直接供 action policy 使用；

• memory 是否真的帮助 non-Markovian task；

• memory retrieval 对动作结果是否存在可验证的因果贡献。

3.3 Geometry、object 与 contact

推荐：

• TesserAct：4D embodied world modeling；

• 3DFlowAction：3D flow 作为跨 embodiment 接口；

• Dream2Flow：从生成视频提取 3D object flow；

• X-WAM：RGB-D、多视角和 4D reconstruction；

• Dream-Tac：future tactile/contact dynamics。

Awesome-WAM 将 TesserAct、3DFlowAction、Dream2Flow、4DGen 和 X-WAM 分别归入 4D/video planning、几何 action extraction 和联合 4D WAM 路线。(GitHub)

这一组能帮助你把“latent causal memory”从抽象 token 落到更有物理意义的变量上，例如：

这比只做 attention heatmap 更容易形成一个完整研究问题。

四、建议的四周阅读安排

第 1 周：起源和定义

• WAM Survey

• UniPi

• GR-1

• PAD

目标：搞清楚 cascaded、autoregressive joint 和 diffusion joint 三种范式。

第 2 周：2025 年统一架构

• VPP

• UVA

• UWM

• Motus

• WorldVLA，快速读

目标：搞清楚 pixel future、shared latent、joint diffusion 和 latent action。

第 3 周：2026 年核心争议

• Cosmos Policy

• DreamZero

• Fast-WAM

• GigaWorld-Policy

• DiT4DiT

目标：回答：

WAM 的收益来自显式未来规划，还是来自训练时预测监督？

第 4 周：你的研究切入点

• VLA-JEPA

• Being-H0.7

• MemoryWAM

• HiMem-WAM

• X-WAM 或 Dream-Tac 二选一

目标：形成一张统一分析表：

五、最终优先级

必须精读

1. WAM Survey

2. UniPi

3. GR-1

4. PAD

5. VPP

6. UVA

7. UWM

8. Motus

9. Cosmos Policy

10. DreamZero

11. Fast-WAM

12. GigaWorld-Policy

13. VLA-JEPA

重点读方法和实验

14. DiT4DiT

15. Being-H0.7

16. WorldVLA

17. VideoVLA

18. X-WAM

19. MemoryWAM

20. HiMem-WAM

按专题选读

• 视觉规划：VLP、RoboEnvision、Vidar、Veo-Act；

• 几何规划：AVDC、Im2Flow2Act、3DFlowAction、Dream2Flow、4DGen；

• latent action：LaPA、UniVLA、villa-X、Motus；

• 触觉与力：OmniVTA、FAWAM、Dream-Tac；

• world model 评估：WorldModelBench、EWMBench、WorldEval、WorldGym、dWorldEval。Awesome-WAM 对这些方向有持续维护的分类和论文博客，可以作为后续查漏补缺的索引。(GitHub)

整体上，你最应该围绕下面这条线读：

[
\text{UniPi}
\rightarrow
\text{GR-1/PAD}
\rightarrow
\text{VPP/UVA/UWM}
\rightarrow
\text{DreamZero}
\rightarrow
\text{Fast-WAM/GigaWorld}
\rightarrow
\text{VLA-JEPA/Being-H0.7}
\rightarrow
\text{MemoryWAM/HiMem-WAM}
]

这条线正好对应：

[
\text{显式视频规划}
\rightarrow
\text{视频动作联合建模}
\rightarrow
\text{latent future}
\rightarrow
\text{高效 action-only inference}
\rightarrow
\text{长期 causal memory}
]

也可以设置一个每周更新任务，持续补充 Awesome-WAM 新增论文并按与你研究方向的相关度排序。