Go back

Motus - A Unified Latent Action World Model

Edit page

Motus：A Unified Latent Action World Model 精读

论文 Motus: A Unified Latent Action World Model 提出一个约 8B 参数的统一具身模型，希望用同一套网络完成：

  1. VLA：根据当前图像和语言预测动作；

  2. World Model：根据当前图像和动作预测未来视频；

  3. IDM：根据前后视频反推动作；

  4. VGM：根据当前图像和语言生成未来视频；

  5. Video-Action Joint Prediction：同时生成未来视频和动作。

它的核心不是简单把五个任务放到一起训练，而是：

用视频生成专家、动作专家、视觉语言理解专家组成 Mixture-of-Transformers，再通过独立的视频/动作扩散时间步切换不同任务；同时使用光流构造 latent action，让无动作标签的视频也能用于动作预训练。

论文的 v2 版本发布于 2025 年 12 月 25 日。(arXiv)

一、论文要解决什么问题？

1. 具身模型被拆成了五套系统

论文把主流具身建模任务写成五个概率分布。

设：

那么：

VLA

p(at+1:t+k∣ot,ℓ)p(a_{t+1:t+k}\mid o_t,\ell)

输入当前图像和指令，直接输出动作。

World Model

p(ot+1:t+k∣ot,at+1:t+k)p(o_{t+1:t+k}\mid o_t,a_{t+1:t+k})

给定动作，预测执行这些动作后世界会变成什么样。

Inverse Dynamics Model

p(at+1:t+k∣ot:t+k)p(a_{t+1:t+k}\mid o_{t:t+k})

给定前后视频，反推出中间执行了什么动作。

Video Generation Model

p(ot+1:t+k∣ot,ℓ)p(o_{t+1:t+k}\mid o_t,\ell)

给定当前场景和任务，想象未来视频。

Video-Action Joint Prediction

p(ot+1:t+k,at+1:t+k∣ot,ℓ)p(o_{t+1:t+k},a_{t+1:t+k}\mid o_t,\ell)

同时预测未来视觉和动作。(arXiv)

传统方法往往只覆盖其中一两个任务。例如：

Motus 认为 UWM 仍有两个不足：

  1. 单一 Transformer 从头训练，很难继承成熟 VLM 和视频生成模型的能力；

  2. 动作专家依赖机器人动作标签，难以利用互联网视频和人类第一视角视频。(arXiv)

二、整体架构：三个专家组成一个统一模型

Motus 包含三个专家。

专家基础模型/结构负责能力
Video Generation ExpertWan 2.2 5B视频生成、未来预测、物理动态
Action Expert约 641.5M Transformerlatent action 或真实机器人动作
Understanding ExpertQwen3-VL-2B 特征 + 约 253.5M Transformer语言理解、空间理解、物体定位

总参数量约为 8B。动作专家和理解专家均有 30 层；动作专家 hidden size 为 1024，理解专家为 512。(arXiv)

1. 为什么不是直接把 token 全部扔进一个 Transformer？

UWM 的方式可以简化为：

H=[Ho;Ha]H=[H_o;H_a]

然后所有 observation token 和 action token 经过完全相同的 Transformer block。

问题是，视频生成、动作控制和语言理解需要的内部计算并不完全一致：

如果所有模态都使用同一个 FFN，很容易发生任务干扰。

Motus 因此采用 Mixture-of-Transformers，MoT：

论文将其称为：

Tri-model Joint Attention

从图和论文描述可以把它理解为：

Qm=HmWQ(m),Km=HmWK(m),Vm=HmWV(m),Q_m=H_mW_Q^{(m)},\qquad K_m=H_mW_K^{(m)},\qquad V_m=H_mW_V^{(m)},

其中 m∈v,a,um\in{v,a,u} 分别表示 video、action、understanding。

每个专家保留自己的投影参数，但 attention 时可以访问其他专家的特征。概念上类似：

Kjoint=[Kv;Ka;Ku],Vjoint=[Vv;Va;Vu],K_{\text{joint}}=[K_v;K_a;K_u],\qquad V_{\text{joint}}=[V_v;V_a;V_u], H~mAttention⁡(Qm,Kjoint,Vjoint).\widetilde H_m \operatorname{Attention} \left( Q_m,K_{\text{joint}},V_{\text{joint}} \right).

之后 H~v,H~a,H~u\widetilde H_v,\widetilde H_a,\widetilde H_u 分别进入各自的 FFN。

这样既保留专家特化，又允许：

论文没有把 joint attention 的张量拼接方式完整形式化，因此上式是根据架构图和文字作出的结构化理解，而不是论文直接给出的严格实现代码。

三、最关键的统一机制：独立的噪声时间步

这部分和你刚读过的 UWM 很接近，也是理解五种任务如何统一的关键。

Motus 对未来视频和未来动作分别进行 rectified flow：

两者独立采样：

τo,τa∼U(0,1),\tau_o,\tau_a\sim \mathcal U(0,1), ϵo,ϵa∼N(0,I).\epsilon_o,\epsilon_a\sim\mathcal N(0,I).

这里的 N(0,I)\mathcal N(0,I) 表示从均值为零、协方差为单位矩阵的多维标准高斯分布中采样噪声。

1. Rectified Flow 的加噪路径

对任意干净数据 x0x^0，构造从数据到高斯噪声的直线路径：

xτ=(1−τ)x0+τϵ.x^\tau=(1-\tau)x^0+\tau\epsilon.

当：

对 τ\tau 求导：

dxτdτ=ϵ−x0.\frac{\mathrm d x^\tau}{\mathrm d\tau} = \epsilon-x^0.

所以 rectified flow 网络需要预测的目标速度就是：

v∗(xτ,τ)=ϵ−x0.v^*(x^\tau,\tau)=\epsilon-x^0.

Motus 分别对动作和视频进行这个过程：

at+1:t+kτa=(1−τa)at+1:t+k0+τaϵa,a^{\tau_a}_{t+1:t+k} = (1-\tau_a)a^0_{t+1:t+k} + \tau_a\epsilon_a, ot+1:t+kτo=(1−τo)ot+1:t+k0+τoϵo.o^{\tau_o}_{t+1:t+k} = (1-\tau_o)o^0_{t+1:t+k} + \tau_o\epsilon_o.

统一模型输入为：

voθ,vaθ=fθ(ot,ot+1:t+kτo,at+1:t+kτa,τo,τa,ℓ).v_o^\theta,v_a^\theta = f_\theta \left( o_t, o^{\tau_o}_{t+1:t+k}, a^{\tau_a}_{t+1:t+k}, \tau_o,\tau_a,\ell \right).

损失为：

Laction=E[∣vaθ−(ϵa−at+1:t+k0)∣22],\mathcal L_{\text{action}} = \mathbb E \left[ \left| v_a^\theta- (\epsilon_a-a^0_{t+1:t+k}) \right|_2^2 \right], Lobs=E[∣voθ−(ϵo−ot+1:t+k0)∣22],\mathcal L_{\text{obs}} = \mathbb E \left[ \left| v_o^\theta- (\epsilon_o-o^0_{t+1:t+k}) \right|_2^2 \right], L=Laction+Lobs.\mathcal L = \mathcal L_{\text{action}} + \mathcal L_{\text{obs}}.

也就是说，模型在一次训练中同时学习：

一个记号问题

正文写作 τ∼U(0,Tτ)\tau\sim U(0,T_\tau)，补充材料算法又从整数集合 1,…,Tτ{1,\ldots,T_\tau} 中采样，但插值公式直接使用 (1−τ)(1-\tau)。严格来说，插值系数应该归一化到 [0,1][0,1]，即使用 τ/Tτ\tau/T_\tau。这里大概率是论文省略了归一化或存在记号不严谨，而不是直接把整数 τ\tau 代入插值公式。

四、如何通过 (τo,τa)(\tau_o,\tau_a) 切换五种任务？

核心原则只有三个：

五种模式对照表

模式未来视频动作最终生成
VGM从噪声去噪始终保持噪声视频
World Model从噪声去噪始终保持干净视频
IDM始终保持干净从噪声去噪动作
VLA始终保持噪声从噪声去噪动作
Joint Prediction从噪声去噪从噪声去噪视频和动作

1. VGM 模式

目标：

p(ot+1:t+k∣ot,ℓ).p(o_{t+1:t+k}\mid o_t,\ell).

初始化：

ot+1:t+kTτ=ϵo,at+1:t+kTτ=ϵa.o^{T_\tau}_{t+1:t+k}=\epsilon_o, \qquad a^{T_\tau}_{t+1:t+k}=\epsilon_a.

然后只更新未来视频：

oτ−Δτoτ+voθdτ,o^{\tau-\Delta\tau} o^\tau+v_o^\theta\mathrm d\tau,

动作始终保持为噪声：

aTτ=ϵa.a^{T_\tau}=\epsilon_a.

因此模型看不到有意义的未来动作，只能根据当前图像和语言生成未来视频。

2. World Model 模式

目标：

p(ot+1:t+k∣ot,at+1:t+k).p(o_{t+1:t+k}\mid o_t,a_{t+1:t+k}).

动作作为干净条件：

τa=0,at+1:t+k0=at+1:t+k.\tau_a=0, \qquad a^{0}_{t+1:t+k}=a_{t+1:t+k}.

未来视频从噪声开始：

ot+1:t+kTτ=ϵo.o^{T_\tau}_{t+1:t+k}=\epsilon_o.

之后只对视频积分去噪：

(oτ,a0,τ,0)⟶o0.(o^\tau,a^0,\tau,0) \longrightarrow o^0.

这对应：

已知机器人未来准备执行什么动作，预测执行后的视觉结果。

3. IDM 模式

目标：

p(at+1:t+k∣ot:t+k).p(a_{t+1:t+k}\mid o_{t:t+k}).

完整视频序列保持干净：

τo=0.\tau_o=0.

动作从噪声开始：

at+1:t+kTτ=ϵa.a^{T_\tau}_{t+1:t+k}=\epsilon_a.

然后只生成动作：

(o0,aτ,0,τ)⟶a0.(o^0,a^\tau,0,\tau) \longrightarrow a^0.

相当于看到运动前后的视觉变化，推断导致这种变化的控制信号。

4. VLA 模式

目标：

p(at+1:t+k∣ot,ℓ).p(a_{t+1:t+k}\mid o_t,\ell).

动作从噪声去噪，但未来视频始终保持噪声：

(oTτ,aτ,Tτ,τ)⟶a0.(o^{T_\tau},a^\tau,T_\tau,\tau) \longrightarrow a^0.

这里当前观察 oto_t 和语言 ℓ\ell 是真正条件，未来视频噪声相当于一个“空的视频条件”。

5. Video-Action Joint Prediction

目标：

p(ot+1:t+k,at+1:t+k∣ot,ℓ).p(o_{t+1:t+k},a_{t+1:t+k}\mid o_t,\ell).

视频和动作都从噪声开始：

oTτ=ϵo,aTτ=ϵa.o^{T_\tau}=\epsilon_o, \qquad a^{T_\tau}=\epsilon_a.

随后同时去噪：

(oτ,aτ,τ,τ)⟶(o0,a0).(o^\tau,a^\tau,\tau,\tau) \longrightarrow (o^0,a^0).

视频和动作在每一个生成步骤中通过 joint attention 相互影响。

例如，动作专家倾向于生成“向烤箱移动”的动作时，视频专家也会生成机械臂接近烤箱的画面；视频专家预测夹爪尚未抓住面包时，动作专家可以调整后续控制。

论文的补充材料给出了这五种模式的完整采样算法。(arXiv)

五、为什么需要 Latent Action？

普通机器人动作存在严重的 embodiment gap：

Motus 的思路是：

不先寻找统一的机器人控制空间，而是寻找统一的视觉运动空间。

它把光流看作一种 pixel-level “delta action”。

1. 从视频中提取运动

对于相邻两帧：

(ot,ot+1),(o_t,o_{t+1}),

使用 DPFlow 计算光流：

Ft=DPFlow⁡(ot,ot+1).F_t=\operatorname{DPFlow}(o_t,o_{t+1}).

光流描述每个像素从上一帧到下一帧的位移，因此包含：

论文将光流转成 RGB 表示，再输入 DC-AE。

2. 压缩成低维 latent action

DC-AE 首先把光流编码为四个 512 维 token：

HF∈R4×512.H_F\in\mathbb R^{4\times512}.

之后通过轻量 encoder 压缩成一个 14 维向量：

zt=Eaction(HF),zt∈R14.z_t=E_{\text{action}}(H_F), \qquad z_t\in\mathbb R^{14}.

选择 14 维主要是为了接近常见双臂机器人的动作维度。

随后 decoder 和 DC-AE decoder 从 ztz_t 重建原始光流：

F^t=Dflow(zt).\hat F_t=D_{\text{flow}}(z_t).

因此 ztz_t 必须保留足够的运动信息。

需要强调：

ztz_t 并不天然等于机器人真实动作。它首先只是压缩后的视觉运动表示。

3. 用少量动作标签对齐 latent action

为了让 ztz_t 更接近可执行控制，论文混合：

损失为：

LlatentLrecon+λa∣areal−apred∣22+βLKL.\mathcal L_{\text{latent}} \mathcal L_{\text{recon}} + \lambda_a \left| a_{\text{real}}-a_{\text{pred}} \right|_2^2 + \beta\mathcal L_{\mathrm{KL}}.

其中：

论文设置：

λa=1,β=10−6.\lambda_a=1,\qquad \beta=10^{-6}.

有标签部分不仅包括任务演示，还包括通过 Curobo 随机采样机器人动作获得的 task-agnostic 数据。这样即使随机动作没有完成任务，也可以告诉模型“哪些视觉变化对应哪些真实控制”。

4. Latent action 在三个训练阶段中的角色

Stage 2 中，动作专家预测的是：

zt+1:t+k,z_{t+1:t+k},

而不一定是真实机器人动作。

这样：

都可以转换成同一种光流 latent action 来训练动作专家。

到 Stage 3，输出头和动作专家再针对目标机器人真实动作：

at+1:t+ka_{t+1:t+k}

进行微调。

所以 latent action 的作用不是完全替代真实动作，而是作为：

大规模预训练阶段的跨 embodiment 中间语言。

六、Action-Dense Video-Sparse Prediction

如果为每一个动作时间步都生成视频帧，会出现两个问题：

  1. 视频 token 数量远大于动作 token；

  2. 模型容易主要优化视频生成，而忽略精细动作控制。

Motus 因此让视频预测更稀疏、动作预测更密集。

具体设置为：

两者覆盖的时间长度相同：

\frac{8}{5} # \frac{48}{30} 1.6\text{ 秒}.

也就是每生成一帧视频，对应大约六个动作：

305=6.\frac{30}{5}=6.

这既减少视频生成成本，也缓解 joint attention 中视频 token 过多的问题。

七、三阶段训练和六层数据金字塔

Stage 1：学习视觉动力学

只训练或适配视频生成专家。

使用：

目标是先让 Wan 视频模型适应机器人交互场景，使其能够根据初始图像和指令生成合理的操作过程。

Stage 2：用 latent action 进行统一预训练

训练三个专家组成的 Motus，但冻结基础 VLM。

输入包括：

这一阶段让动作专家通过无标签视频获得运动和物理交互先验，也是论文声称提升最大的阶段。

Stage 3：目标机器人 SFT

使用目标机器人上的真实动作轨迹进行监督微调：

p(at+1:t+k∣ot,ℓ).p(a_{t+1:t+k}\mid o_t,\ell).

把跨视频、跨机器人的运动知识适配到具体机器人的运动学和动作坐标系中。

六层数据金字塔

从底到顶：

Level数据
1Web data，用于原始 VLM/VGM
2Egocentric human videos
3Synthetic robot data
4Task-agnostic robot data
5Multi-robot task trajectories
6Target-robot task trajectories

越靠下：

越靠上：

论文表中列出的数据规模合计约 101 万条/段数据，其中 AgiBot 数据约 72.8 万，EgoDex 约 23.1 万；目标机器人内部数据只有约 2000 条。(arXiv)

八、实验结果怎么看？

1. RoboTwin 2.0

模型在 50 个任务上进行 multi-task 训练，同时测试 clean 和 randomized 场景。

平均成功率：

方法CleanRandomized
π0.5\pi_{0.5}42.9843.84
X-VLA72.8072.84
Motus w/o Pretrain77.5677.00
Stage 182.2681.86
Motus88.6687.02

Motus 相比 X-VLA：

88.66−72.80=15.8688.66-72.80=15.86

个绝对百分点；randomized 下提升：

87.02−72.84=14.18.87.02-72.84=14.18.

相比 π0.5\pi_{0.5} 约提升 43–46 个绝对百分点。

因此摘要所说的 “+15%” 和 “+45%” 更准确地理解为 absolute percentage points，而不是相对提升比例。

预训练消融

Randomized：

77.00→Stage 181.86→Stage 287.02.77.00 \xrightarrow{\text{Stage 1}} 81.86 \xrightarrow{\text{Stage 2}} 87.02.

Clean：

77.56→Stage 182.26→Stage 288.66.77.56 \xrightarrow{\text{Stage 1}} 82.26 \xrightarrow{\text{Stage 2}} 88.66.

说明：

但这个实验只能证明完整 Stage 2 有效，不能单独证明提升究竟来自：

因为论文没有把这些因素进一步拆开。(arXiv)

2. 真实机器人实验

在 AC-One 上：

方法平均 Partial Success
π0.5\pi_{0.5}14.79
w/o Pretrain25.86
Motus63.22

在 Agilex-Aloha-2 上：

方法平均 Partial Success
π0.5\pi_{0.5}48.60
w/o Pretrain26.60
Motus59.30

Motus 在 AC-One 上的提升非常大，但需要注意这里使用的是 partial success rate：

它比严格的 binary success 更容易体现长时程任务的部分进展，但分数会受到人工子任务划分和权重设置影响。所有方法使用相同指标，因此横向比较仍然有意义。(arXiv)

论文文字与表格有一处不完全一致

论文称 Motus 在两个平台的所有任务上都显著超过 baseline，但表格中并非每个任务都最好。例如：

所以更准确的结论是：

Motus 的平均表现显著更高，但并未在每一个单独任务上都取得最优结果。(arXiv)

九、统一五种能力真的验证了吗？

补充材料分别测试了不同模式。

IDM

100 个 RoboTwin randomized 样本上的动作 MSE：

方法Action MSE ↓
ResNet18 + MLP0.044
DINOv2 + MLP0.122
Motus0.014

说明统一模型确实能切换成 inverse dynamics model。(arXiv)

VLA 与 Joint Prediction

模式RoboTwin Randomized
Motus VLA83.90
Motus Joint87.02

Joint 模式高约：

87.02−83.90=3.1287.02-83.90=3.12

个百分点。

这表明同时生成视频并不只是附属可视化；视频和动作的联合去噪可能确实能帮助动作预测。(arXiv)

World Model

在两个真实机器人数据集上的未来视频指标：

平台FID ↓FVD ↓SSIM ↑LPIPS ↓PSNR ↑
Agilex-Aloha-29.4649.280.8860.05426.10
AC-One12.9673.130.8460.07324.04

不过这里没有和专门的机器人 world model baseline 对比，因此只能证明它可以生成较合理的视频，不能证明其 world modeling 能力达到 SOTA。(arXiv)

十、与 UWM 的核心区别

你前面读的 UWM 和 Motus 在概率建模层面的核心非常相似：

真正的区别主要在架构和数据利用方式。

方面UWMMotus
主干单一统一 diffusion Transformer三专家 MoT
视频先验相对有限或从头学习Wan 2.2 5B
理解先验相对有限Qwen3-VL-2B
动作预训练机器人动作数据光流 latent action + 少量标签
跨模态交互统一 blockTri-model Joint Attention
异构视频利用受限人类视频、无标签视频、跨机器人视频
规模更像统一建模原型更像大规模统一基础模型

因此我的判断是：

Motus 在“如何统一五种概率分布”上不是全新的范式，它继承并扩展了 UWM/UniDiffuser 式独立时间步机制；真正的新意是把这种统一机制与成熟 VLM、VGM、动作专家、光流 latent action 和大规模数据配方结合起来。

论文自己也明确将 UWM 描述为统一五类任务的先行工作，并强调 Motus 的不同在于利用预训练 VLM/VGM 和异构大规模数据。(arXiv)

十一、这篇论文的主要优点

1. 统一不是只停留在概念上

它确实给出了五种推理算法，并对 VLA、IDM、World Model、VGM 和 Joint Prediction 做了不同程度的实验。

2. Latent action 的工程动机很合理

相比直接从 RGB 重建未来帧，光流更集中于：

比让低维 latent 同时编码颜色、背景和纹理更接近动作的含义。

3. 利用预训练专家而非推倒重来

MoT 允许模型继承：

这是它相对 UWM 最实际的优势。

4. Action-dense、video-sparse 设计实用

它直接处理了视频 token 数远大于动作 token 的问题，也降低了视频生成引入的推理开销。

十二、主要不足与值得质疑的地方

1. 消融实验不够

最缺少的是：

目前的 stage ablation 把数据、训练时间和方法组件混在了一起。

2. 光流不等于动作

光流包含：

而真正控制还包含：

因此所谓 pixel-level delta action 更准确地说是：

与动作相关的视觉状态差分，而不是严格的动作表示。

3. 14 维只是维度对齐，不保证语义对齐

即使 latent 和真实动作都是 14 维，也不意味着：

zi↔ai.z_i\leftrightarrow a_i.

第 ii 个 latent 维度不一定对应第 ii 个关节。真正起作用的是弱监督 alignment 和 Stage 3 微调，而不是“维度一样”本身。

4. 统一能力的实验强度不均衡

主策略结果很强，但：

因此它更有力地证明了“统一训练有助于 policy”，尚未充分证明每个生成模式本身都达到顶尖水平。

5. 训练成本很高

论文报告：

总计约：

8000+10000+400=18400 GPU hours.8000+10000+400=18400\text{ GPU hours}.

这使得完整复现门槛非常高，也让性能提升可能部分来源于模型和数据规模。(arXiv)

十三、一句话总结方法

Motus 可以写成：

MotusVGM Expert+Action Expert+VLM Expert+Joint Attention+Independent Flow Timesteps+Optical-Flow Latent Action\boxed{ \text{Motus} \text{VGM Expert} + \text{Action Expert} + \text{VLM Expert} + \text{Joint Attention} + \text{Independent Flow Timesteps} + \text{Optical-Flow Latent Action} }

其中：

最终评价

这篇论文最重要的意义不在于提出一种全新的 world model 数学形式，而在于把已有的几个关键方向真正组合成一个大型统一系统：

UWM 式统一生成框架 + MoT 预训练专家融合 + latent action 跨 embodiment 预训练。

从研究定位看，它更像一篇 统一具身基础模型与大规模训练 recipe 的工作，而不是一个单点算法创新。它的实验结果很强，但目前最需要补足的是细粒度消融和对各个 world-modeling 模式更严格的独立评测。

Edit page
Share this post on:
Share this post via WhatsAppShare this post on FacebookShare this post on XShare this post via TelegramShare this post on PinterestShare this post via email
Previous Post
Learning Universal Policies via Text-Guided Video Generation
Next Post
PAD