精读：Unified Video Action Model（UVA）

论文题目：Unified Video Action Model
作者：Shuang Li、Yihuai Gao、Dorsa Sadigh、Shuran Song，Stanford。论文提出一个统一建模视频与机器人动作的框架 UVA。

1. 先用一句话理解这篇论文

训练时同时预测未来视频和未来动作，让视频预测帮助模型学到物理动态；执行时只解码动作，不真正生成视频，从而兼顾动作准确率和推理速度。

它试图解决视频世界模型用于机器人控制时的一个核心矛盾：

视频生成有助于学习“动作会如何改变环境”；
但完整生成视频非常慢；
机器人 policy 又必须快速、高频地产生动作。

UVA 的解决方案不是“先生成视频，再从视频反推动作”，而是：

\text{Observation + Action} \rightarrow \text{Joint Latent} \rightarrow \begin{cases} \text{Action Diffusion Head}\ \text{Video Diffusion Head} \end{cases}

训练时两个 head 都使用；执行 policy 时，直接跳过 Video Diffusion Head。

2. 论文试图解决什么问题？

2.1 Action-only policy 的问题

传统视觉运动策略通常直接学习：

\pi(a_t \mid o_{\leq t})

例如 Diffusion Policy 直接根据历史观察预测动作。

优点是简单、快速；但作者认为它存在一个问题：

模型可能学到的是训练数据中“观察到动作”的统计对应关系，而不一定真正理解动作如何改变环境。

例如模型看到机械臂在杯子附近，可能直接输出抓取动作；但它未必建模：

抓取后杯子会怎样移动；
杯子和夹爪之间的接触关系；
当前动作是否会导致未来任务状态更接近目标。

作者认为，增加未来视觉预测监督，可以迫使模型理解更完整的场景动态，并减少对历史动作模式的过拟合。

2.2 Video-first policy 的问题

另一类方法，例如 UniPi，大致采用：

o_{\leq t} \rightarrow \hat{o}_{t+1:t+H} \rightarrow \hat{a}_{t:t+H-1}

即先生成未来视频，再从生成的视频中恢复动作。

问题有两个。

问题一：慢

机器人动作可能以几十 Hz 输出，而高分辨率视频生成需要大量计算。

问题二：误差传递

如果未来视频生成错了：

o_{\leq t} \rightarrow \boxed{\hat{o}_{t+1:t+H}\text{ 有误}} \rightarrow \boxed{\hat{a}_{t:t+H-1}\text{ 进一步出错}}

也就是说，动作预测质量被视频像素生成质量限制。

PAD 虽然联合训练视频和动作，但动作生成仍然依赖未来图像的生成过程，因此推理速度依然受视频生成影响。UVA 的关键区别是：共享 latent，但分开解码。

3. UVA 的三个核心设计

论文的主要贡献可以拆成三部分。

3.1 Joint Video-Action Latent

视频和动作进入同一个 Transformer，形成联合隐表示：

Z = f_\theta(O_{\text{history}}, A_{\text{history}}, O_{\text{future-masked}})

这个 $Z$ 同时受到两类监督：

Z \rightarrow \text{未来动作}

以及：

Z \rightarrow \text{未来视频}

因此，作者希望 $Z$ 同时编码：

当前环境中有哪些物体；
物体之间的空间关系；
机器人过去采取了什么动作；
动作对环境造成了什么变化；
接下来合理的动作是什么；
接下来环境可能变成什么样。

这里的“joint latent”不是简单把图像向量和动作向量拼接后就结束，而是通过 Transformer 对它们进行多层交互，使每个未来时刻的 latent 同时包含视觉与动作信息。

3.2 Decoupled Video-Action Diffusion

共享 latent 之后，UVA 不使用一个统一的大型生成器，而是接两个独立的轻量 diffusion head：

Z \rightarrow \begin{cases} D_{\text{action}}(Z) \rightarrow A\ D_{\text{video}}(Z) \rightarrow O \end{cases}

训练时：

\mathcal L = \mathcal L_{\text{action}} + \mathcal L_{\text{video}}

policy 推理时只运行：

Z \rightarrow D_{\text{action}} \rightarrow A

而不运行：

D_{\text{video}}

因此，视频预测在这里更像一种训练期辅助监督：

模型需要具备预测未来视觉结果的能力，但执行控制时不需要真的把这些未来结果渲染出来。

这是整篇论文最重要的思想。

3.3 Masked Training

UVA 会随机屏蔽不同位置的视频或动作信息，再要求模型重建缺失部分。

通过改变输入与输出的 mask，单个模型可以实现：

模式	已知信息	预测信息
Policy	历史观察、历史动作	未来动作
Video model	历史观察	未来视频
Forward dynamics	当前观察、给定未来动作	未来观察
Inverse dynamics	前后观察	中间动作
Policy + Planner	历史信息	未来动作与未来视频

因此，UVA 并不是简单的“多任务模型”，而是把不同任务看成同一序列中不同变量的条件补全问题：

p(O, A)

根据哪些变量被给定、哪些变量被 mask，可以得到不同的条件分布：

p(A_{\text{future}}\mid O_{\text{history}},A_{\text{history}})

p(O_{\text{future}}\mid O_{\text{history}},A_{\text{future}})

p(A_{\text{future}}\mid O_{\text{history}},O_{\text{future}})

这与 masked language modeling 的思路类似：同一个模型通过不同 mask pattern 学会不同方向的推断。

4. 模型输入输出的精确定义

论文设历史 horizon 为 $h$ 。

历史观察：

{O_{t-h+1},\ldots,O_t}

对应的历史 action chunks：

{A_{t-h},\ldots,A_{t-1}}

模型预测未来观察：

{O_{t+1},\ldots,O_{t+h}}

和未来 action chunks：

{A_t,\ldots,A_{t+h-1}}

每个 action chunk 为：

A_t\in\mathbb R^{L\times m}

其中：

$L$ ：一个视觉帧间隔内包含的高频动作数量；
$m$ ：单个动作的维度。

例如相机每秒采集 10 帧，但机器人控制频率为 100 Hz，那么两个图像之间可能对应 $L=10$ 个动作。

这解决了视频和动作之间的频率不匹配：

f_{\text{action}} > f_{\text{video}}

论文明确让每个图像对应一个 action chunk，而不是一个单独动作。

5. 图像和动作如何变成 token？

5.1 图像编码

每张图像首先经过预训练 VAE encoder，得到 latent feature map：

E_{\text{VAE}}(O_t) \in \mathbb R^{w\times h\times c}

然后展平并经过全连接层：

X_t^O \in \mathbb R^{N\times d}

其中：

$N=w\times h$ ，表示图像 token 数；
$d$ 是 Transformer hidden dimension。

因此一张图片被表示为：

X_t^O = [x_{t,1}^O,\ldots,x_{t,N}^O]

每个 token 大致对应图像 latent 中的一个空间区域。

5.2 动作编码

一个 action chunk：

A_t\in\mathbb R^{L\times m}

先重复若干次，使其数量与图像 token 数 $N$ 对齐，然后经过 FC 映射成：

X_t^A \in \mathbb R^{N\times d}

直观上，相同 action chunk 被广播到图像的不同空间位置。

这么做的目的不是声称每个空间 patch 对应一个独立动作，而是为了让视觉与动作可以在 token 维度上对齐并融合。论文随后对视觉 token、动作 token 和 masked future token 进行通道级拼接，再沿时间维组成 Transformer 序列。

6. Future Observation 的 masked generation

未来图像经过相同的 VAE 编码：

O_{t+i} \rightarrow X_{t+i}^O \in \mathbb R^{N\times d}

训练时随机 mask 一部分未来图像 token：

\tilde X_{t+i}^O = \operatorname{Mask}(X_{t+i}^O)

Transformer 接收：

$$

X_{\text{input}}

\left[
X_{\text{history}}^O,,
X_{\text{history}}^A,,
\tilde X_{\text{future}}^O
\right]

得到未来时刻的 joint latent： # $$ Z_{t+1:t+h} f_\theta(X_{\text{input}})

其中：

Z_{t+i}\in\mathbb R^{N\times d}

训练时模型看到部分未来视觉 token，需要推断其余部分；生成时则可以从全部被 mask 的未来图像开始，逐步填充 token。

6.1 为什么所有帧使用相同的空间 mask？

论文在不同未来帧中屏蔽相同的空间位置。

例如，假设图像被划分为九个 patch：

1 2 3
4 5 6
7 8 9

如果 mask 掉位置 2 和 7，那么所有未来帧都 mask 位置 2 和 7，而不是每帧随机 mask 不同位置。

作者这样做是为了减少跨帧信息泄漏。

否则可能出现：

第 $t+1$ 帧的左上角被 mask；
但第 $t+2$ 帧的左上角未被 mask；
模型直接利用未来帧未 mask 的同一位置，反推出上一帧内容。

固定空间 mask 可以迫使模型更多依赖历史状态、动作和时序动态，而不是利用相邻未来帧的局部复制。

6.2 为什么视频生成还带有 autoregressive 步骤？

UVA 不是按照帧序列：

O_{t+1}\rightarrow O_{t+2}\rightarrow O_{t+3}

逐帧生成。

它更像是按照空间 token 集合分步填充：

\text{第一批空间位置} \rightarrow \text{第二批空间位置} \rightarrow \cdots

同一个空间位置在全部未来帧中同时生成。

因此：

时间维可以并行预测；
空间 token 集合可以逐步补全；
增加生成步骤能够改善细节质量。

实验中，8-step 生成明显优于 1-step 生成。

7. Joint Latent 到底长什么样？

Transformer 输出：

Z= {Z_{t+1},\ldots,Z_{t+h}}

每个未来时刻：

$$

Z_{t+i}

{z_{t+i,1},\ldots,z_{t+i,N}}

其中每个 $z_{t+i,j}$ 对应一个空间位置，但它已经融合了： - 历史视觉； - 历史动作； - 其他未来时刻的信息； - 当前未 mask 的未来视觉 token； - 可选的语言指令。 因此 $z_{t+i,j}$ 不只是纯视觉 latent，它是一个带有动作和时间上下文的视觉空间 latent。 --- ## 7.1 Video head 如何使用 $Z$？ Video Diffusion 对每个空间 token 分别预测视频 patch：

z_{t+i,j}
\rightarrow
\hat O_{t+i,j}

因此视频分支保留了空间结构：

N\text{ 个 latent tokens}
\rightarrow
N\text{ 个图像 patches}

最后将 patches 重排成 VAE latent map，再使用 VAE decoder 重建图像。 --- ## 7.2 Action head 如何使用 $Z$？ 动作并不天然对应某一个图像 patch，因此 action head 将一个时刻的所有空间 token 聚合： # $$ \bar z_{t+i} g_{\text{conv+MLP}}(Z_{t+i})

然后条件化 action diffusion：

A_{t+i-1} \sim p_\theta(A\mid \bar z_{t+i})

因此两个 decoder 的归纳偏置不同：

Video head：保留每个 token 的空间局部性；
Action head：聚合全部 token，生成全局 action chunk。

这是一种很合理的非对称设计。

8. Diffusion loss

8.1 动作 diffusion

给真实动作加入噪声：

$$

A^{(k)}

\alpha_k A+\sigma_k\epsilon

动作 head 根据 noisy action、diffusion timestep 和 joint latent 预测噪声：

\epsilon_\theta(A^{(k)}\mid k,Z)

损失为： # $$ \mathcal L_{\text{action}}(Z,A) \mathbb E_{\epsilon,k} \left[ \left| \epsilon- \epsilon_\theta(A^{(k)}\mid k,Z) \right|_2^2 \right]

含义是：

给模型一个被噪声破坏的动作序列，让它在联合视频—动作 latent 的条件下恢复干净动作。

8.2 视频 diffusion

对每个视觉 patch 分别加噪：

$$

O_i^{(k)}

\alpha_k O_i+\sigma_k\epsilon_i

视频 loss： # $$ \mathcal L_{\text{video}}(Z,O) \mathbb E_{\epsilon,k} \left[ \frac{1}{N} \sum_{i=1}^{N} \left| \epsilon_i- \epsilon_\phi(O_i^{(k)}\mid k,z_i) \right|_2^2 \right]

总损失：

$$

\mathcal L

\sum_{\tau=1}^{h}
\left(
\mathcal L_{\text{action}}^{(\tau)}
+
\mathcal L_{\text{video}}^{(\tau)}
\right)

论文看起来直接将两项相加，没有在主文中强调复杂的动态权重设计。 --- # 9. 为什么说 diffusion 是“轻量”的？ Diffusion Policy 通常将多轮 denoising 过程放在较完整的 action network 中。 UVA 的做法是：

\text{输入}
\overset{\text{一次}}{\longrightarrow}
\text{VAE + Transformer}
\longrightarrow
Z

然后只让后面的小型 action head 多轮 denoise：

A^{(K)}
\rightarrow
A^{(K-1)}
\rightarrow
\cdots
\rightarrow
A^{(0)}

Transformer 不需要在每个 diffusion step 重跑。 这意味着昂贵的多模态融合只计算一次，迭代部分集中在轻量 decoder 中。 真实部署时，论文报告的时间分解为： |模块|时间| |---|--:| |VAE image encoder|40 ms| |Transformer attention|40 ms| |Transformer with Flash Attention|30 ms| |Action diffusion，16 steps|15 ms| |Action diffusion，100 steps|93 ms| |Video diffusion，16 steps|100 ms| |Video diffusion，100 steps|625 ms| 完整 policy 使用 16 个 diffusion steps 时约为 95 ms，而同时生成视频和动作的 Policy+Planner 模式约为 195 ms；这直接说明跳过视频生成为什么能够明显加速。 --- # 10. 实验一：作为 Robot Policy 作者在模拟和真实环境中测试了 UVA。 ## 10.1 Simulation policy results 主要任务： - 单任务：PushT、ToolHang； - 多任务：PushT-M、Libero10。 主要结果如下： |模型|PushT|Tool|PushT-M|Libero10|速度| |---|--:|--:|--:|--:|--:| |DP-C|0.91|**0.95**|0.68|0.53|0.50 s| |DP-T|0.78|0.76|0.63|0.58|0.36 s| |OpenVLA|0.35|0.18|0.22|0.54|1.52 s| |UniPi|0.42|0.00|0.19|0.00|24.07 s| |$\pi_0$|—|—|—|0.85|**0.09 s**| |$\pi_0$-FAST|—|—|—|0.60|**0.09 s**| |UVA-action|0.45|0.62|0.46|0.86|**0.22 s**| |UVA|**0.98**|0.88|**0.88**|**0.90**|0.23 s| 最关键的比较不是 UVA 与所有 baseline 的绝对排名，而是：

\text{UVA} > \text{UVA-action}

UVA-action 去掉了视频预测监督。 例如： - PushT：$0.45\rightarrow0.98$； - PushT-M：$0.46\rightarrow0.88$； - Libero10：$0.86\rightarrow0.90$。 这支持了论文的主要主张： > 未来视频预测并不只是附加的可视化功能，它确实能提升动作策略。 不过，PushT 和 PushT-M 上提升幅度极大，也值得进一步追问两者是否严格保持了相同容量、训练预算和超参数。 --- ## 10.2 为什么多任务表现尤其好？ 论文认为，多任务之间可能共享相似的环境动力学： - 如何接近物体； - 如何产生接触； - 推动方向如何改变物体位置； - 抓取后物体如何随夹爪移动。 Action-only 模型可能把每个任务学成独立映射：

O\rightarrow A

而联合视频—动作模型更可能学习：

(O,A)\rightarrow O’

即共享的 dynamics。 因此在任务目标改变时，模型仍可复用： > 某个动作会如何改变世界。 UVA 在 PushT-M 上比最强 baseline 高约 20 个百分点，在 Libero10 上高约 5 个百分点。 --- # 11. 实验二：视觉扰动鲁棒性 作者修改 PushT 中的视觉条件： - 背景颜色； - 背景干扰物； - 目标颜色。 结果： |模型|Normal|BgColor|BgObject|GoalColor| |---|--:|--:|--:|--:| |DP-C|0.91|0.12|0.21|0.17| |DP-T|0.78|0.22|0.17|0.28| |OpenVLA|0.35|0.17|0.13|0.32| |UniPi|0.42|0.31|**0.36**|0.40| |UVA|**0.98**|**0.35**|0.31|**0.64**| UVA 和 UniPi 这两种带视频生成目标的方法，在视觉扰动下整体优于普通 policy baseline。 作者据此推测，视频监督使模型更关注物体、动作和动态，而不是训练背景的静态像素模式。 不过这个结论需要谨慎： - UVA 使用了 VAE 表征； - 不同 baseline 的视觉 backbone 不完全一致； - 鲁棒性提升未必全部来自“视频预测”； - 也可能来自模型容量、tokenization 或训练目标带来的正则化。 因此更准确的结论是： > 实验说明联合视频预测与更强视觉鲁棒性相关，但还不足以完全证明模型学到了可解释的物理因果结构。 --- # 12. 实验三：长历史输入 Diffusion Policy 的表现会随历史长度增大而明显下降，而 UVA 在历史长度从 1 增大到 16 时基本保持稳定。 作者的解释是： - action-only policy 容易过拟合历史 action pattern； - 历史越长，冗余和偶然相关越多； - 视频预测目标约束模型必须解释状态如何随时间变化； - 因而模型更能利用长时序上下文。 可以理解为，视频 loss 提供了一种时间一致性正则化：

Z_t
\text{ 不仅要足以预测 }A_t

还必须满足：

Z_t
\text{ 足以解释 }O_{t+1:t+h}

这使 latent 不容易只记住动作统计模式。 --- # 13. 实验四：视频生成 作者使用 FVD 衡量视频生成质量，越低越好。 |模型|Libero10 FVD|CupArrange FVD| |---|--:|--:| |UniPi|56.55|71.37| |UVA，1 step|89.36|51.34| |UVA，8 steps|**51.10**|**29.72**| 可以看到： - 在 CupArrange 上，UVA 1-step 已经优于 UniPi； - 在 Libero10 上，1-step 较差； - 增加到 8 steps 后，两项都优于 UniPi。 这说明 masked token 的迭代补全确实能提升视频质量。 但这里有一个重要点： > 视频生成不是 UVA 作为 policy 时必须执行的步骤。 高质量视频生成主要用于： - 验证模型确实学到了预测未来的能力； - 作为 forward dynamics model； - 用于 planning 或轨迹筛选； - 提供训练监督。 --- # 14. 实验五：Forward Dynamics + Planning Forward dynamics 的定义是： # $$ \hat O_{t+1} f_{\text{forward}}(O_t,A_t)

作者在 block-pushing 任务中使用 UVA 做 trajectory evaluation。

具体流程：

使用 Diffusion Policy 采样 100 条候选动作轨迹：

A^{(1)},A^{(2)},\ldots,A^{(100)}

对每条动作轨迹，使用 UVA 预测未来视频：

$$

\hat O^{(i)}_{t+1:t+H}

f_{\text{UVA}}(O_{\leq t},A^{(i)})

3. 从预测视频中检测方块和目标的位置； 4. 计算奖励： # $$ R^{(i)} -\operatorname{distance} \left( \text{predicted block}, \text{target} \right)

选择：

i^*=\arg\max_i R^{(i)}

执行选中轨迹的前 6 步，然后重新规划。

结果：

方法	平均成功率
DP-C 原始 policy	0.38
DP-C + UVA dynamics	0.60
DP-C + ground-truth simulator	0.75

说明 UVA 能作为学习到的 dynamics model，用于筛选已有 policy 产生的动作轨迹。

14.1 这和 World Action Model 的关系

从你最近关注的 WAM 视角看，UVA 已经包含一些 WAM 的雏形：

(O_{\leq t},A_{t:t+H}) \rightarrow O_{t+1:t+H}

然后利用预测结果进行动作选择。

但它还不是一个特别完整的闭环 WAM，原因是：

候选动作由外部 DP-C 生成；
reward 由人工定义的目标距离计算；
没有在 latent 中直接完成大规模搜索；
没有显式处理模型不确定性；
没有在 rollout 失败时自适应修正模型；
planning 实验规模较小。

因此更准确地说，UVA 是：

一个能够同时充当 policy 和 visual dynamics model 的统一底座。

而不是一个完整的通用 deliberative agent。

15. 实验六：Inverse Dynamics

Inverse dynamics 定义为：

$$

\hat A_t

f_{\text{inverse}}(O_t,O_{t+1})

即给定状态变化，预测导致该变化的动作。 结果： |方法|Position error|Rotation error| |---|--:|--:| |UniPi inverse dynamics|1.92 cm|2.21°| |UVA|**0.75 cm**|**1.11°**| |Visual Inertial SLAM|0.41 cm|0.30°| UVA 优于 UniPi，但低于经过工程优化的 SLAM。 作者指出，UniPi 对两张连续图像分别推断动作，容易产生时间不连续；UVA 一次预测 16 个动作，因此动作序列更连贯。 这个功能很有价值，因为它可以将无动作标签的视频转化为伪 action：

(O_t,O_{t+1})
\rightarrow
\hat A_t

理论上可形成如下闭环：

\text{大量视频}
\rightarrow
\text{inverse dynamics 伪标注}
\rightarrow
\text{训练 policy / dynamics}

不过论文主体还没有真正大规模实现这一闭环。 --- # 16. Mask strategy 的补充实验 作者比较两种 mask 策略。 ### Application-dependent masking 根据任务语义设计 mask。 例如： - policy：mask 未来动作； - forward dynamics：mask 未来图像； - inverse dynamics：mask 动作。 ### Application-independent masking 不考虑任务语义，统一随机 mask 输入。 结果表明，不同任务最适合的 mask ratio 不同： - policy：随机 mask 50% 最好； - inverse dynamics：随机 mask 50% 最好； - video generation：任务相关 mask 25% 最好； - forward dynamics：任务相关 mask 25% 最好。 这意味着“完全统一”仍然存在困难： > 不同条件生成任务对可见信息量和 mask pattern 的需求并不相同。 因此 UVA 的 unified framework 是成立的，但还没有一个对所有模式都最优的单一 mask 策略。 --- # 17. 使用无动作视频的实验 论文补充材料中还做了一个小规模实验： 1. 先在 3,175 条人类视频上预训练视频生成； 2. 再和 Libero10 video-action 数据联合训练。 结果从：

0.93\rightarrow0.97

以及：

0.90\rightarrow0.91

有一定提升。 这验证了框架能够吸收 action-free video，但规模还很小，距离“利用互联网视频构建机器人 foundation world model”还有很大差距。 --- # 18. 与几类相关工作的核心区别 ## 18.1 与 Diffusion Policy Diffusion Policy：

O_{\leq t}
\rightarrow
A_{t:t+H}

UVA：

(O_{\leq t},A_{<t})
\rightarrow
Z
\rightarrow
\begin{cases}
A_{t:t+H}\
O_{t+1:t+H}
\end{cases}

区别是 UVA 多了未来视觉监督和统一 dynamics 表征。 --- ## 18.2 与 UniPi UniPi：

O_{\leq t}
\rightarrow
\hat O_{t+1:t+H}
\rightarrow
\hat A_{t:t+H}

UVA：

O_{\leq t}
\rightarrow
Z
\rightarrow
\hat A_{t:t+H}

其中：

Z\rightarrow\hat O_{t+1:t+H}

只在需要视频或 planning 时执行。 所以 UniPi 是串行依赖，UVA 是共享 latent 后并行、解耦解码。 --- ## 18.3 与 PAD PAD 也联合动作预测与视频生成。 但 PAD 中动作预测仍与未来视觉生成过程更紧密耦合；UVA 强调：

\text{joint representation}
+
\text{decoupled decoding}

即表示共享，但生成过程不互相阻塞。 --- ## 18.4 与普通 World Model 传统 world model 通常重点学习：

p(O_{t+1}\mid O_t,A_t)

再由独立 planner 或 policy 使用它。 UVA 同时学习：

p(O_{\text{future}},A_{\text{future}}
\mid O_{\text{history}},A_{\text{history}})

因此 policy 和 world model 并不是两个完全独立的模型，而是共享 backbone。 --- # 19. 这篇论文真正的创新点是什么？ 我认为创新性可以分三层。 ## 第一层：最重要 **Joint modeling + decoupled decoding。** 这解决了一个很实际的问题： > 如何享受视频世界模型的 representation benefit，同时避免 policy inference 时真正生成视频。 这是本文最清晰、最有价值的贡献。 --- ## 第二层：统一条件补全视角 通过 masked training，将： - policy； - forward model； - inverse model； - video generator； - policy + planner； 视为同一个联合分布上的不同条件推断。 这个思路很漂亮，但论文的具体训练方式仍然是预定义若干 mask configuration，并非完全任意条件生成。 --- ## 第三层：工程性设计 包括： - VAE tokenization； - action chunk 与视觉 token 对齐； - 轻量 diffusion heads； - 视频 head 和动作 head 的非对称聚合； - policy 时跳过 video head。 这些单独看未必是全新的，但组合后形成了一个较完整、实用的系统。 --- # 20. 我认为论文最关键的不足 ## 20.1 Joint latent 是否真的学到了“物理动态”？ 论文主要通过性能证明 joint latent 有用，但缺乏 latent-level 分析： - 哪些 token 编码物体运动？ - 哪些 token 对动作最关键？ - latent 是否能区分因果相关对象和背景干扰？ - action head 使用了哪些空间 token？ - 视频预测正确是否意味着动作也更正确？ - 视频预测错误时，action head 是否仍然可靠？ 因此目前更强的表述应是： > Joint video-action supervision 改善了 policy 表现和鲁棒性。 而不是已经证明： > 模型形成了可解释、因果一致的世界模型。 这恰好与你想做的 **latent causal memory / latent attribution visualization** 非常相关。 --- ## 20.2 视频 loss 和 action loss 的冲突没有充分研究 总损失直接写成： # $$ \mathcal L \mathcal L_{\text{action}} + \mathcal L_{\text{video}}

但两个目标可能存在冲突：

视频生成偏好保留背景、纹理和细节；
动作预测只需要任务相关状态；
高质量像素生成不一定需要最好的控制表征；
控制所需的小物体位姿可能在视频 loss 中权重很低。

更深入的工作可以研究：

\nabla_\theta\mathcal L_{\text{action}} \cdot \nabla_\theta\mathcal L_{\text{video}}

是协同还是冲突，以及如何进行动态 loss weighting。

20.3 Planning 实验仍然较简单

当前 planning 是：

\text{外部 policy 采样} + \text{UVA rollout} + \text{人工 reward}

没有测试：

长 horizon error accumulation；
多步闭环 uncertainty；
接触丰富任务；
开放语言目标；
model exploitation；
OOD action trajectory；
预测不确定性与风险规避。

因此，它证明了 UVA 可以作为 forward model，但还没有证明它是强大的通用 planner。

20.4 没有充分利用 action-free video

作者自己也承认，当前没有利用大规模无动作视频；这限制了视觉泛化能力。论文提出未来可在 web-scale 视频上预训练，也可以继续加入声音、力等额外 diffusion heads。

21. 对你做 WAM / causal latent 工作的启发

这篇论文最值得你借鉴的不是单纯增加 video head，而是这个结构：

\text{Shared Causal/Dynamics Latent} \rightarrow \begin{cases} \text{Action Head}\ \text{Future Observation Head} \end{cases}

你可以进一步研究三个问题。

方向一：Action-relevant latent attribution

分析 action diffusion 的输出对不同空间 token 的敏感度：

$$

\operatorname{Importance}(z_i)

\left|
\frac{\partial \hat A}{\partial z_i}
\right|

再将重要 latent token 映射回视频 patch，看看模型是否关注： - 被操作物； - 接触位置； - 目标区域； - 关键历史帧； - 动作造成变化的位置。 --- ### 方向二：Video-action causal consistency 对某些 latent token 做 intervention：

z_i\leftarrow z_i+\delta

观察：

\Delta\hat A
\quad\text{与}\quad
\Delta\hat O_{\text{future}}

是否一致。 例如扰动杯子的位置 latent： - 预测视频中的杯子是否移动； - 动作是否相应调整抓取位置。 这比单纯 attention visualization 更接近因果分析。 --- ### 方向三：Failure-aware latent memory 当预测视频与真实执行结果不一致： # $$ e_t d(\hat O_{t+1},O_{t+1})

可以提取高误差的 latent transition：

(Z_t,A_t,Z_{t+1})

存入 memory，在后续相似场景中检索，用于：

dynamics correction；
action reranking；
uncertainty estimation；
failure anticipation。

这会把 UVA 类型的 unified model 与你关注的 latent causal memory 联系起来。

22. 最后压缩成一张笔记

核心问题

视频预测有利于 dynamics learning，但视频生成太慢，不能作为实时 policy 的必经步骤。

核心方法

\text{Joint Video-Action Transformer} + \text{Decoupled Diffusion Heads} + \text{Masked Training}

训练

$$

\mathcal L

\mathcal L_{\text{action}}
+
\mathcal L_{\text{video}}

## Policy 推理

O_{\leq t},A_{<t}
\rightarrow
Z
\rightarrow
A_{t:t+H}

跳过视频解码。 ## 其他能力 通过改变 mask，可以实现：

\text{Policy}
,\quad
\text{Video Generation}
,\quad
\text{Forward Dynamics}
,\quad
\text{Inverse Dynamics}
,\quad
\text{Planning}

## 最大贡献 **让视频预测成为动作策略的训练监督，而不是实时执行时的计算负担。** ## 最大不足 尚未证明 joint latent 真正形成了可解释、因果一致的动态表示；planning 规模有限，大规模无动作视频预训练也尚未充分展开。