EgoWAM：超越像素空间——面向开放场景第一视角人类数据的世界动作模型协同训练

论文：EgoWAM: World Action Models Beyond Pixels with In-the-Wild Egocentric Human Data

作者：Baoyu Li*、Xinchen Yin*、Mengying Lin、Yixin Zhang、Danfei Xu（* 共同一作）

机构：佐治亚理工学院（Georgia Institute of Technology，RL² Lab）

发布时间：2026 年 7 月（arXiv 2607.08436，v2 修订于 2026 年 10 月）

发表状态：CoRL 2026（已录用）

🔗 arXiv | PDF | 项目主页 | 代码 | 数据集 (EgoVerse)

分类标签：World Action Model 人机协同训练 第一视角人类视频 世界表征对比 DINO / RAE 3D Motion Flow 训练时表征塑形

一句话总结

针对开放场景第一视角人类视频在行为克隆（BC）协同训练中因“共享动作头唯一通道”将可迁移任务语义与不可迁移人类形态、头部自运动及行为风格强行纠缠的瓶颈，提出受控人机协同训练框架 EgoWAM：基于异构预训练 Transformer（HPT）严格锁定策略主干、流匹配动作头与人机数据配比，仅替换训练期辅助世界模型头的预测目标（推理期完全剥离世界头，维持 30 Hz 零额外开销），系统对比像素潜变量（Pixel VAE）、语义特征（DINO / RAE）与相机稳像三维运动流（3D Motion Flow）三类世界表征；在三大双臂真机任务累计 1,800 次评测与 RoboTwin 2.0 跨机器人仿真中证明，光度像素重建跨具身迁移微弱，而满足外观抽象、跨具身一致性与自运动解耦的世界目标能充分解锁野外人类数据（EgoVerse 10:1）的规模红利——DINO 语义目标将 OOD 未见物体与场景泛化成功率最高提升超 4 倍（如折衣 OOD 成功率 15.0% → 85.0%），3D Flow 空间动力学目标将域内执行成功率提升 20–30 个百分点（倒杯与装袋均达 90.0%）且对未对齐人类演示完全免疫。

一、问题与动机

1.1 动作级人机协同训练（BC Co-Training）的“苦涩教训”

第一视角人类视频（Egocentric Human Video）涵盖海量物体、开放场景与多样交互行为，采集成本远低于机器人遥操作。主流路线通过行为克隆协同训练（BC Co-Training）利用这类数据：将人手 3D 轨迹重定向（retarget）到与机器人兼容的末端动作空间，混合人机数据联合训练模仿策略（如 EgoMimic、EgoScale 等）。然而，这一路线在面对真实的野外自然人类数据（in-the-wild human data）时遭遇根本瓶颈：

• 三大具身鸿沟（Embodiment Gap）：实验室双臂机器人数据与野外人类数据之间横亘着三重固有差异——（1）相机运动（Camera Motion）：机器人头部相机通常静止固定，而人类佩戴者的头部随视线持续旋转平移；（2）身体形态（Morphology）：五指灵巧人手倾向于从侧面握持杯身，而平行夹爪只能从正面或上方夹取；（3）行为风格与速度（Behavioral Style）：人类的发力节奏、双臂协同习惯与遥操作机械臂截然不同。
• 单一动作通道的纠缠效应：在纯 BC 共训中，共享动作解码器是人类数据向策略注入监督信号的唯一通道。这迫使主干网络把可迁移的任务内容（物体几何、场景布局、操作阶段语义）与不可迁移的执行细节（人手形态导致的轨迹偏置、动作风格）捆绑编码。当人机动作分布未经过苛刻的人工视角与姿态对齐时，BC 共训不仅无法获益，反而会向策略注入机器人物理上不可执行的“类人动作”（inexecutable human-like motions），导致共训后成功率跌破纯机器人基线（例如在 cup-on-saucer 上从 25.0% 跌至 15.0%）。

1.2 世界动作模型（WAM）作为第二监督通道

世界动作模型（World Action Models, WAMs）为打破上述死结开辟了第二条监督通道：在共享主干上增设辅助世界模型头，要求模型不仅预测“如何行动”，还必须预测“场景在物理交互下如何随时间演化”。

这一设计的核心洞察在于：物理世界的状态演化比具体执行动作更容易跨具身迁移。无论是人手还是平行夹爪把杯子放到碟子上，观测空间中“杯子相对碟子的空间位移与语义状态变迁”在任务层面上高度一致，对施动者的手指形态和抓取姿态天然不敏感。通过将监督信号解耦为“世界如何演化（${\mathcal{L}}_{\text{world}}$）”与“各具身如何执行动作（${\mathcal{L}}_{\text{action}}$）”，即使人类动作标签本身存在具身偏差而难以直接迁移，海量野外人类数据依然可以通过世界动力学通道将可共享的任务表征塑形进共享主干。

1.3 核心科学问题与理想世界表征的三项准则（Desiderata）

然而，WAM 人机共训能否真正奏效，取决于一个此前未被系统研究的核心问题：究竟什么样的世界预测目标（World Representation Target）最能支撑跨具身人机迁移？

现有主流 WAM（如 Cosmos Policy、UVA、UWM 等）普遍沿用面向光度重建优化的预训练视频 VAE 潜空间预测未来像素帧。论文指出，光度重建恰恰是像素级 WAM 跨具身共训失效的首要根源，并提出了理想跨具身世界表征应当满足的三项核心准则：

1. （D1）外观抽象（Appearance Abstraction）：剥离低层光度细节、背景光照纹理以及人手皮肤/机械臂连杆的外观差异，防止共享主干的表征容量被具身特定的视觉外观挤占；
2. （D2）跨具身一致性（Cross-Embodiment Consistency）：编码物理交互产生的客观效果（effect）而非施动主体（agent），确保人手与机械臂造成相同物理状态改变时对主干产生一致的梯度监督；
3. （D3）自运动解耦（Ego-Motion Factoring）：将佩戴者头部转动带来的表观像素位移与真实环境物理变化彻底剥离，避免同一物理事件在移动人眼相机与固定机器人相机下产生截然不同的监督目标。

围绕这三项准则，EgoWAM 在严格固定主干、动作头与数据配比的受控框架下，实例化并对比了横跨不同抽象层级的三类世界目标：

世界预测目标	代表表征空间	（D1）外观抽象	（D2）跨具身一致性	（D3）自运动解耦	核心归纳偏置与局限
Pixel VAE	Wan 视频 VAE 光度潜空间（$16\times 16\times 16$）	✗	✗	✗	强迫重建人手/夹爪纹理与表观背景位移，运动与外观深度纠缠
DINO Features	DINOv2-B 语义 Patch 特征（$768\times 16\times 16$）	✓	✓	部分（图像网格索引）	强语义先验对齐跨具身物体概念，但特征仍锚定在 2D 图像坐标网格上，未完全消除头动偏移
3D Motion Flow	瞬时相机系稳像稠密 3D 点流（$100\times 1120\times 3$）	✓	✓	✓	构造性消除相机自运动与外观纹理，静止背景归零、仅保留被操作物体的真实三维物理位移

二、预备知识

2.1 异构预训练 Transformer（HPT）与训练时表征塑形

• HPT 主干范式（Wang et al., NeurIPS 2024）：针对不同构型传感器与本体维度的异构性，用轻量的具身特定前端（Stem）将各模态输入投影为统一维度的潜在 Token，再交由单一共享 Transformer 主干（Trunk）做跨模态自注意力融合。该结构天然契合 WAM：观测 Token、动作查询 Token 与未来预测查询 Token 可在同一序列流中共存交互，使动作生成与未来动力学预测成为同一共享潜在空间的两个并行读出分支。
• 训练时表征塑形 vs. 测试时未来想象：与 Fast-WAM 及 UVA 的发现一致，WAM 的主要策略增益来自训练阶段动力学目标对主干表征的物理约束，而非推理阶段显式生成未来画面。因此在测试部署时可直接剪除世界模型头，以纯 BC 级别的计算开销实现实时闭环控制。

2.2 条件流匹配与高维语义潜空间宽头扩散（RAE / DiTDH）

EgoWAM 的动作头与全部三类世界模型头均建立在线性路径条件流匹配（Conditional Flow Matching, CFM）之上。给定干净目标 $x$ 与标准高斯噪声 $ϵ\sim \mathcal{N}(0,I)$，构造插值样本：

$$x^{\tau }=(1-\tau )ϵ+\tau x,\tau \in [0,1]$$

在连续语义特征空间（如 768 维 DINOv2 特征）进行扩散/流匹配建模时，表示自编码器（Representation Autoencoder, RAE；Zheng et al., ICLR 2026）揭示了一条关键理论性质：若 DiT 去噪器的隐藏通道宽度低于单个语义 Token 的特征维度（例如用 384 维 DiT 直接回归 768 维 DINO Token），流匹配损失存在线性子空间瓶颈，理论上无法收敛。RAE 由此提出 DiTDH 架构：在较窄的深层 DiT 主干末端级联一个浅而宽的解耦扩散头（Wide DDT Head，隐藏维 $\ge$ 语义 Token 维），将特征条件注入与高维噪声/速度投影解耦，从而以极小参数开销稳定训练语义潜空间生成。

三、核心方法

3.1 强对齐动作通道：构筑非稻草人的 BC 共训基线

为确保 WAM 的优势不是建立在粗糙的弱 BC 基线上，EgoWAM 首先遵循 EgoVerse 最佳实践对人机动作通道做到了物理极限内的充分对齐。设第一视角人类数据集为 ${\mathcal{D}}_H=\{(o_t^H,a_t^H){\}}_{t=1}^{N_H}$（由 Project Aria 眼镜采集），双臂遥操作机器人数据集为 ${\mathcal{D}}_R=\{(o_t^R,a_t^R){\}}_{t=1}^{N_R}$；两者共享第一视角 RGB 流 $I^{\text{ego}}$，机器人额外具备双腕相机视角 $I^{\text{wrist}}$。

1. 统一相机系 14 维末端动作空间：将双臂人类与机器人动作统一表达为 $d_a=14$ 维向量（每臂 6-DoF $\mathrm{SE}(3)$ 末端位姿 $(x,y,z,\text{yaw},\text{pitch},\text{roll})$ 加 1-D 夹爪开合指令）。
   • 机器人动作 $a_{t:t+k}^R\in {\mathbb{R}}^{k\times 14}$：由关节角指令经正运动学（FK）解算后，通过标定外参投影至静止的头部 Aria 相机坐标系；
   • 人类动作 $a_{t:t+k}^H\in {\mathbb{R}}^{k\times 14}$：Aria MPS 输出的双手 6-DoF 掌心位姿 $p_{t+i}^H\in \mathrm{SE}(3)$ 原生定义在随头部移动的设备坐标系 $T_{t+i}^{\text{device}}$ 下。为剔除头部自运动，将其统一重表达至 $t$ 时刻的瞬时设备相机坐标系：

$$a_{t:t+k}^H={\left\{(T_t^{\text{device}}{)}^{-1}{T}_{t+i}^{\text{device}}{p}_{t+i}^H\right\}}_{i=1}^k$$

2. 执行速度与工作空间量程校准：
   • 具身特定物理时间窗重采样：人类自然操作速度明显快于遥操作机械臂。为使同一动作块跨具身覆盖等效的任务语义进度，设定人类窗口 $T_H=1.0\text{ s}$（30 帧）、机器人窗口 $T_R=1.5\text{ s}$（45 帧），并将两者统一重采样离散化为 $k=100$ 步动作块；与此同时，世界模型头的未来状态目标 $s_{t+T}$ 严格按原始物理时间跨度 $T\in \{T_H,T_R\}$ 索引；
   • 抗离群分位数归一化：对每个动作维度的第 1 与第 99 百分位数线性映射至 $[-1,1]$，抑制视觉手部追踪偶发的离群抖动。

在此强对齐输入上，共享编码器 $f_{\varphi }:{\mathcal{O}}_H\cup {\mathcal{O}}_R\to \mathcal{Z}$ 与共享动作解码器 ${\pi }_{\theta }(a\mid z)$ 的跨具身 BC 共训目标为两个具身条件流匹配损失之和：

$${\mathcal{L}}_{\text{BC-cotrain}}(\varphi ,\theta )=\sum _{\mathcal{D}\in \{{\mathcal{D}}_H,{\mathcal{D}}_R\}}{\mathbb{E}}_{(o,a)\sim \mathcal{D}}{\mathcal{L}}_{\text{BC}}({\pi }_{\theta }(a\mid f_{\varphi }(o)),a)={\mathcal{L}}_{\text{CFM}}^{\text{robot}}+{\mathcal{L}}_{\text{CFM}}^{\text{human}}$$

用大白话说：即便已经把坐标系转到了当前相机系、把人手 1 秒和机械臂 1.5 秒对齐成了同样 100 步、还做了分位数归一化，人手“从侧面抓杯子”和夹爪“从正面夹杯子”的几何轨迹差异依然客观存在——这正是纯动作对齐无法跨越的残余鸿沟，也是引入世界模型接口的直接动因。

3.2 EgoWAM 单主干控制变量架构

EgoWAM 在上述 BC 架构的共享编码主干 $z_t=f_{\varphi }(o_t)$ 上并行挂载动作头 ${\pi }_{\theta }(a\mid z_t)$ 与可插拔世界模型头 $g_{\psi }(s\mid z_t)$，在主干内部融合两路表征并条件独立地读出动作块 $a_{t:t+k}$ 与 $T$ 时刻后的未来场景表征 $s_{t+T}$：

$$p_{\theta ,\psi }(a_{t:t+k},s_{t+T}\mid o_t)=p_{\psi }(s_{t+T}\mid z_t)p_{\theta }(a_{t:t+k}\mid z_t),z_t=f_{\varphi }(o_t)$$

为实现严格的“苹果对苹果（apples-to-apples）”受控比较，所有对比变体完全锁定以下主干与动作头超参数（仅使用单帧当前观测，observation horizon $=1$）：

1. 异构模态前端（Heterogeneous Stems）：
   • 第一视角视觉 Stem（人机共享）：ResNet-18（或预训练 DINO 编码器）提取 $I_t^{\text{ego}}$ 特征并投影为 256 维；
   • 腕部视觉 Stem（仅机器人批次激活）：同构编码器处理双腕 RealSense D405 图像 $I_t^{\text{wrist}}$；
   • 本体感知 Stem（逐具身独立）：具身特定 MLP（$14\to 256$）编码当前末端位姿；
   • 各模态特征经交叉注意力 Stem（16 个潜查询 Token、8 头、头维 64）压缩至统一的 256 维观测 Token 流。
2. 共享 Transformer 主干（Shared Trunk）：16 层 Transformer（隐藏维 256、8 注意力头、Stochastic Depth 0.1，带可学习域嵌入）。输入序列由观测 Token、64 个可学习动作查询 Token（Action Tokens）以及 16 个可学习未来查询 Token（Future Tokens）拼接组成（纯 BC 基线不含这 16 个 Future Tokens），在统一自注意力流中完成跨模态与前瞻动力学信息交互，输出分别路由至动作头与世界模型头。
3. 流匹配动作头（Flow-Matching Action Head）：6 层 CrossTransformer 解码器（隐藏维 128、4 注意力头）。训练时采样时间步 $\tau \sim \mathrm{Beta}(1.5,1.0)$ 构造加噪动作块 $a_{t:t+k}^{\tau }=(1-\tau )ϵ+\tau a_{t:t+k}$（$\tau$ 嵌入隐藏维），通过交替的自注意力与交叉注意力层读取主干上下文进行 $v$-prediction 速度场回归；推理时以 50 步采样解码出 $100\times 14$ 动作序列。

3.3 三类世界预测目标与预测头实例化

所有世界模型头共享线性插值流路径 $s^{\tau }=(1-\tau )ϵ+\tau s$（$\tau \in [0,1],ϵ\sim \mathcal{N}(0,I)$）及 50 步固定步长欧拉采样，仅替换目标表征 $s_{t+T}$ 与相适配的去噪头 $g_{\psi }$：

（1）Pixel VAE（光度重建基线：违背 D1、D2、D3）

将未来第一视角帧 $I_{t+T}^{\text{ego}}$ 缩放至 $128\times 128$，经冻结的预训练 Wan 视频 VAE 编码为 $16\times 16\times 16$ 光度潜张量 $s=\mathrm{VAE}(I_{t+T}^{\text{ego}})$。为彻底排查预测头模型容量与视频预训练先验的影响，论文同时实例化了两个变体：

• Pixel（轻量从零训练头，17.3M 参数）：对潜特征按 stride 2 分块为 $8\times 8=64$ 个 Token，输入 6 层 DiT（隐藏维 384、6 头），以均值池化后的主干嵌入为条件从零训练；
• Pixel-PT（十亿级预训练视频先验头，~1.4B 参数）：采用预训练 Wan2.1 / VACE-1.3B 视频扩散 Transformer（30 层、隐藏维 1536、12 头、FFN 维 8960，无文本条件）初始化。

两者共享相同的 VAE 目标与主干条件接口，正文将其去噪目标记为噪声预测形式（附录 B.2 说明实际训练统一采用与线性路径等价的流匹配 $v$-prediction 参数化）：

$${\mathcal{L}}_{\text{world}}^{\text{VAE}}=\mathbb{E}[\Vert ϵ-{ϵ}_{\psi }(s^{\tau },\tau ,f_{\varphi }(o)){\Vert }^2]$$

（2）DINO Features（RAE 语义抽象：满足 D1、D2，部分受限于 D3）

用高层语义结构替代像素光度保真：将未来第一视角帧输入冻结的 DINOv2-B 编码器，丢弃 [CLS] 与寄存器 Token，提取 $16\times 16$ 空间网格上的 768 维 Patch 特征并进行逐 Token LayerNorm，定义目标 $s=\mathrm{DINO}(I_{t+T}^{\text{ego}})\in {\mathbb{R}}^{768\times 16\times 16}$。

• DiTDH 宽头去噪器（19.6M 参数）：遵循 RAE 设计，由 6 层 384 维 DiT 主干（6 头）与 2 层 2048 维宽 DDT 头（Wide DDT-style Head）级联组成，均以均值池化主干嵌入为条件，确保去噪通道宽度（$2048\ge 768$）满足高维语义流匹配收敛条件。训练全程直接在特征空间计算损失（无需像素解码器，仅在定性可视化时调用预训练 RAE 像素解码器）：

$${\mathcal{L}}_{\text{world}}^{\text{RAE}}=\mathbb{E}[\Vert ϵ-{ϵ}_{\psi }(s^{\tau },\tau ,f_{\varphi }(o)){\Vert }^2]$$

由于 DINO Patch 特征仍然按 2D 图像平面网格排列，当人类佩戴者大幅转动头部时，同一物体在 $t+T$ 帧会落入不同的图像网格位置，因此头部自运动（D3）仅被语义不变性部分缓解而未彻底消除。

（3）3D Motion Flow（相机稳像空间动力学抽象：构造性满足 D1、D2、D3）

目标定义为 $[t,t+T]$ 区间内表达在 $t$ 时刻瞬时相机参考系下的稳像稠密三维运动场 $s=F_{[t,t+T]}$。在第一视角人类视频中，原始 3D 点位移几乎完全被头部自运动淹没——只要佩戴者转头，静止桌面与背景都会产生巨大的表观三维流。EgoWAM 通过两步几何稳像彻底剥离自运动：

1. 世界系稠密三维点追踪：调用前馈稠密 3D 点追踪器 Track4World（输入纯 RGB 序列即可估计逐像素三维轨迹与尺度深度），并结合 Project Aria VIO 提供的标定头部相机位姿序列 $T^{\text{cam}}$，获得统一世界系下的点坐标 $X_t,X_{t+T}$；
2. 瞬时相机系重投影与静态背景归零：将 $t+T$ 时刻的三维点坐标变换回 $t$ 时刻的相机坐标系，并计算相对三维位移矢量：

$${\tilde{X}}_{t+T}=(T_t^{\text{cam}}{)}^{-1}{T}_{t+T}^{\text{cam}}{X}_{t+T},s=F_{[t,t+T]}={\tilde{X}}_{t+T}-X_t$$

3. 锚点网格采样与运动阈值去噪：在当前帧固定划分 $28\times 40=1120$ 个像素锚点网格（不做下采样，完整覆盖 100 步重采样轨迹，目标张量形状为 $100\times 1120\times 3$）。为抑制追踪噪声，剔除总位移低于物理阈值的静止锚点（机器人片段阈值 $2\text{ mm}$；人类片段因含残余头动取 $10\text{ mm}$，并跳过每条人类视频首尾各 20 帧）；对头部相机固定的机器人片段，$(T_t^{\text{cam}}{)}^{-1}{T}_{t+T}^{\text{cam}}=I$ 自然退化为恒等变换。

经此稳像处理后，所有静止背景点的流矢量严格趋近于零，唯有被手或夹爪操纵的物体保留与真实物理位移成正比的三维运动场，同时彻底抹除了施动者外观与视角晃动。其预测头为三类目标中最轻量的 4 层交替自/交叉注意力流匹配解码器（9.0M 参数，隐藏维 256、4 头），额外接收当前帧采样锚点坐标 $q$ 作为查询条件，直接回归锚点处的流匹配速度场：

$${\mathcal{L}}_{\text{world}}^{\text{Flow}}=\mathbb{E}[\Vert u_{\psi }(s^{\tau },\tau ,f_{\varphi }(o),q)-(s_q-{ϵ}_q){\Vert }^2]$$

下表汇总四类受控世界模型变体的架构与表征对比：

变体名称	世界目标 $s_{t+T}$ 维度	外部目标提取器（冻结）	世界预测头 $g_{\psi }$ 结构	预测头可训练参数量	满足准则
Pixel	$16\times 16\times 16$	Wan Video VAE（$128\times 128$ 输入）	6 层 DiT（384 维，6 头，从零训练）	17.3M	无
Pixel-PT	$16\times 16\times 16$	Wan Video VAE（$128\times 128$ 输入）	30 层 Wan2.1 / VACE-1.3B（1536 维，12 头）	~1.4B	无
DINO (RAE)	$768\times 16\times 16$	DINOv2-B（去 CLS/Reg + 逐 Token LN）	DiTDH：6 层 384 维 DiT + 2 层 2048 维宽 DDT 头	19.6M	D1, D2（部分 D3）
3D Flow	$100\times 1120\times 3$	Track4World + Aria VIO 瞬时相机稳像	4 层自/交叉注意力解码器（256 维，4 头，条件于锚点 $q$）	9.0M	D1, D2, D3

3.4 联合训练目标与纯动作零开销推理

• 端到端人机平衡联合训练：每个训练步并行从 ${\mathcal{D}}_R$ 与 ${\mathcal{D}}_H$ 各采样 32 条样本（总 Batch Size $=64$），经共享 Stem 与主干后同时计算两路损失，总目标为（权重 $\lambda =1.0$）：

$${\mathcal{L}}_{\text{EGOWAM}}=\underset{{\mathcal{L}}_{\text{action}}}{\underbrace{{\mathcal{L}}_{\text{action}}^{\text{robot}}+{\mathcal{L}}_{\text{action}}^{\text{human}}}}+\lambda \underset{{\mathcal{L}}_{\text{world}}}{\underbrace{({\mathcal{L}}_{\text{world}}^{\text{robot}}+{\mathcal{L}}_{\text{world}}^{\text{human}})}}$$

优化器采用 AdamW（学习率 $1\times {10}^{-4}$，权重衰减 $1\times {10}^{-4}$），余弦退火调度（$T_{max}=1400,{\eta }_{min}=1\times {10}^{-5}$），bf16 混合精度，训练期施加颜色抖动增强。除 Pixel-PT 使用 $2\times \text{L40S}$ 数据并行训练 1,000 epochs（每 epoch 100 步）外，其余变体均在单张 NVIDIA L40S GPU 上训练 2,000 epochs（单任务端到端约 2 天）。

• 纯动作零额外开销推理（Action-Only Inference）：真机部署时，将世界模型头 $g_{\psi }$ 从计算图中彻底冻结并摘除，仅展开共享主干 $f_{\varphi }$ 与流匹配动作头 ${\pi }_{\theta }$ 从单帧当前观测解码 $a_{t:t+k}$。四个世界表征变体在部署期的参数占用与计算图100% 相同，均在单张 RTX 4090 上以 30 Hz 满速运行（匹配 ARX5 底层控制器频率）。这一解耦设计保证了实验中观测到的一切真机性能差异，完全来自不同世界目标在训练期赋予主干的跨具身表征质量，而非测试时额外算力。

四、实验结果

4.1 硬件平台、任务设置与数据配比

• 双臂真机平台：两台直立安装的 6-DoF ARX5 机械臂（配平行夹爪），头部安装与人类采集者完全同款的 Project Aria Gen-1 智能眼镜（提供人机共享的第一视角广角 RGB 流，人类端同时由双目单色 SLAM 相机与 Aria MPS 解算 6-DoF 头部 VIO 位姿及双手 21 关键点/掌心位姿），双腕各安装一台 Intel RealSense D405 相机。机器人演示通过 Meta Quest 3 + Touch Pro 手柄（RAIL Oculus Reader）遥操作采集，经 Mink IK 求解器转换为关节空间控制目标。
• 三大 EgoVerse 旗舰双臂任务与阶段赋分协议：
  1. cup-on-saucer（刚体精细重定向与双臂交接）：将随机初始姿态的杯子翻转扶正、完成双臂空中交接并竖直放置到随机位置的杯碟上；子任务满分 3 分（旋转抓起 1 分 + 双臂成功交接 1 分 + 竖直落碟 1 分）。
  2. fold-clothes（柔性衣物变形与自遮挡操作）：对随机摊放的 T 恤执行标准三折折叠；子任务满分 3 分（下摆袖口折叠 1 分 + 上部袖口折叠 1 分 + 整体对折 1 分）。
  3. bag-grocery（长时程双臂协同开袋与有序装袋）：双臂先捏住提手撑开购物袋，再将桌面上随机摆放的 3 件杂货严格按从左到右顺序依次装入袋中；子任务满分 4 分（开袋 1 分 + 按序装入每件物品各 1 分）。该任务的抓放轨迹在人机之间天然较为接近，是唯一一个纯动作共训能产生正向收益的任务。
• 三档数据配比（Table 3）：每个任务采集 300–360 条机器人演示（覆盖 4–8 种物体组合），并配对两档规模与对齐度递进的人类第一视角数据（总体 EgoVerse 人类与机器人时长比约 10:1）：

任务	机器人遥操作（条数 / 时长）	域内人类 In-Domain Human（1:1，同场景同物体、自然视角与抓法）	野外人类 EgoVerse-A Flagship（~10:1，跨场景跨物体跨采集者、无刻意对齐）
cup-on-saucer	300 条 / 2.5 h	2.0 h	20.5 h
fold-clothes	360 条 / 3.0 h	2.0 h	21.0 h
bag-grocery	300 条 / 2.5 h	2.0 h	7.0 h

• 评测协议：每组模型在每个任务上执行 20 次域内（ID）Rollout（已见物体与训练场景，随机初始位姿）与 20 次分布外（OOD）Rollout（10 次训练场景下的未见物体 + 10 次更换背景与更低桌面高度的新场景），全文累计完成 1,800 次真机闭环评测，所有方法在各任务内共享相同的随机初始状态序列，同时汇报成功率（SR, %）与归一化子任务得分（NS, 0–1）。

4.2 真机主实验全量结果：WAM vs. BC 与三大世界表征对比（Q1 & Q2）

下表汇总三大双臂任务在三档训练数据配比下的完整真机评测结果（OOD 为未见物体与未见场景两子集的均值；fold-clothes 主实验直接对比纯机器人基线与大规模 EgoVerse 共训）：

任务	方法	Robot Only ID SR / NS	+ In-Domain Human ID SR / NS	+ EgoVerse ID SR / NS（相对基线 $\mathrm{\Delta }$SR）	Robot Only OOD SR / NS	+ In-Domain Human OOD SR / NS	+ EgoVerse OOD SR / NS（相对基线 $\mathrm{\Delta }$SR）
cup-on-saucer	BC	25.0% / 0.350	15.0% / 0.217	15.0% / 0.300（-10.0%）	5.6% / 0.148	5.6% / 0.093	5.6% / 0.130（+0.0%）
	Pixel	25.0% / 0.367	35.0% / 0.450	50.0% / 0.717（+25.0%）	11.1% / 0.148	5.6% / 0.130	5.6% / 0.232（-5.6%）
	Pixel-PT	40.0% / 0.500	45.0% / 0.600	50.0% / 0.633（+10.0%）	11.1% / 0.185	11.1% / 0.185	11.1% / 0.241（+0.0%）
	DINO (RAE)	25.0% / 0.417	50.0% / 0.650	70.0% / 0.833（+45.0%）	11.1% / 0.185	21.7% / 0.361	53.9% / 0.624（+42.8%）
	3D Flow	70.0% / 0.800	85.0% / 0.900	90.0% / 0.933（+20.0%）	22.2% / 0.222	22.2% / 0.370	53.9% / 0.661（+31.7%）
bag-grocery	BC	40.0% / 0.738	45.0% / 0.713	50.0% / 0.813（+10.0%）	5.0% / 0.325	10.0% / 0.338	10.0% / 0.363（+5.0%）
	Pixel	45.0% / 0.850	40.0% / 0.813	65.0% / 0.913（+20.0%）	10.0% / 0.325	10.0% / 0.325	15.0% / 0.375（+5.0%）
	Pixel-PT	30.0% / 0.575	35.0% / 0.788	35.0% / 0.800（+5.0%）	5.0% / 0.213	5.0% / 0.313	35.0% / 0.788（+30.0%）
	DINO (RAE)	40.0% / 0.825	80.0% / 0.925	85.0% / 0.963（+45.0%）	10.0% / 0.313	15.0% / 0.500	50.0% / 0.838（+40.0%）
	3D Flow	60.0% / 0.875	80.0% / 0.950	90.0% / 0.963（+30.0%）	10.0% / 0.438	30.0% / 0.575	55.0% / 0.738（+45.0%）
fold-clothes	BC	100.0% / 1.000	—	85.0% / 0.917（-15.0%）	5.0% / 0.258	—	0.0% / 0.242（-5.0%）
	Pixel	100.0% / 1.000	—	100.0% / 1.000（+0.0%）	20.0% / 0.283	—	10.0% / 0.575（-10.0%）
	Pixel-PT	100.0% / 1.000	—	100.0% / 1.000（+0.0%）	25.0% / 0.300	—	25.0% / 0.358（+0.0%）
	DINO (RAE)	100.0% / 1.000	—	100.0% / 1.000（+0.0%）	15.0% / 0.242	—	85.0% / 0.917（+70.0%）
	3D Flow	100.0% / 1.000	—	100.0% / 1.000（+0.0%）	25.0% / 0.367	—	40.0% / 0.758（+15.0%）

进一步按空间泛化（Spatial）、物体泛化（Object）与场景泛化（Scene）三个维度统计 EgoVerse 共训相对纯机器人基线的平均指标增益（Figure 1）：

世界预测目标	空间泛化增益（Spatial）	未见物体泛化增益（Object）	新场景泛化增益（Scene）	主导优势领域
Pixel VAE	+8%	+5%	+10%	三项泛化均微弱停滞
DINO Feature (RAE)	+33%	+52%	+68%	开放物体与复杂背景/桌面高度变化（最高超 4 倍）
3D Motion Flow	+52%	+44%	+39%	工作空间全覆盖精细位姿控制与绝对最高成功率

围绕核心实验结果可提炼出三条深层规律：

1. WAM 彻底扭转 BC 共训的负迁移并打开野外人类数据规模效应：
   • 在人手习惯侧面握杯而夹爪必须正面夹取的 cup-on-saucer 上，BC 共训复现了不可执行的类人轨迹，域内成功率由 25.0% 倒退至 15.0%；在 fold-clothes 上，引入 21 小时 EgoVerse 数据反而让 BC 域内成功率从 100.0% 跌至 85.0%，并在桌面高度降低的新场景 OOD 测试中因过拟合机器人固定高度而全军覆没（0.0%）。
   • 反观 DINO 与 3D Flow 不仅完全消除了负迁移，且从 Robot Only $\to$ + In-Domain Human $\to$ + EgoVerse 呈现清晰的单调性能跃升。对 cup-on-saucer 主干特征的 UMAP 可视化（Figure 4）直接揭示了内部机理：BC 主干将机器人、域内人类与 EgoVerse 样本隔离在互不重叠的孤立簇中（甚至不同人类演示者之间也彼此分裂），而 WAM（3D Flow）通过任务相关动力学监督将三类数据源紧密对齐到同一个共享潜在流形。
2. DINO 语义先验与 3D Flow 几何稳像形成鲜明的互补分工：
   • DINO 主导开放世界语义泛化：在柔性衣物外观与背景高度多变的 fold-clothes OOD 上，DINO + EgoVerse 将成功率从 15.0% 暴力拉升至 85.0%（+70.0 pp，近 6 倍），远超 3D Flow（40.0%）与 Pixel（10.0%）；在 cup-on-saucer OOD（11.1% → 53.9%，近 5 倍）与 bag-grocery OOD（10.0% → 50.0%，5 倍，NS 达全场最高 0.838）上同样展现出极强的跨材质、跨桌面高度适应力。
   • 3D Flow 主导精细三维几何控制：在依赖毫米级双臂交接与落碟定位的 cup-on-saucer 域内测试中，即便仅用机器人数据，3D Flow 也以 70.0% 起步（其余方法仅 25.0%–40.0%），加入 EgoVerse 后更达到 90.0%，在工作空间边缘区域全面消除了 BC 的漏抓死角（Figure 6）。世界预测定量对比（Figure 7b）进一步印证了这一点——加入人类数据共训后，三类目标在测试集上的未来预测均方误差（MSE）改善幅度悬殊：

世界预测目标	评估指标	Robot Only 预测误差	+ Human 共训预测误差	相对误差降幅	定性动力学表现
Pixel (VAE)	Pixel MSE $\downarrow$	$0.00252$	$0.00250$	+0.7%	几乎无变化，画面模糊或出现悬空抓握幻觉
DINO (RAE)	解码 Pixel MSE $\downarrow$	$0.00300$	$0.00289$	+3.6%	改善被操纵物体的语义轮廓形状，但精细位移有限
3D Flow	3D Point-Flow MSE $\downarrow$	$0.85579$	$0.47261$	+44.8%	成功恢复纯机器人模型预测为静止的被操纵物体三维运动轨迹

3. 预训练视频大模型先验（Pixel-PT）不仅救不了像素表征，还会引发“自然图像先验幻觉”（Appendix A.2）：
   • 一个反直觉现象是：在 bag-grocery 纯机器人设置下，搭载 1.3B 预训练视频生成器的 Pixel-PT（ID SR 30.0%）甚至显著差于从零训练的 17.3M 轻量 Pixel（45.0%）与纯 BC（40.0%）。
   • 6 步未来视频预测可视化（Figure 10）定位了病灶：在互联网自然视频预训练先验中，“购物袋”绝大多数时候处于敞开状态；当双臂夹爪尚未触碰袋口提手时，Pixel-PT 就凭空幻觉出袋口已经完全敞开的清晰未来帧，误导下游策略提前跳过“撑开袋口”阶段直接去抓物品往闭合袋口上撞！相比之下，从零训练的 Pixel 虽然画面模糊却忠实保持袋口闭合，而 Pixel-PT + EgoVerse 则依靠海量人类开袋视频纠正了这一错误先验。这一案例深刻表明：光度视频生成的自然图像先验并不等于因果物理交互先验。

4.3 深度消融与机制验证（Q3 & Appendix A.1–A.5）

（1）人机对齐敏感性双向反事实实验（Figure 8）

为严格检验各范式对人机数据对齐质量的依赖程度，论文在两个极端任务上专门采集了反事实人类数据集：

• 反事实失配实验（bag-grocery + 蓄意失配人类数据）：针对原本唯一能让 BC 小幅获益的 bag-grocery，让采集者改用平行夹爪无法复现的奇异抓取手势并伴随大幅度头部晃动（Unaligned Human Data）。
• 刻意对齐实验（cup-on-saucer + 刻意对齐人类数据）：针对原本人机差异最大的 cup-on-saucer，让人类采集者刻意模仿机械臂的正面夹取姿态，并将头部保持在与机器人固定 Aria 支架完全一致的高度与静止视角（Aligned Human Data）。

实验设置与任务	对比方法	Robot Only 基线 SR	自然域内人类共训（In-Domain Co-train）	反事实人类共训（Unaligned / Aligned）	核心结论
bag-grocery（蓄意失配：奇异抓法 + 大幅头动）	BC	40%	45%	20%（跌破基线 -20 pp）	未对齐动作直接毒化 BC 策略
	3D Flow	60%	80%	75%（仍超基线 +15 pp）	相机稳像 3D 流对动作与头动失配高度鲁棒
cup-on-saucer（刻意对齐：模仿夹爪 + 静止相机）	BC	25%	15%	35%（终于越过基线）	BC 唯有在苛刻人工动作对齐下才勉强正迁移
	Pixel	25%	35%	65%（+30 pp）	消除头动后大幅反弹，反证违背 D3 对像素目标伤害极大
	DINO	25%	50%	70%（+20 pp）	消除头动同样释放了 2D 网格 DINO 特征的潜力
	3D Flow	70%	85%	85%（零波动）	构造性满足 D3，无需人工对齐即可免费拿满全部增益

（2）人类数据监督通道消融：世界监督 vs. 动作标签（Appendix A.1, Figure 9 & Table 1）

在 cup-on-saucer 上固定机器人批次的完整监督，仅消融人类数据批次所激活的监督通道：

人类批次监督信号	ID SR / NS	OOD Object SR / NS	OOD Scene SR / NS	人类流 / 机器人流 3D Flow 预测损失（Table 1）
Action Only（即 BC 共训）	15% / 0.30	11% / 0.26	0% / 0.00	—
3D Flow Only（无动作人类视频共训）	35% / 0.43	44% / 0.48	10% / 0.13	$0.23$ / $0.20$
Action + 3D Flow（完整 EgoWAM）	90% / 0.93	78% / 0.89	30% / 0.43	$0.22$ / $0.19$

这组消融给出了两个极具价值的机制结论：

1. 单靠人类视频的 3D Flow 无动作动力学监督（35% / 44% / 10%）已在所有评测集上全面碾压带动作标签的 BC 共训（15% / 11% / 0%）；
2. 动作标签与世界动力学监督并非互斥，而是强力互补增效：联合监督将成功率进一步推升至 90% / 78% / 30%，同时降低了人机两路流预测误差（Table 1）。原因在于人类动作标签虽然无法直接当执行指令照搬，却为主干提供了意图上下文（Action as Context）与任务相关性注意力锚点（Action as Task-Relevance Signal），帮助主干聚焦于由施动者引发的关键物体运动、过滤无关背景扰动。

（3）时序稠密多帧像素预测、预测头容量与纯 RGB 位姿可行性（Appendix A.3–A.5）

• 多帧稠密像素预测（Pixel-PT-Dense，Figure 11）：为检验像素目标表现弱是否仅因“只预测未来单帧过于稀疏”，将 Pixel-PT 扩展为在相同物理时间窗内均匀预测未来 5 帧（机器人 $t+9,t+18,\dots ,t+45$；人类 $t+6,t+12,\dots ,t+30$）。在 cup-on-saucer 上，Pixel-PT-Dense 的 EgoVerse 共训域内成功率增益与单帧 Pixel-PT 完全持平（均为 +10 pp，最终停留在 45%–50%），依然远逊于单帧 DINO（70%）与 3D Flow（90%），证明核心瓶颈在于表征空间而非预测帧密度。
• 排除预测头参数容量干扰（Appendix A.4）：四类预测头的可训练参数量依次为 Pixel-PT（~1.4B）$\gg$ DINO（19.6M）$>$ Pixel（17.3M）$>$ 3D Flow（9.0M），与下游策略性能完全倒挂；且 Pixel 与 DINO 共享相同的 6 层 384 维 DiT 主干、参数仅差不到 3M，表现却天差地别；加之所有预测头在推理期均被丢弃，彻底确证增益来自目标表征对主干的塑形。
• 无 VIO 互联网视频的纯 RGB 相机位姿评估（Appendix A.5）：在全部 486 条 cup-on-saucer 人类视频上（经逐段 $\mathrm{Sim}(3)$ 对齐后），将 Track4World 纯 RGB 估计的相机轨迹与 Aria VIO 真值对比：绝对轨迹误差 ATE 为 $1.4\text{ cm}$（占路径总长 6.8%，静态相机假设误差为 $2.7\text{ cm}$）；旋转恢复极准（相邻帧相对旋转误差仅 ${0.14}^{\circ }$，1 秒视域累计旋转误差 ${1.9}^{\circ }$ vs. 真实头转 ${4.7}^{\circ }$），足以替代 VIO 完成旋转稳像；但 1 秒相对平移误差仍达 $1.8\text{ cm}$（对比真实头移 $2.5\text{ cm}$），说明纯 RGB 单目尺度平移稳像仍是推广至任意无 VIO 野外视频前待攻克的工程环节。

4.4 仿真跨机器人构型迁移验证：RoboTwin 2.0（Appendix D）

为在公开可复现的纯机器人跨构型场景（Robot-to-Robot Transfer）中复验核心结论，论文在基于 SAPIEN 的 RoboTwin 2.0 基准上以双臂 6-DoF aloha-agilex 为目标构型，联合 arx-x5（双臂 6-DoF）、franka（双臂 7-DoF）与 ur5（双臂 7-DoF）共四种不同自由度的双臂机器人（demo_clean-50 数据集，统一至相同的 14 维头相机系绝对末端动作空间 + Mink 微分 IK 执行器），在 100 个保留随机种子上对比单构型训练（s）与四构型共训（c），并以同动作空间改造的官方 ACT-EE 与 DP-EE 作为无世界模型参照（Table 4）：

仿真任务（100 Held-out Seeds, SR %）	ACT-EE (s)	DP-EE (s)	BC (s → c)	Pixel (s → c)	DINO (s → c)	3D Flow (s → c)
pick-diverse-bottles（15 种瓶子实例泛化）	2%	5%	2% → 9%	6% → 17%	3% → 28%	1% → 19%
stack-bowls-three†（长时程叠三碗 + 材质外观偏移）	0%	0%	0% → 0%	0% → 0%	0% → 8%	0% → 16%
hanging-mug（毫米级细杆挂杯插孔）	0%	0%	0% → 0%	0% → 1%	0% → 0%	0% → 0%

仿真结果与真机实验高度吻合：

1. 跨构型共训（c）在所有变体上一致优于单构型（s），且所有 WAM 变体（17%–28%）显著击败同动作空间的 BC（9%）与 ACT-EE / DP-EE（$\le 5\mathrm{\%}$），确证驱动跨构型迁移的是世界模型接口而非末端动作空间本身；
2. 在 stack-bowls-three 中，由于仿真器当前版本碗的渲染材质较采集演示时发生了意外资产更新（几何与位姿未变，构成天然的零纹理随机化外观偏移测试），BC 与光度重建的 Pixel 全部崩溃为 0%，唯有满足 （D1）外观抽象 的 DINO（8%）与 3D Flow（16%）跨构型共训成功存活；
3. 在需要亚厘米级穿孔精度的 hanging-mug 上所有方法均停留在 $\le 1\mathrm{\%}$，坦诚揭示了高层语义/粗粒度动力学抽象本身并不能替代末端高频精细接触控制。

五、局限性与未来方向

1. 局限于上下文级泛化，尚未解锁跨技能的新动作原语迁移：当前从野外人类数据获得的增益主要体现在新物体、新背景桌面高度与更大空间范围的上下文泛化（Context-level Generalization），尚无法仅凭人类视频学会全新的运动原语（例如用叠 T 恤策略结合人类叠短裤视频直接学会叠短裤）。
2. 单任务独立策略尚未扩展至多任务通用指令基座：为严格隔离世界表征这一单一变量，本文采取“一任务一策略”且未引入语言指令条件；将非像素 WAM 共训扩展至跨百种任务的语言条件化多任务基座是直接的下一步。
3. 最优开放世界表征仍待探索：DINO 强于语义（OOD 物体/场景最优）但弱于 2D 网格残留头动，3D Flow 强于三维几何稳像但依赖 VIO 平移且缺乏高层语义归并；如何构建兼具两者优势的统一表征仍是开放问题。

六、个人思考

1. 把“WAM 究竟该预测什么”从工程炼丹变成了可证伪的受控科学结论：如果把近期的 WAM 代表作放在同一坐标系下审视——Fast-WAM 证明了 WAM 的核心价值在于训练期动力学表征塑形而非测试期耗时视频生成；LDA-1B 展示了用 DINO 潜在空间 + 质量分层监督替代像素 VAE 可在 30k 小时数据上扩展出 1.6B 基座；而 EgoWAM 则在最严苛的控制变量条件下（锁定同一 HPT 主干、同一动作头、同一推理计算图与 30 Hz 零额外延迟），干净利落地回答了跨具身人机迁移的表征设计准则（D1 外观抽象 + D2 跨具身结果一致性 + D3 相机自运动解耦），并用仅 9.0M 参数的 3D Flow 头击败 1.4B 参数的 Pixel-PT 头，彻底打破了“只要把预训练视频生成模型做大就能做好具身控制”的迷思。
2. 通用视频大模型的“自然图像光度先验”可能反噬因果机器人控制：附录 A.2 中 Pixel-PT 在 bag-grocery 上“夹爪未动、预测画面里袋口已自动敞开”的失败案例非常经典。互联网视频扩散模型学到的是高频统计共现先验（购物袋通常张开），而非严格的动作条件因果转移（Action-Conditioned Causal Transition）。当这种有偏先验通过共享主干反向塑造策略时，反而会诱发致命的阶段跳过幻觉。
3. DINO 与 3D Flow 的正交互补直接指向“相机稳像 3D 语义特征流”下一代目标：实验数据非常诚实地暴露了两者的边界——DINO 在 fold-clothes OOD 上以 85% 碾压 3D Flow 的 40%（柔性变形衣物需要高层部件语义对应，纯三维点流在大幅形变与不同版型衣物间难以对齐语义部位），而 3D Flow 在 cup-on-saucer 域内以 90% 领先 DINO 的 70% 且对晃头完全免疫。一个极具吸引力的演进方向是将两者直接融合：在训练期同时挂载 DINO 语义头与 3D 稳像流头做多目标联合塑形（推理期同样全部丢弃，依然零开销！），或构造将 DINO Patch 语义特征抬升并锚定到瞬时相机系 3D 点轨迹上的 3D Semantic Flow，同时吃透 4× OOD 语义泛化与 3D 几何抗失配红利。
4. 显式换手重渲染 vs. 隐式动力学流形对齐的两条技术路线分野：对比本仓库收录的 MimicDreamer 与 Qwen-RobotManip（在数据预处理阶段通过相机稳像 + IK 重定向 + 机械臂渲染覆盖/视频扩散重绘，显式把人手视频“伪装”成机器人视频再喂给策略），EgoWAM 展示了一条无需重渲染图像的隐式表征对齐路径——只要训练期辅助预测目标本身对施动者外观与头动不变（如 3D 稳像流），共享主干就能自发把原始人手视频与机器人视频拉进同一潜在空间（Figure 4），甚至纯无动作人类视频（3D Flow Only）也能产生显著正迁移。这两条路线其实并不冲突：前端轻量几何稳像 + 后端非像素（DINO + 3D Flow）WAM 联合塑形，很可能是大规模吸纳互联网无标注人类操作视频的最优组合拳。

参考

• HPT (Heterogeneous Pre-trained Transformers)（Wang et al., NeurIPS 2024）：EgoWAM 所继承的异构模态 Stem + 共享 Transformer 主干架构
• EgoVerse（Punamiya et al., RSS 2026）：本文评测与共训所采用的开放场景第一视角人类操作旗舰数据集及动作对齐协议
• Fast-WAM（Yuan et al., 2026）：系统论证 WAM 的核心收益来自训练时动力学监督而非测试时未来想象，支撑本文推理期剥离世界模型头的零开销部署范式
• LDA-1B（Lyu et al., RSS 2026）：在结构化 DINO 潜在空间通过质量分层监督吸纳 30k+ 小时异构具身数据的统一世界模型基础模型
• WAM Survey（2026）：世界动作模型的架构谱系（Joint vs. Cascaded）、数据生态与预测空间系统综述
• MimicDreamer（2025）/ Qwen-RobotManip（2026）：通过显式运动学重定向与机械臂视觉覆盖/生成消除人机外观鸿沟的对照技术路线
• RAE (Representation Autoencoders)（Zheng et al., ICLR 2026）：本文 DINO 世界模型头所采用的语义潜空间宽头扩散（DiTDH）理论与架构来源
• Track4World（Lu et al., 2026）：本文用于从纯 RGB 视频提取稠密三维点轨迹的前馈世界系追踪模型