VITRA：基于真实生活人类活动视频的可扩展灵巧操作 VLA 预训练

论文：Scalable Vision-Language-Action Model Pretraining for Robotic Manipulation with Real-Life Human Activity Videos

作者：Qixiu Li*、Yu Deng*、Yaobo Liang*、Lin Luo*、Lei Zhou、Chengtang Yao、Lingqi Zeng、Zhiyuan Feng、Huizhi Liang、Sicheng Xu、Yizhong Zhang、Xi Chen、Hao Chen、Lily Sun、Dong Chen、Jiaolong Yang‡、Baining Guo（* 共同一作，‡ 项目负责人/通讯作者）

机构：清华大学（Tsinghua University）、微软亚洲研究院（Microsoft Research Asia, MSRA）

发布时间：2025 年 10 月（arXiv 2510.21571，2025-10-24）

发表状态：ICRA 2026（已录用）

🔗 arXiv | PDF | 项目主页 | 代码 | 模型权重 | 数据集 (VITRA-1M)

分类标签：VLA 基础模型 野外日常人类视频 灵巧手操作 度量级世界系三维追踪 三维腕速原子动作切分 因果扩散动作专家

一句话总结

针对现有机器人遥操作与实验室人手数据（如 EgoDex）场景同质化严重、而野外无脚本真实日常人类视频缺乏度量级三维动作标签与原子任务切分的鸿沟，提出将无标注真实生活人类视频全自动转化为与机器人演示严格同构（任务粒度对齐 + 标签空间对齐）的灵巧操作 VLA 预训练框架 VITRA：通过融合 MoGe-2 度量深度增强版 MegaSAM 与 HaWoR 恢复米制世界系三维相机与双手 MANO 轨迹，首创零推理开销的世界系三维手腕速度极小值原子切分算法与未来三维掌心轨迹投影叠加 GPT-4.1 标注，完全不依赖原视频人工标注即从 Ego4D 等原始视频中提炼出百万级高多样性 VITRA-1M（2,600 万帧，OpenImages 视觉覆盖率超现有机器人/实验室人手库 5–13 倍）；模型侧构建基于 PaliGemma-2（3B）的 VITRA-VLA-3B，引入显式相机 FoV 令牌、统一 102 维单/双手掩码动作空间、消除短片段末尾零填充污染的因果注意力扩散动作专家（Causal DiT）及轨迹感知射影几何增强，在 12-DoF XHand 真机灵巧操作中将已见场景平均成功率推升至 71.0%，更在跨物体、跨未见类别与未见背景测试中取得 64.6% 平均成功率（达到 ${\pi }_0$ 16.1% 的 4 倍，而同数据上的隐式潜动作 LAPA 与实验室 EgoDex 预训练双双崩溃至 0.0%）。

一、问题与动机

1.1 实验室采集数据的多样性天花板

构建真正能够在家庭、工坊等开放环境中泛化的灵巧操作视觉-语言-动作（VLA）模型，前提是预训练数据必须覆盖足够广阔的视觉场景、物体几何类别与语言动词组合。然而，无论是跨机构汇总的机器人遥操作库（如 OXE、DROID、AgiBot World），还是佩戴 VR 头显在实验台前按脚本录制的亿帧人手数据集（如 EgoDex，也是 Being-H0 的主力数据源），本质上都被困在少量照明均匀、桌面整洁的受控采集间内。论文定量评估发现，哪怕在实验室里堆叠 1.3 亿帧图像，其在开放自然图像空间（OpenImages）中的视觉覆盖率依然极度贫瘠，一旦真机部署遭遇未见杂乱背景或全新物体类别便迅速失效。

与之相对，互联网与第一视角生活记录库（如 Ego4D、EPIC-KITCHENS）中存有海量无脚本、无约束的真实生活人类活动视频（烹饪、维修、木工、清洁、手工、园艺等），天然具备极高的场景复杂度与交互多样性。但这类野生视频并非现成的机器人模仿学习数据。

1.2 野生人类视频向机器人 VLA 转化的“双重对齐”准则

论文明确指出，要让野外日常视频发挥最强迁移效力，必须在预训练与微调之间达成双重结构对齐：

1. 任务粒度对齐（Task Alignment）：机器人 VLA 训练样本通常对应持续 1–3 秒、语义单一明确的原子级操作片段（Atomic Episode，如“握柄拿起红盖瓶子”）；而野外生活视频是长达数十分钟的连续无脚本流，且随附的原始人工旁白往往时间边界粗糙、语义颗粒度混乱（或干脆无标注），直接使用原标注会导致严重的图文动作错位；
2. 标签空间对齐（Label Alignment）：第一视角佩戴者的头部随时都在剧烈旋转平移，必须将人手运动从随动局部图像中剥离并恢复至度量级（Metric-Scale）三维世界坐标系，从而能够像静止机器人头部相机一样，任意重表达至当前观测帧的瞬时三维相机坐标系下生成显式 $6\text{-DoF}$ 腕部增量与手指关节角。

二、预备知识

2.1 世界系手-机运动解耦与瞬时静态相机投影

在第一视角移动相机视频中，单帧手部重建器输出的第 $t+k$ 帧手腕位姿 $T_{c_{t+k}\leftarrow h}\in \mathrm{SE}(3)$ 定义在随头部剧烈晃动的局部相机系 $c_{t+k}$ 下，混杂了大量头部自运动。唯有同时恢复出真实米制尺度的动态相机外参序列 $T_{w\leftarrow c_t}\in \mathrm{SE}(3)$，才能先将手部轨迹还原至静止三维世界坐标系 $w$，再重投影回任意观测帧 $o_t$ 的瞬时相机系 $c_t$，精确模拟头部固定的机器人视角：

$$T_{w\leftarrow h}(t+k)=T_{w\leftarrow c_{t+k}}{T}_{c_{t+k}\leftarrow h},T_{c_t\leftarrow h}(t+k)=T_{w\leftarrow c_t}^{-1}{T}_{w\leftarrow h}(t+k)$$

在此世界系轨迹上，人手腕部的真实物理移动速率 $v_w(t)=\parallel {\dot{p}}_w(t){\parallel }_2$ 完全不受佩戴者转头或走动视线扫掠的干扰，为纯几何原子动作切分提供了不变量基础。

2.2 认知令牌扩散 VLA（CogACT 范式）与灵巧手遥操作重定向

• 认知令牌条件化扩散（CogACT）：不同于自回归离散分词路线，CogACT 在多模态大模型末端追加一颗可学习的认知令牌（Cognition Token），将其输出的单一语义-空间聚合向量 $f_c$ 通过自适应层归一化（AdaLN）注入轻量 Diffusion Transformer（DiT）动作专家；训练时单次 VLM 前向提取的 $f_c$ 可并行复用于多组不同噪声步样本的去噪训练，兼顾大模型的开放语义推理与连续扩散头的高频平滑性。
• 灵巧手遥操作几何重定向（DexPilot + 关节角映射）：为采集高质量真机微调数据，VITRA 使用同构主从臂配合 MANUS 数据手套控制 12-DoF XHand 灵巧手，联合两级优化器实时解算机器人关节角 $q_t\in [q_l,q_u]$——其一为匹配 5 组腕-指尖向量与 10 组指间相对向量的 DexPilot 目标（$s(d_i)$ 随指尖逼近增大以强化捏合接触）：

$${\mathcal{L}}_{\text{vec}}(q_t)=\sum _{i=0}^{N_{\text{vec}}}s(d_i)\Vert \alpha v_i^h-v_i^r(q_t){\Vert }_2^2+\beta \parallel q_t-q_{t-1}{\parallel }_2^2$$

其二仅用上式优化拇指与食指的侧摆（外展/内收）自由度，其余屈伸关节直接由手套骨骼三元组 $(A_j,B_j,C_j)$ 夹角

$${\theta }_j^h=\arccos \left(\frac{(k_{A_j}-k_{B_j}{)}^{\mathrm{\top }}(k_{C_j}-k_{B_j})}{\parallel k_{A_j}-k_{B_j}\parallel \parallel k_{C_j}-k_{B_j}\parallel }\right)$$

线性仿射映射至机器人关节限位区间 $[{\theta }_j^{r,min},{\theta }_j^{r,max}]$，实现低延迟高保真灵巧示教。

三、核心方法

3.1 全自动人类活动视频转 VLA 引擎与 VITRA-1M 数据集

VITRA 设计了一套完全不使用原始数据集任何人工动作标签的三阶段全自动处理管线（长视频按 20 秒重叠窗口切块并行重建后拼接）：

VITRA 三阶段全自动数据构建流水线：

1. 阶段一：度量级世界系三维手部与相机联合追踪（3D Motion Labeling）
   • 动静相机自动分流标定：由背景光流判别静态与移动相机；移动相机调用基于统一球面相机模型的 DroidCalib 联合估计内参与广角/鱼眼畸变系数（假设主点居中且双轴焦距相等），静态相机则结合 DeepCalib 与 MoGe-2 估计焦距并完成针孔去畸变；
   • 米制世界系手-机刚体融合：将标定焦距传入 HaWoR 逐帧恢复相机系三维 MANO 手部参数（显式丢弃原版 HaWoR 在野外视频上不可靠的遮挡运动插值模块）；对移动相机运行改进版视觉 SLAM MegaSAM——核心改进是用具备精确米制尺度的几何模型 MoGe-2 替换原版 DepthAnything + UniDepth 深度先验，大幅提升复杂动态场景下的米制位姿稳定性与推理效率，融合样条平滑与离群滤除后输出连续世界系三维双手序列。
2. 阶段二：世界系三维腕速极小值原子切分（Atomic Action Segmentation）
   • 捕捉人类动作的自然“节拍（Beats）”：对世界系三维手腕轨迹施加高斯滤波平滑重建毛刺后，在每个时刻两侧 $0.5\text{ s}$ 居中窗口内独立检测左、右手的局部三维速率极小值点 $t^{\ast }=\arg \underset{\tau \in [t-0.25\text{s},t+0.25\text{s}]}{min}{v}_w(\tau )$ 作为切分点（切单手时忽略另一只手运动）。该纯几何算法零神经网络推理开销、零先验文本依赖，即可可扩展地切出单原子手部动作片段。
3. 阶段三：三维掌心轨迹叠加视觉提示与反幻觉指令标注（Trajectory-Overlay Instruction Labeling）
   • 时空轨迹视觉锚定：从每个原子片段均匀采样 8 帧（标注 Frame 1 至 Frame 8），将当前帧至片段末尾的世界系三维掌心中心轨迹反投影叠加至二维画面（颜色按蓝→绿→红渐变指示时间演进，当前帧目标手掌心标蓝点以防左右手混淆，构成显式三维运动 Set-of-Mark 视觉提示）；
   • 三条件反幻觉约束与推理链输出：驱动 GPT-4.1 先输出 3–4 句逐步时空推理 "think"、再输出单句祈使动作指令 "action" 的结构化 JSON——严格规定仅当（1）目标手已明确触碰交互物体、或（2）正带有明确意图伸向某物体时才允许提及该物体，否则必须返回 "N/A" 剔除；同时严禁依据背景先验臆测动作（例如看到水槽就臆测在刷洗）或使用 "clean" / "fix" 等含糊动词；
   • 五倍同义语言扩增：对每条通过筛查的原子祈使指令，再调用 GPT-4.1 在严格保持物理语义不变的前提下改写为 5 种多样化句式，训练期每次按轨迹随机抽样一条输入。

基于该引擎处理 Ego4D（77%）、EPIC-KITCHENS（12%）、Ego-Exo4D（6%）与 Something-Something-V2（5%） 的纯原始视频，构建出包含 100 万条原子 Episode、2,600 万帧的 VITRA-1M：

跨数据集多样性定量对比	VITRA-1M（本文，野外人类）	EgoDex（实验室 VR 人手）	AgiBot World（机器人）	DROID（野外桌面机器人）	OXE（多源机器人汇总）
OpenImages DINOv2 覆盖率 R@0.5 $\uparrow$	0.243	0.018	0.045	0.030	0.024
指令名词多样性（$h\text{-index}$ / $i_{100}\text{-index}$）	428 / 1089	受限于 194 种脚本任务	室内受控物品子集	桌面常规物品	碎片化窄词表
指令动词多样性（$h\text{-index}$ / $i_{100}\text{-index}$）	270 / 398	固定脚本动词	抓取放置主导	抓取开关主导	简单祈使短语
指令形容词多样性（$h\text{-index}$ / $i_{100}\text{-index}$）	277 / 519	属性修饰匮乏	少量颜色形状词	少量颜色方位词	属性描述极少

仅随机抽取 VITRA-1M 的 1 万条子集（1%），其对真实开放自然图像库 OpenImages 的 DINOv2 特征覆盖率就已全面超越全量 30 万+ 条的 EgoDex 与 40 万条的 OXE；全量 R@0.5 更达到 EgoDex 的 13.5 倍、OXE 的 10.1 倍。

3.2 注入相机 FoV 的 VITRA-VLA-3B 主干与 102 维掩码动作空间

给定语言指令 $l$、当前单帧 RGB 观测 $o_t$ 与当前相机系手部/机器人本体状态 $s_t$，策略 $\pi$ 预测未来动作块（默认块长 $N=16$）：

$$\pi :(l,o_t,s_t)⟶(a_t,a_{t+1},\dots ,a_{t+N})$$

1. 显式感知内参视场角的认知 VLM 主干：采用 PaliGemma-2（3B，mix 权重） 作为底座（冻结的 $224\times 224$ SigLIP 视觉编码器 + Gemma-2 语言模型）。由于原始视频宽高比与焦距各异，直接无裁剪缩放至 $1:1$ 的 ${224}^2$ 分辨率会引入严重的三维透视歧义——VITRA 因此将原始水平/垂直相机视场角（Camera FoV）经 MLP 投影为专属 FoV Token 输入 LLM，并在序列末尾追加认知令牌提取条件特征 $f_c$（单次 VLM 前向并行抽取 8 组带噪样本高效训练扩散头）。
2. 102 维当前相机系双手统一动作空间：在当前观测帧 $o_t$ 的瞬时相机坐标系下，单步动作向量定义为左右手刚体腕部增量与局部手指关节角的拼接（各维度按数据集采样概率加权做零均值单位方差标准化）：

$$a_t=[\mathrm{\Delta }{t}^l,\mathrm{\Delta }{r}^l,{\theta }_h^l,\mathrm{\Delta }{t}^r,\mathrm{\Delta }{r}^r,{\theta }_h^r]\in {\mathbb{R}}^{102}$$

其中 $\mathrm{\Delta }{t}^{l/r}\in {\mathbb{R}}^3$ 与 $\mathrm{\Delta }{r}^{l/r}\in {\mathbb{R}}^3$ 分别为左、右手腕在相邻两帧间的三维相对平移增量与相对欧拉角旋转增量（在 $o_t$ 相机系下表达），${\theta }_h^{l/r}\in {\mathbb{R}}^{15\times 3}$ 为 MANO 模型局部坐标系下 15 个指间关节的三维欧拉角（单手 $6+45=51$ 维，双手合计 $102$ 维）。 3. 单/双手统一提示与逐维动作掩码（Action Masks）：无论单手或双手片段，输入指令统一格式化为 Left hand: <left-hand action or None>. Right hand: <right-hand action or None>.；动作专家同步接收与 102 维动作等宽的二值掩码 $M\in \{0,1{\}}^{(N+1)\times 102}$（沿特征维与带噪动作拼接）。凡未标注手、未映射冗余关节或越过片段终点的填充步，其掩码均置 $0$，对应带噪输入清零并从去噪均方误差损失中完全剔除：

$${\mathcal{L}}_{\text{MSE}}={\mathbb{E}}_{ϵ\sim \mathcal{N}(0,I),i}\Vert M\odot ({\widehat{ϵ}}_i-ϵ){\Vert }_2^2$$

3.3 因果注意力动作去噪器（Causal Action Denoising）

扩散动作专家采用 DiT-Base（约 136M 参数，引入 QK-Norm 并以 RMSNorm 替代 LayerNorm 提升稳定性，通过 AdaLN 注入认知特征 $f_c$）。这里包含一项针对野生人类视频时间统计特性的关键架构创新：

• 双向注意力的“末尾零填充回流污染”陷阱：真实生活中人手动作极快，大量原子片段仅长约 $1\text{ s}$（约 30 帧），导致 $N=16$ 的预测块频繁越过片段终点。若采用传统扩散策略的双向自注意力，即便在损失端掩蔽了越界步，输入端拼接的“末尾零动作与零掩码”仍会通过双向注意力向前泄漏，误导模型把本处于连续运动中段的动作（如来回擦桌）强行预测为提前减速急停！
• 时间因果去噪隔离：VITRA 将 DiT 内部全部替换为时间因果自注意力（Causal Self-Attention），强制每个未来时间步仅关注前序动作步与上下文特征，从根本上斩断了末尾零填充对前缀有效动作的污染。

用大白话说：双向去噪就像写句子时提前偷看到后面贴着一排“空白休止符”，手还没挥到一半就提前减速收力；改成因果注意力后，每一帧未来动作只管顺着前面的物理惯性自然推演，再也不会被人为切分边界的零填充“吓得半途急刹”。

3.4 轨迹感知射影几何增强、CFG 去噪与异构灵巧手拓扑微调

1. 轨迹感知图像-动作同步射影增强（Trajectory-Aware Augmentation）：预训练期间随机采样新的 FoV、宽高比与裁剪中心对图像执行三维透视重投影变换（Perspective Warping）（保持主点居中），同步变换三维相机系动作序列并更新输入 VLM 的 FoV Token；裁剪时强制约束当前帧至片段末尾的完整三维手部投影轨迹 100% 保留在画面框内（天然框住被操作物体），并辅以左右镜像（同步翻转左右手槽位与文本左右词）及无颜色词条件下的色彩抖动。
2. 双通道随机丢弃与 CFG 推理：训练期（100 扩散步）分别以 $p=0.1$ 的独立概率随机丢弃输入动作专家的本体状态 $s_t$（防止过拟合历史状态而忽视视觉指令）与认知特征 $f_c$；推理期采用 10 步 DDIM 与强度 $w=5.0$ 的无分类器引导（Classifier-Free Guidance），每预测 16 步执行前 6 步（预训练在 $8\times \text{H100}$ 上以批大小 512 训练 80K 步耗时 2 天；真机微调批大小 256 训练 20K 步耗时 8 小时）：

$${\widehat{ϵ}}_{\text{cfg}}=\widehat{ϵ}(a_t^i,s_t,\varnothing )+w\cdot (\widehat{ϵ}(a_t^i,s_t,f_c)-\widehat{ϵ}(a_t^i,s_t,\varnothing )),w=5.0$$

3. 人手超集拓扑映射与直接执行指令监督：微调至真机灵巧手（如 12-DoF XHand）时，重新计算机器人数据均值方差，将 51 维单手 MANO 视作机器人灵巧手的拓扑超集——机械臂末端相机系 $6\text{-DoF}$ 增量对齐 $(\mathrm{\Delta }t,\mathrm{\Delta }r)$，XHand 的 12 个驱动关节按拓扑最近邻一对一填入 ${\theta }_h$ 对应槽位（未映射的 33 个冗余角度维掩码置 $0$）；同时直接以遥操作下发的未来目标执行指令而非滞后的实测关节状态做监督，确保接触刚性物体时产生充足闭合抓握力。

训练与推理阶段	优化器与学习率配置	批大小 / 步数 / 算力耗时	关键训练与采样策略（Appendix A.3–A.4）
野外人手预训练	AdamW（$\beta =(0.9,0.99)$，权重衰减 $0.1$）；动作专家 ${10}^{-4}$、VLM ${10}^{-5}$	批大小 512 / 5K 预热 + 80K 步 / $8\times \text{H100}$ 约 2 天	FSDP 并行；100 步扩散噪声；单次 VLM 前向抽 8 噪声样本；状态 $s_t$ 与认知 $f_c$ 各按 $0.1$ 独立丢弃
真机灵巧手微调	AdamW（$\beta =(0.9,0.95)$，梯度裁剪 $1.0$）；统一学习率 ${10}^{-5}$	批大小 256 / 20K 步（无预训练需 60K 步）/ $8\times \text{H100}$ 约 8 小时	重算机器人动作均值方差；XHand 12 驱动关节拓扑映射至 ${\theta }_h$（其余 33 维掩码置零）；直接未来指令监督
实时闭环部署	单卡 RTX 4090（真机）/ A6000（离线评测）	预测块长 $N=16$，每次执行前 6 步	10 步 DDIM 采样 + CFG 引导尺度 $5.0$；相机系末端增量转基座绝对位姿后经 IK 驱动机械臂

四、实验结果

4.1 真实生活未见场景零样本人手动作预测与全链路消融（Table 1 & Table 2）

论文构建了两项完全未见的真实生活杂乱环境基准：（1）零样本三维抓取定位（Grasp）：用 Azure Kinect 采集 47 个真实家庭/办公场景共 396 个目标物体（经 SAM-2 + 深度图重建三维物体点云），用 SMPL-X 在距目标约 20.0 cm 处合成自然姿态人手，独立采样 4 条轨迹测算指尖与物体点云最小欧氏距离 $d_{\text{hand-obj}}$（均值 / 中位数，cm） $\downarrow$；（2）通用日常动作合理性（General Action）：手机实拍 117 个真实生活场景，由 23 名受试者对匿名打乱的渲染手部动作视频做 Top-3 排序赋分（3/2/1/0 分，User Score $\uparrow$）：

零样本对比模型 / 预训练消融变体（Table 1）	47 场景 396 物体抓取 Avg. / Med. $d_{\text{hand-obj}}$ (cm) $\downarrow$	117 真实场景通用动作盲评 User Score $\uparrow$	核心机制归因
初始手部位置基准（Initial position）	20.0 / 20.0	—	起始参考基准线
Being-H0 (8B)（同期实验室/VR 主导基线）	19.1 / 18.4	0.15	受控实验室/VR 视觉分布难以泛化至真实杂乱家庭场景
Lab data (EgoDex)（同架构改用 30 万条实验室 EgoDex）	17.6 / 18.3	—	排除架构差异后，单一实验室背景依然严重限制域外定位
Original Human Annotation（直接用原数据集人工标注建片段）	14.1 / 14.1	0.96	原始人工标注起止边界粗糙、任务粒度失配，大幅削弱指令跟随
No Trajectory-Aware Augmentation（移除轨迹感知透视增强）	11.6 / 10.7	1.43	多样化 FoV 与透视重投影是解耦相机内参泛化的关键（退化 +2.8 cm）
Bidirectional Attention（DiT 改回传统双向注意力）	9.3 / 7.2	1.69	证实双向注意力受短片段末尾零填充回流干扰（因果注意力净赢 1.0 cm 中位数）
VITRA-VLA-3B（完整 VITRA-1M 预训练）	8.8 / 6.2	1.91	真实野外场景多样性 + 原子切分 + 因果扩散协同最优

进一步在 35 万条 Ego4D 子集上消融阶段二与阶段三的 Episode 构建策略（Table 2）：

Episode 构建策略消融（350K Ego4D 子集，Table 2）	抓取 Avg. / Med. $d_{\text{hand-obj}}$ (cm) $\downarrow$	退化原因分析
Fixed-interval segmentation（固定 1 秒等长切分替代腕速极小值）	10.5 / 8.8	单个 1 秒片段常混入多个子动作，干扰 GPT-4.1 精确对齐动作边界
No trajectory overlay（GPT 标注时不叠加三维掌心投影轨迹）	11.7 / 10.7	缺乏空间运动轨迹视觉锚点导致大模型频繁误判目标交互物体
Ours†（三维腕速极小值原子切分 + 三维掌心轨迹叠加标注）	9.9 / 8.1	纯几何切分与空间视觉提示形成强协同

4.2 真机 12-DoF XHand 灵巧操作评测：已见与未见泛化（Table 3 & Table 4）

真机采用 Realman RM75-B 机械臂 + 12-DoF XHand 灵巧手 + 头部 RealSense 相机，在同一批 1,200 条遥操作演示（覆盖带 3–4 个干扰物的通用抓放 Pick & Place、工具手柄功能性抓取 Functional Grasp、拿瓶倒水归位 Pour、取扫帚扫垃圾入簸箕归位 Sweep 四大任务）上公平微调全部对比模型（无预训练基线需训 60K 步方收敛，VITRA 仅需 20K 步）：

1. 已见物体与已见背景评测（Table 3，随机摆放与干扰物，共 80 次试验，SR %）：

对比方法	Pick & Place (40 次)	Functional Grasp (24 次)	Pour (8 次)	Sweep (8 次)	已见平均 SR (%)
VPP（视频扩散生成预训练策略）	57.5	29.2	12.5	0.0	24.8%
No VLA pretrain（PaliGemma-2 直训 60K 步）	32.5	33.3	12.5	50.0	32.1%
OXE pretrain（改用 40 万条夹爪机器人 OXE 预训练）	40.0	37.5	62.5	25.0	41.3%
Latent action pretrain（在 VITRA-1M 上训练 LAPA 潜动作）	42.5	41.7	37.5	62.5	46.0%
${\pi }_0$（大规模多构型机器人流匹配基座）	37.5	25.0	75.0	50.0	46.9%
VITRA（本文，VITRA-1M 显式 3D 人手预训练，20K 步）	80.0	66.7	75.0	62.5	71.0%

2. 未见物体 / 全新未见类别 + 全新未见背景泛化评测（Table 4，共 64 次试验，SR %）：

对比方法	未见实例 Pick & Place (16 次)	未见实例 Functional Grasp (16 次)	未见实例 Pour (8 次)	全新未见类别 Pick & Place (24 次)	未见平均 SR (%)
Latent action pretrain（LAPA）	0.0	0.0	0.0	0.0	0.0%
VPP	12.5	0.0	0.0	8.3	5.2%
OXE pretrain	12.5	6.3	0.0	12.5	7.8%
No VLA pretrain	31.2	0.0	0.0	12.5	10.9%
${\pi }_0$	0.0	6.2	25.0	33.3	16.1%
VITRA（本文）	68.8	68.8	50.0	70.8	64.6%

核心实证突破：（1）在更换全新桌布背景与微调期从未出现过的全新物体类别时，VITRA 取得 70.8% 抓取成功率与 64.6% 总体未见成功率，达到 ${\pi }_0$（16.1%）的 4.0 倍，而多源夹爪库 OXE pretrain 因跨子集捷径学习甚至发生负迁移（7.8% < 无预训练 10.9%）；（2）隐式像素潜动作 LAPA 在未见背景上 64 次试验全部归零（0.0%），铁证证实无三维几何约束的二维帧间潜动作无法将手物交互从背景外观偏移中剥离。

4.3 数据规模扩展律、“多样性碾压帧数”与离线代理指标（Figure 7 & Figure 10）

论文在 1%（1 万条）至 100%（100 万条）对数跨度上系统测绘了离线零样本手物距离与真机抓放成功率的联合扩展行为：

预训练数据规模配置	Episode 数 / 总帧数	零样本抓取中位 $d_{\text{hand-obj}}$ (cm) $\downarrow$	真机已见场景 SR (%)	真机未见场景 SR (%)	真机综合平均 SR (%)
Lab data (EgoDex)（实验室 VR）	$>30$ 万条 / 1.30 亿帧	18.3	47.5%	0.0%	23.8%
VITRA-1M (1% 极小子集)	1 万条 / 26 万帧	~15.6	—	—	—
VITRA-1M (10% 子集)	10 万条 / 260 万帧	~10.6	52.5%	37.5%	45.0%
VITRA-1M (20% 子集)	20 万条 / 520 万帧	~8.7	62.5%	37.5%	50.0%
VITRA-1M (50% 子集)	50 万条 / 1,300 万帧	~7.5	70.0%	50.0%	60.0%
VITRA-1M (100% 全量)	100 万条 / 2,600 万帧	6.2	80.0%	70.0%	75.0%

这组跨两个数量级的缩放实验确立了三条关键规律：

1. 单调对数线性扩展律（Log-Linear Scaling）：从 ${10}^4$ 到 ${10}^6$ 条野外原子片段，零样本预测指尖到目标物体的误差沿对数横轴呈近似严格线性下降（15.6 cm → 6.2 cm），微调后的真机已见与未见成功率同步单调攀升且尚未饱和；
2. 场景多样性对纯帧数规模的降维打击：仅含 26 万帧（1%）的 VITRA 子集在零样本三维抓取上（15.6 cm）就已击败 1.30 亿帧的 EgoDex（18.3 cm）；260 万帧（10%）野外子集在真机上以 1/50 的帧数全面碾压 EgoDex（综合成功率 45.0% vs. 23.8%，未见场景 37.5% vs. 0.0%）；
3. 可靠的离线预训练代理指标（Figure 10c）：预训练模型在 47 个真实场景上的零样本手物距离 $d_{\text{hand-obj}}$ 与微调后真机综合成功率呈现高度线性负相关（18.3 cm → 23.8% 直至 6.2 cm → 75.0%），意味着无需昂贵真机微调即可在离线阶段高效筛选数据清洗与架构配方。

五、局限性与未来方向

1. 受限于原子级短时程动作，尚缺高层长时程任务规划：当前通过腕速极小值切分构建的训练样本聚焦于 1–3 秒原子技能，尚未在预训练阶段将这些原子片段组织为多步层级化长程任务链以赋能复杂长视域推理；
2. 野外单目三维重建与大模型标注仍存残余噪声：快速手部运动模糊、严重手物遮挡下的 HaWoR / MegaSAM 位姿漂移以及 VLM 偶发幻觉仍会引入噪声标签，有待更强三维重建先验与闭环物理一致性过滤；
3. 真机定量评测集中于单手灵巧操作与纯视觉反馈：尽管架构原生支持 102 维双手预测并在附录 Figure IX 定性展示了双手协同递物（Hand-over），但系统性双臂灵巧协同定量基准以及多视角相机、多指触觉力反馈融合仍有待扩展。

六、个人思考

1. “260 万帧野外视频击败 1.3 亿帧实验室 VR 数据”是具身数据工程的分水岭式证据：长期以来具身社区热衷于在实验台前搭建大规模采集工厂冲刺帧数规模。VITRA 的 Figure 10 用最硬核的控制变量实验宣告：脱离场景与物体多样性的纯帧数堆砌在开放世界泛化面前毫无意义（EgoDex 未见场景 0.0%）。同时它也解释了为何同期的 Being-H0 在实验室基准上表现优异却在 VITRA 家庭实拍基准上退化，并直接印证了为何半年后的 Being-H0.5、EgoScale 与 HumanScale 不约而同地转向以 HaWoR + 度量 SLAM 大规模吞吐 Ego4D 等真实野外视频。
2. LAPA 未见背景 0.0% 崩溃对隐式世界/潜动作路线的重要启示：Table 4 中 LAPA 的全面归零并非否定所有非显式动作路线，而是精准刺中了像素空间无解耦潜动作的死穴——这也从反面印证了为何 UniVLA 必须在 DINO 语义空间用两阶段语言条件剥离任务无关潜码，以及为何 EgoWAM 证明世界动作模型必须抛弃像素 VAE、转向满足外观抽象与相机自运动解耦的 DINO / 3D 稳像流目标。
3. 数据特征决定架构细节：“三维腕速极小值切分 + 因果注意力 DiT”的闭环巧思：许多工作直接照搬 Diffusion Policy 或 ${\pi }_0$ 的双向注意力动作专家，却忽略了野生人类动作既快又处于连续流中段、不像遥操作演示那样每次都在终点静止归零。VITRA 发现末尾零填充会顺着双向注意力反向污染前半段动作，仅通过将 DiT 改为因果注意力就把抓取距离中位数从 7.2 cm 压到 6.2 cm、用户评分提升 +0.22，这种深谙数据物理分布的架构微创新非常值得借鉴（亦可对比 Qwen-RobotManip 显式换手渲染、EgoVLA / H-RDT 双臂重定向以及 Wh0 权重空间融合等互补路线）。

参考

• Being-H0（Luo et al., ICML 2026）/ Being-H0.5（Luo et al., CoRL 2026 Oral）：从实验室/VR 主导的离散三维手部运动预训练演进至 3.5 万小时野外人手+30 构型机器人混合流匹配的姊妹对照路线
• ${\pi }_0$（Black et al., 2024）：大规模机器人流匹配 VLA 代表作，本文在 12-DoF XHand 真机已见与未见泛化实验中的核心机器人预训练基线
• UniVLA（Bu et al., RSS 2025）& LAPA（Ye et al., ICLR 2025）：无标签视频隐式潜动作预训练代表作，与本文显式 102 维三维人手动作形成直接实证对比
• EgoVLA / H-RDT / EgoScale / HumanScale：同期探索第一视角人类三维手部轨迹向灵巧手/双臂机器人迁移的具身基础模型谱系
• Qwen-RobotManip / EgoWAM / Wh0：分别通过视觉机械臂重渲染、非像素世界动力学共训与人机权重插值弥合具身鸿沟的平行路线
• HaWoR（Zhang et al., CVPR 2025）& MegaSAM（Li et al., CVPR 2025）& MoGe-2（Wang et al., 2025）& CogACT（Li et al., 2024）：本文米制世界系手-机三维重建引擎与认知令牌扩散 VLA 架构的基础组件来源