EgoVLA：从第一视角人类视频学习人形双臂灵巧操作视觉-语言-动作模型

论文：EgoVLA: Learning Vision-Language-Action Models from Egocentric Human Videos
作者：Ruihan Yang*、Qinxi Yu*、Yecheng Wu、Rui Yan、Borui Li、An-Chieh Cheng、Xueyan Zou、Yunhao Fang、Xuxin Cheng、Ri-Zhao Qiu、Hongxu Yin、Sifei Liu、Song Han、Yao Lu、Xiaolong Wang（* 共同一作）
机构：加州大学圣地亚哥分校（UC San Diego）、伊利诺伊大学厄巴纳-香槟分校（UIUC）、麻省理工学院（MIT）、NVIDIA
发布时间：2025 年 7 月（arXiv 2507.12440，v3 修订于 2025 年 7 月 18 日）
发表状态：IROS 2026（已录用）
🔗 arXiv | PDF | 项目主页 | 代码 (Modeling) | 基准代码 (Benchmark)
分类标签：VLA 基础模型 第一视角人类视频 MANO 统一动作空间 指尖运动学重定向 人形双臂灵巧手 NVILA-2B 视觉背景泛化

一句话总结

针对双臂多指灵巧手遥操作受限于昂贵硬件与人力而难以扩展场景和技能多样性的瓶颈，提出直接从第一视角人类操作视频预训练灵巧策略的框架 EgoVLA：整合四大带三维手部与相机位姿标注的人类数据集（HOI4D、HOT3D、HoloAssist、TACO，经瞬时相机系几何稳像投影构造约 50 万对样本），基于 NVILA-2B 多模态主干与 300M Transformer 动作头，构建由“相机系手腕 9-DoF 位姿（3D 平移 + Rot6D 旋转）+ MANO 手部模型前 15 维 PCA 参数”组成的双向统一动作空间（双手共 48 维，预测未来 1 秒 30 步）；下游迁移至 Unitree H1 + 双 Inspire 12-DoF 灵巧手（36-DoF 控制空间） 时，通过指尖位置反向优化将机器人演示映射至同一 MANO 空间，实现零结构改动、零权重重初始化的无缝微调，推理期经逆运动学（IK）与 4 层轻量重定向 MLP（平均指尖误差仅 $5 \times 10^{- 5} m$ ）完成 30 Hz 闭环控制；在自建基于 Isaac Lab 的 Ego Humanoid Manipulation Benchmark（12 项短/长时程双臂灵巧任务、25 种房间与桌面视觉组合）上全面超越单任务专家 ACT 与无人类预训练基线——短时程已见/未见视觉背景平均成功率达 77.78% / 69.11%（提升 +13.23 pp / +17.83 pp），长时程已见/未见平均成功率达 45.93% / 28.79%（提升 +19.26 pp / +17.58 pp，子任务进度率高达 80.78% / 69.11%）。

一、问题与动机

1.1 灵巧手真机数据采集的硬件锁死效应

近年机器人操作学习的核心突破主要依托大规模真机演示数据（如 Open X-Embodiment、DROID）。针对双臂多指灵巧手，研究者开发了关节映射、外骨骼（AirExo、ACE）与沉浸式 VR 遥操作（Open-TeleVision、Bunny-VisionPro）等多种采集系统。然而，无论遥操作工具如何演进，“每一条轨迹都必须实时占用一台物理机器人本体与一名熟练操作员”这一物理约束始终限制着数据的规模上限，更使模型难以接触机器人尚未部署的狭窄复杂家庭场景与长尾工具操作任务。

1.2 “80 亿人类作为天然双臂灵巧机器人”的范式转换

论文提出一个极具启发性的视角转换：如果将人类视作一种特殊构型的双臂多指机器人，全球有 80 亿台这样的“机器人”正在我们期望未来机器人进入的一切真实环境中全天候运行。利用第一视角人类视频的核心价值不仅在于数量规模，更在于远超实验室桌面遥操作的场景多样性与任务丰富度。

然而，既有利用人类视频的工作存在明显断层：

无监督视觉表征或隐式潜动作预训练（如 R3M、VC-1、Voltron、LAPA）：仅从纯 RGB 帧提取粗粒度冻结特征或无物理量纲的隐式动作，彻底浪费了现代穿戴式设备（Quest 3、Vision Pro、Project Aria、HoloLens）已能普遍获取的精细三维手腕轨迹与手指关节姿态信息；
人手与机器人灵巧手的具身落差：如何在不针对特定机器人重写网络结构或丢失预训练输出层几何意义的前提下，将预测的“人类手部动作”转化为多自由度人形灵巧手的精确控制指令？

EgoVLA 的核心观察在于：人类双臂灵巧手与人形机器人双臂灵巧手的动作空间差距并没有想象中大，完全可以通过参数化人手模型（MANO）与少量几何/运动学变换双向桥接。只要先在大规模人类数据上训练一个预测未来人手手腕与手指动作的 Human VLA，它本质上就已经是一个成型的机器人策略，仅需少量遥操作演示在同一动作空间内做轻量后训练，即可同步修正手部视觉外观差异与残余运动学误差。

二、预备知识

2.1 MANO 参数化人手模型与低秩 PCA 动作表征

MANO（Embodied Hands, Romero et al., SIGGRAPH Asia 2017）是计算机视觉领域的标准可微三维人手网格与运动学模型，其手部骨骼包含 15 个球铰手指关节，完整旋转自由度高达 $15 \times 3 = 45$ 维。由于自然人类抓握受肌腱生物力学耦合约束，有效姿态流形具有显著低秩特性：

固定平均手型（Mean Shape）：为剥离不同人类个体手掌大小差异、专注于操作技能本身，EgoVLA 统一固定 MANO 的平均形状参数；
前 15 维主成分（Top-15 PCA Components）：与 HOI4D、HOT3D 一致，取姿态空间的前 15 个 PCA 主成分 $Θ \in R^{15}$ 参数化单手手指构型。给定 $Θ$ ，可通过 MANO 正向运动学（FK）解析可微地计算出五指三维指尖坐标 $J_{pred} (Θ) \in R^{5 \times 3}$ 。

2.2 连续六维旋转表征（Rot6D）

在神经网络回归三维旋转 $SO (3)$ 时，欧拉角存在万向节死锁，四元数存在反号双覆盖（ $q$ 与 $- q$ 等价）不连续性。EgoVLA 采用 Rot6D（Zhou et al., CVPR 2019）：网络输出无约束连续 6 维向量 $r_{6d} = [a_{1}, a_{2}] \in R^{6}$ （ $a_{1}, a_{2} \in R^{3}$ ），通过可微 Gram-Schmidt 正交化恢复合法旋转矩阵 $R \in SO (3)$ ：

b_{1} = \frac{a_{1}}{‖ a_{1} ‖_{2}}, b_{2} = \frac{a_{2} - (b_{1}^{⊤} a_{2}) b_{1}}{‖ a_{2} - (b_{1}^{⊤} a_{2}) b_{1} ‖_{2}}, R = [b_{1}, b_{2}, b_{1} \times b_{2}] \in SO (3)

随后直接在 $3 \times 3$ 旋转矩阵空间计算 Frobenius 平方误差，彻底消除旋转回归奇异点。

三、核心方法

3.1 四源融合第一视角人类操作数据集与相机稳像（500K 样本对）

借鉴大语言模型数据配比经验，EgoVLA 精心整合了四个互补的带三维手部与相机位姿标注的第一视角数据集，按 3 FPS 采样观测帧构造出约 500,000 个图像-动作训练对（Figure 3）：

数据源	原始规模与交互特点	混合占比	针对性清洗与统一化处理
HoloAssist	166 小时复杂双臂长程装配（换电池、拼家具、调设备），手部标注噪声偏高	39%	均匀 1/10 下采样防止噪声源过拟合；将非 MANO 手部模型统一重定向至 MANO
HOI4D	4,000 段精细语言标注的单手刚体/铰接体交互（抓放、开关门抽屉、倒水等）	25%	保留完整动作短语描述，采用原生平均手型与 15 维 MANO PCA
TACO	2,317 段双臂工具-动作-物体交互，覆盖 151 类（工具, 动作, 物体）三元组	23%	提取细粒度工具操作动词与双臂协同轨迹
HOT3D	833 分钟与 33 种刚体的高精度多目追踪三维手物交互，缺失文本描述	13%	填充占位符语言指令（Placeholder Instructions）以保持多源输入格式一致

相机自运动几何投影稳像：第一视角视频中佩戴者头部随视线持续平移旋转，若直接预测各自未来帧相机系下的手腕位姿，监督信号会混入剧烈的头部自运动噪声。设世界系下 $t$ 时刻的相机位姿为 $T_{t}^{cam} \in SE (3)$ 、未来 $t + k$ 时刻世界系手腕位姿为 $W_{t + k}^{world} \in SE (3)$ ，EgoVLA 统一将未来轨迹重投影至当前观测帧 $t$ 的瞬时相机参考系：

W_{t + k}^{(t)} = (T_{t}^{cam})^{- 1} W_{t + k}^{world}, k \in {0, 1, \dots, H - 1}

这一几何稳像使网络只需推理“手相对于当前视线画面应移向何处”，彻底解耦了未来 1 秒内的佩戴者头部晃动。

3.2 EgoVLA 模型架构与多分量动作回归目标

EgoVLA 构建于紧凑高效的视觉语言模型 NVILA-2B（Liu et al., 2025）之上，整体架构（Figure 2）包含多模态序列编码与独立 Transformer 动作头两大部分：

多模态时序输入：
- 1 秒多帧视觉历史：输入共 6 帧 $384 \times 384$ RGB 图像（当前帧 + 过去 1 秒内按 $0.2 s$ 间隔采样的 5 帧历史观测），经 SigLIP 视觉编码器提取时序视觉 Token，使模型能够感知运动速度与当前阶段；
- 即时行为级语言指令：输入描述当前直接期望技能的自然语言短句（如 "Put can on the saucer"），聚焦技能执行映射；
- 词表复用动作查询 Token（Action Query Tokens）：直接征用 VLM 词表末尾的最后 $H = 30$ 个词表 ID 作为未来 30 个时间步的动作查询输入；
- 本体感知输入（Proprioception）：当前双腕三维平移、旋转及手部姿态参数经轻量 MLP 编码后直接注入动作头。
300M 参数动作头与 48 维双臂灵巧预测空间：
- 动作头为 6 层 Transformer Encoder（隐藏维 $1536$ ，参数量约 300M），接收本体状态嵌入与 VLM 主干输出的 $H = 30$ 个动作查询隐状态，一次性并行预测未来 1 秒视域（30 Hz 下共 $30$ 步）的双臂动作块 $A_{t} = [a_{t}, a_{t + 1}, \dots, a_{t + H - 1}]$ ；
- 每个时间步的单手输出包含当前相机系下的 3D 手腕平移 $T \in R^{3}$ 、Rot6D 手腕旋转 $r_{6d} \in R^{6}$ 以及 15 维 MANO PCA 手指姿态 $Θ \in R^{15}$ （单手 $24$ 维，双手共 $48$ 维）。
三维平移-旋转矩阵-MANO 参数联合回归损失（Appendix 2.1）：将预测的 Rot6D 转换为正交旋转矩阵 $R_{pred} \in SO (3)$ 后，总损失定义为三项加权 $L_{2}$ 平方误差之和：

L = λ_{wrist_trans} ‖ T_{pred} - T_{gt} ‖_{2}^{2} + λ_{wrist_rot} ‖ R_{pred} - R_{gt} ‖_{2}^{2} + λ_{joint} ‖ Θ_{pred} - Θ_{gt} ‖_{2}^{2}

其中权重固定为 $λ_{wrist_trans} = 20.0$ 、 $λ_{wrist_rot} = 5.0$ 、 $λ_{joint} = 5.0$ ，重点强化分米/厘米级三维空间到达精度。训练全程全参数微调（包括 SigLIP 视觉编码器、NVILA-2B 主干与 300M 动作头），在 32 张 A100 GPU 上（全局 Batch Size $= 16 \times 8 \times 4 = 512$ ）：先在人类视频集预训练 20 epochs（学习率 $1 \times 10^{- 4}$ ，余弦退火），随后在下游机器人演示集上后训练 115 epochs（常数学习率 $2 \times 10^{- 5}$ ，第 100 epoch 后衰减至 $2 \times 10^{- 6}$ ）。

两阶段完整训练与推理超参数对比如下（Appendix Table 3 & Table 5）：

超参数项	Stage 1：人类视频预训练	Stage 2：人形机器人演示后训练	部署期指尖重定向 MLP
训练轮数（Epochs）	20	115（100 轮后学习率衰减 $10 \times$ ）	2,000
全局批大小（Batch Size）	$16 \times 8 \times 4 = 512$ （32×A100）	$16 \times 8 \times 4 = 512$ （32×A100）	2,048
学习率与调度器	$1 \times 10^{- 4}$ （Cosine 退火）	$2 \times 10^{- 5} \to 2 \times 10^{- 6}$ （分段常数）	$1 \times 10^{- 3}$
损失权重 $(λ_{trans}, λ_{rot}, λ_{joint})$	$(20.0, 5.0, 5.0)$	$(20.0, 5.0, 5.0)$	SmoothL1 指尖误差
网络可训练范围 / 推理平滑	全模型解冻（含视觉骨干）	全模型解冻（零层重初始化）	4 层 `[64, 128, 64]` + ALOHA 平滑 $0.8$

3.3 MANO 双向统一动作空间：零结构改动的跨具身迁移

与 H-RDT 在下游微调时丢弃并重初始化动作编解码器的做法截然不同，EgoVLA 通过双向指尖运动学对齐将人形机器人与人类统一在完全相同的 48 维 MANO 动作空间内（Figure 4）：

训练期逆向转换（Robot Data $\to$ Human MANO Space）：
双臂末端位姿经标定刚体 3D 变换直接对齐至人类手腕相机参考系；
针对机器人多指灵巧手（如每手 12-DoF 的 Inspire 灵巧手，含 6 个主动自由度与 6 个连动关节），提取演示中观测到的机器人五指三维指尖坐标 $J_{obs} \in R^{5 \times 3}$ ，通过梯度优化求解产生相同指尖空间分布的 15 维 MANO 参数 $Θ \in R^{15}$ ：
$min_{Θ \in R^{15}} L_{retarget} (Θ) = \frac{1}{5} \sum_{i = 1}^{5} SmoothL 1 (J_{pred} (Θ)_{i}, J_{obs, i})$
由此，所有机器人遥操作轨迹均被无损编码为与人类视频同构的 (手腕 9-DoF + MANO 15-PCA) × 2 格式，EgoVLA 无需修改任何一层网络结构或重初始化任何参数即可直接接续微调。
推理期正向映射（Predicted Human MANO $\to$ 36-DoF Robot Control）：
手臂逆运动学（IK）：模型预测的相机系手腕位姿经逆 3D 变换转为机器人末端目标位姿，由 IK 解算双臂关节指令；
4 层轻量指尖重定向 MLP：由预测的 $Θ_{pred}$ 经 MANO 正向运动学算出手腕局部系下的双手五指 3D 指尖坐标，输入一个在步骤 1 配对数据上离线训练好的 4 层 MLP（隐藏层宽度 [64, 128, 64]，Batch Size 2048、 $lr = 10^{- 3}$ 训练 2,000 epochs），毫秒级输出双手全部关节控制量，与双臂组合为最终 36 维控制指令，配合 ALOHA 动作块时序指数平滑（系数 $0.8$ ）以 30 Hz 闭环执行。

用大白话说：与其在微调时把学好的人手输出头砍掉重练，EgoVLA 选择用“五根手指指尖在三维空间捏在哪里”作为人手与机械灵巧手之间的通用几何公约数。实测该双向转换的平均指尖位置误差仅 $5 \times 10^{- 5} m$ （0.05 毫米），把原始遥操作演示过一遍该双向管线再重放仍可 100% 完成任务，既保住了预训练动作头的全部权重先验，又消除了在线优化重定向的推理延迟。

四、实验结果

4.1 Ego Humanoid Manipulation Benchmark 与评测协议

为填补双臂人形灵巧操作可复现评测的空白，论文基于 NVIDIA Isaac Lab 构建了 Ego Humanoid Manipulation Benchmark（搭载 Unitree H1 + 双 Inspire 灵巧手，资产融合 NVIDIA Omniverse 与加装把手的 HOI4D 真实扫描网格）：

12 项双臂灵巧任务：涵盖 7 项短时程原子任务（Stack-Can、Push-Box、Open-Drawer、Close-Drawer、Flip-Mug、Pour-Balls、Open-Laptop）与 5 项长时程多阶段任务（Insert-And-Unload-Cans 双手依次插两罐入槽再依次卸出立放、Stack-Can-Into-Drawer 右手叠罐入碟同时左手关抽屉、Sort-Cans 四罐按雪碧/芬达分拣入左右盒、Unload-Cans、Insert-Cans）。
已见（Seen）vs. 未见（Unseen）视觉配置严格泛化测试：由 5 种房间背景 $\times$ 5 种桌面纹理组成 25 种视觉配置。通过 Meta Quest 3 + Open-TeleVision 每任务采集 100 条演示（仅分布在 Room 1/2/3 $\times$ Table 1 共 3 种已见配置）；评测时在 3 种 Seen 配置（每任务 $3 \times 9 = 27$ 次）与 22 种全新 Unseen 配置（每任务 $22 \times 3 = 66$ 次）上测试，且每次 Rollout 的物体初始位置在最大 $20 cm \times 20 cm$ 范围内采样自训练未见区域，同时汇报任务成功率（SR, %）与子任务进度率（PSR, %）。12 项任务的指令模板、空间随机化范围与物理成功判据如下（Appendix 6.2–6.6）：

任务分组	任务名称	语言指令（Language Instruction）	初始位置随机域	物理仿真步长与核心完成判据
短时程	`Push-Box` / `Stack-Can`	`"Push box to the marker"` / `"Put can on the saucer"`	$0.2 \times 0.2 m$	$d t = 1 / 120 s$ ；距目标 $\leq 8 cm$ / 落入碟半径且 $Δ z \leq 2 cm$
（7 项原子技能）	`Open-Drawer` / `Close-Drawer`	`"Open the closed drawer"` / `"Close the opened drawer"`	$0.2 \times 0.1 m$	$d t = 1 / 240 s$ （SDF 碰撞）；抽屉关节完全拉开或闭合
	`Flip-Mug` / `Pour-Balls`	`"Flip the mug"` / `"Pour balls in cup into bowl"`	$0.2 \times 0.2 m$	$d t = 1 / 240 s$ ；杯轴向上分量 $> 0.5$ / 至少 3 颗球落入碗内
	`Open-Laptop`	`"Open the laptop"`	$0.2 \times 0.2 m$	$d t = 1 / 120 s$ ；笔记本屏幕铰链开启幅度 $\geq 70 %$
长时程	`Sort-Cans`	`"Put sprite cans to the left box, and orange cans to the right box"`	$0.12 \times 0.12 m$	2 罐雪碧入左箱且 2 罐芬达入右箱（含到达/抬升 $6 cm$ /分拣子进度）
（5 项组合技能）	`Insert-Cans` / `Unload-Cans`	`"Insert cans into the boxes"` / `"Unload the right cans and then..."`	${0.12}^{2}$ / $0.2 \times 0.1 m$	双罐插槽高度 $z < 1.065 m$ / 按先右后左顺序取出并竖直立稳桌面
	`Insert-And-Unload-Cans`	`"Insert the right can... insert the left... unload right... unload left"`	$0.12 \times 0.12 m$	严格按四阶段双臂顺序先全部插槽再全部卸出立稳
	`Stack-Can-Into-Drawer`	`"Put can on the saucer, and Close the drawer"`	$0.2 \times 0.1 m$	右手将罐精准立于碟上（ $Δ z \leq 2 cm$ ）且左手将抽屉完全推合

4.2 人类手部运动建模与反事实指令跟随（Section 5.1）

在进入机器人微调前，仅经人类视频预训练的 EgoVLA 在未见人类测试集上的未来 1 秒三维手腕平移平均误差约为 $8 cm$ ，2D 投影归一化误差约 $0.13$ （与专用手物交互预测 SOTA 模型 HOI-Forecast 持平）。在 HOI4D 反事实指令测试（Figure 6）中，保持完全相同的初始视觉帧、仅将指令由 "Put it in the drawer" 改为 "Take it out of the drawer"（或由 "Put something in it" 改为 "Open and close the door"），预测轨迹立刻从伸入内部放置精准翻转为向外取出或绕门轴旋转开关，验证了预训练阶段已建立扎实的语言-物理动作因果绑定。

4.3 短时程与长时程人形机器人操作主实验（Table 1 & Table 2）

对比基线包括：（1）ACT（替换为 DINOv2 视觉骨干、动作块长 64/128、每任务独立训练 50,000 epochs 的单任务专家）；（2）EgoVLA-NoPretrain（跳过人类视频预训练，直接用全部机器人演示全量微调 NVILA-2B + 动作头的多任务通用基线）；（3）EgoVLA (50%)（有人类预训练，但仅用 50% 即每任务 50 条机器人演示微调）。

（1）7 项短时程原子操作任务全量结果（SR / PSR, %）

视觉配置与方法	Stack-Can	Push-Box	Open-Drawer	Close-Drawer	Flip-Mug	Pour-Balls	Open-Laptop	7 任务均值（Mean）
Seen: ACT（单任务专家）	22.22 / 22.22	11.11 / 85.19	18.52 / 66.67	48.15 / 96.30	7.40 / 7.40	3.70 / 77.78	62.96 / 62.96	24.87 / 59.79
Seen: EgoVLA-NoPretrain	55.56 / 55.56	51.85 / 75.93	59.26 / 77.78	100.0 / 100.0	3.70 / 3.70	85.19 / 93.83	96.30 / 96.30	64.55 / 71.87
Seen: EgoVLA (50% 机器人数据)	44.44 / 44.44	33.33 / 66.67	22.22 / 61.73	100.0 / 100.0	22.22 / 22.22	77.78 / 92.59	37.04 / 44.44	48.15 / 61.73
Seen: EgoVLA（完整本文）	77.78 / 77.78	70.37 / 83.33	59.26 / 81.48	100.0 / 100.0	59.26 / 59.26	77.78 / 92.59	100.0 / 100.0	77.78 / 84.92
Unseen: ACT（22 种未见背景）	9.09 / 10.61	18.18 / 87.88	24.24 / 71.97	63.64 / 96.97	0.00 / 0.00	6.06 / 59.09	53.03 / 53.03	24.89 / 54.22
Unseen: EgoVLA-NoPretrain	57.58 / 57.58	69.70 / 82.58	46.15 / 71.28	86.36 / 89.90	4.69 / 4.69	46.03 / 79.37	48.48 / 53.03	51.28 / 62.63
Unseen: EgoVLA（完整本文）	62.12 / 62.12	75.76 / 84.85	50.00 / 75.25	98.48 / 98.48	30.77 / 30.77	83.33 / 94.44	83.33 / 87.88	69.11 / 76.26

（2）5 项长时程多阶段组合任务全量结果（SR / PSR, %）

视觉配置与方法	Insert-And-Unload-Cans	Stack-Can-Into-Drawer	Sort-Cans	Unload-Cans	Insert-Cans	5 任务均值（Mean）
Seen: ACT（单任务专家）	0.00 / 11.11	11.11 / 37.04	0.00 / 28.63	0.00 / 35.80	0.00 / 19.75	2.22 / 26.47
Seen: EgoVLA-NoPretrain	7.41 / 45.93	0.00 / 18.52	51.85 / 79.63	62.96 / 75.00	11.11 / 55.56	26.67 / 54.93
Seen: EgoVLA (50% 机器人数据)	0.00 / 28.15	29.63 / 57.41	0.00 / 33.33	0.00 / 30.56	7.41 / 49.07	7.41 / 39.70
Seen: EgoVLA（完整本文）	44.44 / 77.04	40.74 / 75.93	55.56 / 88.89	66.67 / 83.33	22.22 / 78.70	45.93 / 80.78
Unseen: ACT（22 种未见背景）	0.00 / 7.95	1.52 / 33.84	0.00 / 20.71	1.52 / 33.83	0.00 / 21.21	0.61 / 23.51
Unseen: EgoVLA-NoPretrain	0.00 / 29.09	0.00 / 20.08	15.15 / 45.83	34.85 / 55.68	6.06 / 30.30	11.21 / 36.20
Unseen: EgoVLA（完整本文）	31.82 / 76.97	28.79 / 60.98	18.18 / 68.94	50.00 / 75.76	15.15 / 62.88	28.79 / 69.11

主实验呈现出三条极具说服力的结论：

灵巧翻转与长时程双臂协同增益最显著：在极其考验多指包络姿态的 Flip-Mug 上，无预训练模型在已见背景下成功率仅 3.70%，而 EgoVLA 直接飙升 16 倍至 59.26%；在需要右臂精准放罐入碟同时左臂关抽屉的 Stack-Can-Into-Drawer 上，NoPretrain 在 Seen 与 Unseen 下均为 0.00%，而 EgoVLA 分别达到 40.74% 与 28.79%（即便仅用一半机器人数据的 EgoVLA 50% 在该任务上也达到 29.63%）。
第一视角人类视频显著抑制新场景视觉过拟合：切换到 22 种全新房间与桌面纹理组合（Unseen）时，EgoVLA-NoPretrain 在短时程的 Pour-Balls（85.19% $\to$ 46.03%）与 Open-Laptop（96.30% $\to$ 48.48%）上出现断崖式下跌，长时程均值更是跌至 11.21%；而 EgoVLA 依托 50 万对跨真实场景人类视频塑造的视觉不变性，短时程 Unseen 仍高达 69.11%，长时程 Unseen 的子任务进度率（69.11%）甚至超过了无预训练模型在已见背景下的进度（54.93%）。
多任务通用 VLM 基座对单任务专家的碾压：单任务专家 ACT 在 5 项长时程任务上几乎完全无法同时从零学会底层 36-DoF 灵巧控制与多阶段长程规划（Seen Mean 仅 2.22%），凸显了跨任务共享原子技能与语言主干的必要性。

4.4 深度消融：零样本边界、人类数据配比多样性与空间热力分布

零样本跨具身部署消融（Zero-Shot $= 0 %$ ）：论文坦诚报告，即便预训练已采用与机器人完全对齐的 MANO 统一动作空间，若不经过任何机器人轨迹后训练直接零样本上机，全部 12 项任务的成功率均为 0%（哪怕是人类预训练集中已涵盖的倒球动作）。根源在于人手皮肤与机械臂外观鸿沟、头显与机器人头相机外参偏移以及接触摩擦动力学差异；同时 EgoVLA (50%) 在长时程任务上的明显回落（45.93% $\to$ 7.41%）也表明，高自由度多指接触控制仍需适度规模的域内轨迹做动力学锚定。
人类预训练数据源逐步叠加消融（Figure 7，短时程 Unseen 背景评测）：

人类预训练数据混合配方	短时程 Unseen 平均成功率（SR）	短时程 Unseen 平均进度率（PSR）	边际贡献解读
`HOI4D`（仅单手桌面交互）	~48%	~59%	提供基础单手刚体与铰接体交互先验
`HOI4D + HOT3D`（加入无文本标注刚体追踪）	~48%	~60%	占位符指令兼容良好，未引入负迁移
`HOI4D + HOT3D + TACO`（加入双臂工具操作）	~51%	~67%	双臂工具协同显著拉升子任务完成进度
`HOI4D + HOT3D + HoloAssist + TACO`（完整四源）	69.11%	76.26%	尽管 HoloAssist 手部标注含噪，复杂开放场景双臂装配仍带来 ~18 pp 泛化跃升

随机生成位置空间分布规律（Figure 8）：在 Unseen 背景下的空间热力图显示，短时程单手任务的高成功区聚集在随机矩形域中心；而长时程任务在水平方向浮现出左右对称的双高概率峰区，清晰反映出策略学会了根据目标初始方位自动调度左、右灵巧手各自的优势工作空间。

五、局限性与未来方向

预训练强依赖穿戴设备三维手部与相机位姿标注：四大数据源均需依赖多目 SLAM 头显或光学动捕提供三维手腕、手指及世界系相机位姿，尚无法直接消费互联网上海量无手部姿态标签的普通第一视角视频。
仅在 Isaac Lab 仿真中完成系统闭环验证，缺乏物理真机实验：受限于双臂人形多指灵巧手真机评测的安全性与可复现成本，全文机器人闭环指标均在 Unitree H1 + Inspire Hands 高保真物理仿真中测得，尚未展示真实物理硬件上的接触容错表现。
零样本迁移能力为零，且采用纯确定性 $L_{2}$ 回归头：未引入流匹配或扩散动作头建模多模态抓握分布，且人手与机械手的外观差异阻碍了零样本直接部署。

六、个人思考

“把机器人翻译成人类（MANO）” vs. “微调时换掉人手动作头”的精妙权衡：对比同期的 H-RDT（预训练用 48 维人手超集、下游彻底丢弃并随机重初始化动作进出 MLP），EgoVLA 走了另一条极具巧思的路——在微调前用指尖位置优化把机器人灵巧手数据反向编码成 15 维 MANO PCA 参数，从而让 300M 动作头的预训练权重 100% 保留下来。这一路线对五指人形灵巧手（如 Inspire、Shadow、Ability Hand）几乎是量身定制的最优解（0.05 毫米指尖重定向误差近乎无损）；但若下游换成二指平行夹爪（如 Franka 或 ALOHA），强行用五指 MANO 拟合二指开合就会显得冗余牵强——此时 H-RDT 的模块化适配器重初始化或 EgoScale / Being-H0 的分层对齐反而更具构型通用性。
为什么零样本部署是 0%？外观鸿沟正是“视觉换手合成”与“隐式表征解耦”的发力点：EgoVLA 非常诚实地指出，哪怕动作空间已经 100% 几何对齐，零样本上机依然是 0% 成功率——因为 VLM 在预训练时看到的永远是“人类肤色手掌”，上机推理时突然变成“黑色金属机械手”，视觉分布偏移直接击穿了闭环控制。这也恰好解释了后续两条演进路线为何必然出现：一条是以 Qwen-RobotManip 为代表的显式视觉对齐（擦除视频中的人手并按 IK 重渲染覆盖目标机械臂）；另一条是以 CLAP 和 EgoWAM 为代表的隐式特征/动力学对齐（在 DINO 或相机稳像 3D 流空间剥离施动者外观）。
带噪双臂开放数据（HoloAssist）的惊人杠杆效应：Figure 7 的数据配比消融给具身数据工程上了一堂生动的课——前三个实验室采集的干净数据集（HOI4D + HOT3D + TACO）叠在一起，短时程 Unseen 成功率仅从 48% 微增到 51%；而一旦混入 1/10 下采样的 HoloAssist（手部追踪噪声最大、但场景最真实且充满双臂复杂装配），Unseen 成功率直接从 51% 暴涨至 69.11%！这说明对于 VLA 预训练而言，真实场景复杂度与双臂交互拓扑的多样性，远比实验室单一背景下的亚毫米级姿态标注精度更稀缺。

参考

MANO（Romero et al., SIGGRAPH Asia 2017）：EgoVLA 用于统一人类与多指灵巧手动作空间的参数化三维人手模型
NVILA（Liu et al., 2025）：EgoVLA 所采用的 2B 高效多帧视觉-语言基础模型主干
HOI4D（Liu et al., CVPR 2022）/ HoloAssist（Wang et al., ICCV 2023）/ TACO（Liu et al., CVPR 2024）/ HOT3D（Banerjee et al., CVPR 2025）：构成本文 500K 第一视角人类操作预训练集的四大数据源
H-RDT（Bi et al., AAAI 2026）：在 EgoDex 48 维人手姿态上做流匹配预训练、下游通过模块化重初始化适配异构双臂夹爪的对照路线
Being-H0（Luo et al., 2025）/ EgoScale（2026）/ GR-3（ByteDance Seed, 2025）：利用大规模人类手部运动或 VR 人类轨迹增强灵巧与双臂 VLA 的同脉络代表作
Qwen-RobotManip（Qwen Team, 2026）：进一步通过相机系相对位姿与视觉机械臂重渲染弥合人机外观鸿沟的扩展方案
CLAP（Zhang et al., 2026）/ EgoWAM（Li et al., CoRL 2026）：无需穿戴式精细手部关节追踪、通过对比潜在动作或非像素世界模型吸纳野外人类视频的互补方向

幻觉缓解

Token 压缩

基础模型

感知增强

推理与规划

高效推理

RL 后训练

EgoVLA：从第一视角人类视频学习人形双臂灵巧操作视觉-语言-动作模型 ​

一句话总结 ​

一、问题与动机 ​

1.1 灵巧手真机数据采集的硬件锁死效应 ​

1.2 “80 亿人类作为天然双臂灵巧机器人”的范式转换 ​

二、预备知识 ​

2.1 MANO 参数化人手模型与低秩 PCA 动作表征 ​

2.2 连续六维旋转表征（Rot6D） ​

三、核心方法 ​

3.1 四源融合第一视角人类操作数据集与相机稳像（500K 样本对） ​

3.2 EgoVLA 模型架构与多分量动作回归目标 ​

3.3 MANO 双向统一动作空间：零结构改动的跨具身迁移 ​

四、实验结果 ​

4.1 Ego Humanoid Manipulation Benchmark 与评测协议 ​

4.2 人类手部运动建模与反事实指令跟随（Section 5.1） ​

4.3 短时程与长时程人形机器人操作主实验（Table 1 & Table 2） ​

（1）7 项短时程原子操作任务全量结果（SR / PSR, %） ​

（2）5 项长时程多阶段组合任务全量结果（SR / PSR, %） ​

4.4 深度消融：零样本边界、人类数据配比多样性与空间热力分布 ​

五、局限性与未来方向 ​

六、个人思考 ​

参考 ​