Ego2Robot: Scalable Robot Data Synthesis from Egocentric Human Data

作者：Ye Wang*, Pei Lin*, Xiong-Hui Chen*, Haoqi Yuan, Zhixuan Liang, Yiyang Huang, Anzhe Chen, Zixing Lei, Jie Zhang, Tao Zhang, Haoyang Li, Tong Zhang, Chenxi Xiao, Ziyuan Jiao, Qin Jin${}^{†}$

机构：中国人民大学（AIM3 Lab） · 阿里巴巴通义千问团队（Qwen Team, Alibaba Inc.） · 上海科技大学 · 北京通用人工智能研究院（BIGAI） · 北京航空航天大学

发布时间：2026 年 8 月（arXiv:2608.02580v1，CoRL 2026 投稿模板）

发表状态：未录用

🔗 arXiv | PDF | 项目主页

一句话总结

Ego2Robot 提出了一套无需成对人类-机器人真值标定、无需重训练生成视频模型的全自动跨具身数据合成管线，通过动作对齐（Hand-to-Gripper 几何重定向 + 滤波调速） 、视觉对齐（SAM 3 + ProPainter 手臂擦除 + 15 种机械臂构型空间基座搜索与深度感知合成） 与三级质量清洗（物理可达性 + 统计异常 + Qwen3.5 语义一致性） ，将 ~1,940 小时人类第一视角视频扩展为横跨 15 种机械臂构型的 18,561 小时合成机器人操作数据（$\sim 9.6\times$ 扩容），并在解耦的 RoboTwin 2.0 四维泛化评测、Isaac Sim EBench 与真机 ARX ACone 上显著提升具身 VLA 泛化性能。

一、问题与动机

1.1 真实遥操作数据的扩展瓶颈与现有跨具身方案的局限

视觉-语言-动作（VLA）基础模型的泛化高度依赖大规模多样化操作轨迹，但真实机器人遥操作受限于物理硬件、采集人力与固定实验室场景，规模天花板明显（如 DROID 约 511h、AgibotWorld 约 2,404h）。相比之下，第一视角（Egocentric）人类操作视频天然具备极高的场景、物体与光照多样性，且随手可拍（Play Data）。然而，将第一视角人类视频直接用于机器人策略学习面临两大核心鸿沟：

1. 动作鸿沟（Action Gap） ：高自由度灵巧人手（MANO 21 关键点）与平行夹爪机械臂（6-DoF / 7-DoF + 1D 夹爪）在运动学结构、腕部轨迹平滑度以及操作节奏（人手操作速度约为遥操作机械臂的 $1.7\times \sim 4\times$）上存在显著偏差。
2. 视觉鸿沟（Visual Embodiment Gap） ：原始视频画面中出现的是人手和人类小臂，而下游策略部署时相机看到的是机械臂连杆与平行夹爪。

现有工作通常只解决其中一端，或在可扩展性上受阻：

路线代表	动作对齐方式	视觉对齐方式	多构型扩展能力	核心局限
EgoScale / VITRA / EgoVLA	手腕 6D 位姿或关键点统一动作空间	不抹除人手（保留原始人类画面）	无显式机械臂渲染	视觉域差距完全甩给预训练网络隐式对齐，预训练-微调阶段仍存在明显外观跳变
MimicDreamer / 扩散重绘路线	运动学逆解或联合轨迹映射	训练条件视频扩散模型将人手生成为机械臂	每换新机械臂需成对数据重训	依赖 paired human-robot 数据或昂贵生成推理，长时序易产生几何漂移与物理幻觉
Phantom / Masquerade（单构型合成）	手部指尖到单机械臂 TCP 重定向	擦除人手 + 固定相机外参叠加单机械臂渲染	仅针对单一目标机械臂、通常需精确相机标定	在野视频相机外参未知，固定基座会导致大量轨迹超出工作空间或发生奇异/碰撞
Ego2Robot（本文）	虚拟指尖夹爪坐标系重定向 + 速度异常过滤 + 源自适应降速	SAM 3 + ProPainter 擦除 + 空间网格搜索虚拟基座 + 深度感知合成	单条视频 $1\to N$（15 种 6/7-DoF 机械臂）	无需成对标定与相机外参，支持已标注数据集（Path A）与无标注随手拍视频（Path B）

1.2 Ego2Robot 的三大核心设计洞见

1. “基座位置搜索”替代“固定外参标定” ：在野第一视角视频没有机器人基座标定。Ego2Robot 不强行假设固定安装位，而是在相机坐标系下按机械臂臂展 $r$ 自适应构建 11,025 个候选基座网格，用运动学逆解（IK）可行率与黄金工作半径（$0.65r$）联合打分，为每条轨迹自动寻找最自然的虚拟机器人安装位。
2. $1\to 15$ 跨构型增广（Morphology Expansion） ：同一条人类擦除背景视频可独立匹配 6 款 7-DoF 与 9 款 6-DoF 机械臂（臂展从 $0.787\text{m}$ 到 $1.627\text{m}$），不仅实现约 $9.6\times$ 数据量放大，更迫使 VLA 策略在相同背景与任务语义下解耦“场景理解”与“机械臂外观/运动学结构”。
3. 解耦评测回答“人类数据究竟帮在了哪里” ：以往工作仅报告单一总体成功率。本文构建了分离视觉扰动、场景几何扰动、未见构型迁移、未见物体/指令语义四维度的 11 项系统评测，定量揭示人类合成数据与真实机器人数据的互补机制。

二、Ego2Robot 三阶段数据合成管线

                     ┌── Path A: 已标注第一视角数据集 (ANT 7h / EgoDex 732h / ViTRA 249h / EgoVerse 954h ≈ 1,940h)
输入源 (双路径支持) ──┤
                     └── Path B: 无标注在野视频 (WiLoR 3D手部检测 + SAM 3 掩码校验 + DynHaMR 时序优化 + Qwen3.5 语义切片)
                                                      │
                                                      ▼
┌──────────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ Stage 1: 动作对齐 (Action Alignment)                                                                     │
│  • Hand-to-Gripper 几何映射: 虚拟指尖 p_vf = 0.7 p_idx + 0.3 p_mid, TCP 中点与开合度 w, 右手系抓取正交基 R │
│  • 速度跳变过滤与时序平滑: 两轮中位数自适应阈值过滤 + Savitzky-Golay (位置/宽度) + 半球修正高斯 SLERP (姿态)│
│  • 动作速率对齐 (Speed Alignment): 按数据源降采样慢放 (ANT/EgoDex 60%, EgoVerse 45%, ViTRA 25%)          │
└─────────────────────────────────────────────────────┬────────────────────────────────────────────────────┘
                                                      ▼
┌──────────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ Stage 2: 视觉对齐 (Visual Alignment)                                                                     │
│  • 手臂分割与背景修复: SAM 3 ("person" 提示 + 400帧分块重叠) ──► ProPainter 光流引导视频修复 I_inpaint   │
│  • 机械臂基座网格搜索: 臂展自适应 7×7×5×3×5×3 = 11,025 候选 ──► mink IK 关键帧验证 + 0.65r 工作区打分    │
│  • 15 构型渲染与深度合成: MuJoCo 渲染 (HSV 颜色随机化) + Depth Anything V3 夹爪局部遮挡测试合成 I_out     │
└─────────────────────────────────────────────────────┬────────────────────────────────────────────────────┘
                                                      ▼
┌──────────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ Stage 3: 三级质量清洗 (Quality Curation)                                                                 │
│  • L1 管线内物理校验 (IK < 0.05m, 无自碰撞, 跨臂碰撞 ≤ 1, 机械臂面积 ≤ 70%, 连续有效段 ≥ 0.3s)           │
│  • L2 统计异常过滤 (分位数区间 [Q1-3(Q99-Q1), Q99+3(Q99-Q1)] + 加速度/加加速度突变过滤, 坏帧 > 60% 整段丢弃)│
│  • L3 VLM 语义一致性校验 (Qwen3.5 4fps 抽帧校验动作与指令一致性) ──► 产出 18,561 小时多构型合成机器人数据 │
└──────────────────────────────────────────────────────────────────────────────────────────────────────────┘

2.1 双路径输入预处理：已标注数据集（Path A）与无标注在野视频（Path B）

• Path A（已标注数据集，共 ~1,940 小时） ：直接读取带有 3D 手部关键点与相机位姿标注的四个主流数据集——自采桌面抓取数据集 ANT（7h）、EgoDex（732h）、ViTRA（249h）以及 EgoVerse（954h），跳过手部姿态估计直接进入动作对齐。
• Path B（无标注在野视频 / Play Data 全自动提取） ：
  1. 单帧手部检测与掩码过滤：利用 WiLoR 预测每帧的 MANO 参数 $(\mathit{\theta },\mathit{\beta },\mathbf{t})$ 与 21 个 3D 手部关键点；同时用 SAM 3 提取手部前景分割掩码，若某手超过 $80\mathrm{\%}$ 的投影 2D 关键点落在掩码外，则判定为假阳性并剔除。
  2. 双向跨帧关联与跳变剔除：选取左右手检测置信度之和最高的帧作为种子帧（Seed Frame），通过 2D 图像空间手腕关键点的 ${\ell }_2$ 最近邻向前后双向追踪关联；剔除 3D 手腕速度超过 $max(4\times \text{median velocity},0.003\text{m/frame})$ 的突变帧。
  3. DynHaMR 全序列运动学优化：以追踪结果为初值，利用 DynHaMR 在整个视频序列上联合优化相机感知的 3D 手部轨迹，最小化重投影误差、时序平滑项与生物力学先验正则（将手部深度约束在相机前方 $[0.05,0.4]\text{m}$ 合理操作区内）：$${\mathcal{L}}_{\text{dyn}}={\mathcal{L}}_{\text{data}}+{\lambda }_{\text{smooth}}{\mathcal{L}}_{\text{smooth}}+{\lambda }_{\text{bio}}{\mathcal{L}}_{\text{bio}}$$
  4. 缺失段插值与边界平滑过渡：短缺失（$\le 10$ 帧）对位置做线性插值、对旋转做球面线性插值（SLERP）；长缺失（$>10$ 帧）令机械臂回归 Home 姿态填充，并在缺失段两端用自适应帧数 $n=max(5,min(90,\lceil 0.6n_{\text{pos}}+0.4n_{\text{rot}}\rceil ))$ 做边界平滑过渡，其中 $n_{\text{pos}}=\mathrm{\Delta }p/3.25\text{mm}$、$n_{\text{rot}}=\mathrm{\Delta }\theta /{1.08}^{\circ }$。
  5. Qwen3.5 自动子任务切片：长视频先按 60 秒边界粗切，再输入 Qwen3.5 识别每个独立原子操作子任务的起止时间戳，并自动生成 5–12 个英文单词的简明指令（如 "put the apple into the bowl"）。

2.2 Stage 1：动作对齐（Action Alignment）

（1）Hand-to-Gripper 几何重定向（Eq. 1–3）

从 21 个 3D 手部关键点中提取大拇指尖 ${\mathbf{p}}_{\text{thumb}}$、食指尖 ${\mathbf{p}}_{\text{index}}$、中指尖 ${\mathbf{p}}_{\text{middle}}$ 与手腕点 ${\mathbf{p}}_{\text{wrist}}$。考虑到人类精细捏取和抓握主要以拇指对食指为主、中指提供辅助支撑，定义虚拟对向指尖（Virtual Opposing Fingertip） ：

$${\mathbf{p}}_{\text{vf}}=0.7{\mathbf{p}}_{\text{index}}+0.3{\mathbf{p}}_{\text{middle}}$$

由此直接确定平行夹爪的工具中心点（TCP）位置 ${\mathbf{p}}_{\text{tcp}}$ 与夹爪开合宽度 $w$：

$${\mathbf{p}}_{\text{tcp}}=\frac{{\mathbf{p}}_{\text{thumb}}+{\mathbf{p}}_{\text{vf}}}{2},w=\parallel {\mathbf{p}}_{\text{thumb}}-{\mathbf{p}}_{\text{vf}}\parallel$$

记手腕指向虚拟指尖的方向向量为 $\mathbf{d}={\mathbf{p}}_{\text{vf}}-{\mathbf{p}}_{\text{wrist}}$，构造右手正交抓取坐标系 $\mathbf{R}=[\mathbf{x}\mathbf{y}\mathbf{z}]\in \mathrm{SO}(3)$：

$$\mathbf{z}=\frac{s({\mathbf{p}}_{\text{thumb}}-{\mathbf{p}}_{\text{vf}})}{w},\mathbf{y}=\frac{\mathbf{z}\times \mathbf{d}}{\parallel \mathbf{z}\times \mathbf{d}\parallel },\mathbf{x}=\mathbf{y}\times \mathbf{z}$$

其中手性符号 $s=+1$（右手）或 $s=-1$（左手），使得左右手生成的末端坐标系具有一致的物理语义：$\mathbf{x}$ 为夹爪前向接近轴（Approach Direction），$\mathbf{y}$ 为掌面法向（Gripper Normal），$\mathbf{z}$ 为两指连线方向（Grasp Axis）。当拇指与食指闭合过近（$w<0.01\text{m}$）或共线退化（$\parallel \mathbf{z}\times \mathbf{d}\parallel \approx 0$）导致叉积数值不稳定时，冻结旋转矩阵 $\mathbf{R}$ 并沿用上一帧的有效姿态。

（2）两轮速度跳变过滤与时序平滑（Eq. 7）

重定向后的原始末端轨迹包含手部检测抖动。定义相邻有效帧之间的位置速度 $v_t=\parallel {\mathbf{p}}_{\text{tcp}}^{(t)}-{\mathbf{p}}_{\text{tcp}}^{(t-1)}\parallel$，执行两轮速度跳变过滤，自适应阈值为：

$${\tau }_t=max(5\cdot \mathrm{median}(\{v_s\}),\frac{0.9}{\mathrm{fps}})$$

同时设置旋转角速度下限阈值 $10.0/\mathrm{fps}\text{rad/frame}$。任何超出位置或旋转速度阈值的帧均被置为无效并通过插值修复。随后对连续轨迹施加双通道平滑：

• 位置与夹爪宽度：采用窗口长度为 $min(21,n)$、多项式阶数为 $min(3,\text{window}-1)$ 的 Savitzky-Golay 滤波器平滑。
• 旋转姿态四元数：采用带半球符号一致性修正（Hemisphere-corrected）的高斯加权 SLERP 平滑（核大小 21，$\sigma =10$ 帧），在消除高频姿态抖动的同时保持 $\mathrm{SO}(3)$ 流形约束。

（3）跨数据源动作速率对齐（Action Speed Alignment）

人类日常动作速率显著快于遥操作机械臂（受电机速度限制与安全阻尼约束）。若直接用原速人类轨迹训练，策略在真机或仿真闭环推理时会出现步幅过大与过冲。Ego2Robot 在训练阶段对不同人类数据源按经验慢放比例进行帧率重采样：

• ANT & EgoDex（桌面常规操作）：降速至原速的 $60\mathrm{\%}$ （慢放约 $1.7\times$）；
• EgoVerse：降速至原速的 $45\mathrm{\%}$ （慢放约 $2.2\times$）；
• ViTRA（日常快速交互）：降速至原速的 $25\mathrm{\%}$ （慢放约 $4.0\times$）。

2.3 Stage 2：视觉对齐（Visual Alignment）

（1）SAM 3 手臂分割与 ProPainter 视频背景修复

• 分块重叠分割与形态学修复：将长视频切分为 400 帧一段、段间重叠 50 帧的窗口；在每段中间帧以文本提示 "person" 引导 SAM 3 检测并双向追踪整条人体手臂（含手掌与前臂），重叠区通过按位或（Bitwise OR）合并。针对快速运动引起的漏检，对 $\le 3$ 帧的空洞用前一有效掩码填充，将面积突降至局部中位数 $50\mathrm{\%}$ 以下的残缺帧替换为最近正常帧，最后施加 $5\times 5$ 形态学闭运算消除边缘空洞。
• 光流引导背景修复：将干净掩码与原始帧送入 ProPainter（FP16 精度，局部邻域帧数 10，参考帧步长 10，子视频长度 80，掩码膨胀半径 4，RAFT 光流迭代 20 次），利用跨帧可见背景像素填补被人体手臂遮挡的区域，得到无手背景视频 $I_{\text{inpaint}}$。

（2）臂展自适应的机械臂基座位姿搜索（Eq. 4 & Eq. 8）

为了让渲染出的机械臂既能在运动学上追踪整条人类轨迹，又在相机视角下呈现自然构图，Ego2Robot 在相机坐标系下对每条机械臂的基座变换 ${\mathbf{T}}_{\text{base}}\in \mathrm{SE}(3)$ 进行离散网格搜索。设某机械臂构型的最大运动学臂展为 $r$（由工作空间采样估计），构建与臂展 $r$ 成比例的 6D 搜索网格：

• 位置网格（$7\times 7\times 5=245$ 个点） ：横向偏移 $x\in [-0.30r,0.30r]$（7 档），前后深度 $z\in [-0.45r,0.05r]$（7 档），垂直高度 $y\in [-0.35r,-0.15r]$（5 档）；
• 姿态网格（$3\times 5\times 3=45$ 个欧拉角组合） ：俯仰角 Pitch $\in [-{15}^{\circ },{15}^{\circ }]$（3 档），偏航角 Yaw $\in [-{30}^{\circ },{30}^{\circ }]$（5 档），翻滚角 Roll $\in [-{15}^{\circ },{15}^{\circ }]$（3 档）。

单臂共产生 $245\times 45=\mathbf{11}\mathbf{,}\mathbf{025}$ 个候选基座！为实现毫秒级高效筛选，采取三步剪枝与打分：

1. 几何预剪枝：剔除距相机中心过近（$<0.20\text{m}$，会导致机械臂底座怼脸遮挡画面）的候选，以及任何轨迹点在基座系下距离超过 $0.9r$（超出可达边界）或小于 $0.08\text{m}$（过近奇异区）的候选。
2. 空间极值关键帧 IK 验证：从轨迹中抽取至多 $|\mathcal{K}|\le 20$ 个帧（首尾帧 + 沿 $x,y,z$ 三轴的局部极值点）作为代表关键帧集合 $\mathcal{K}$，在 MuJoCo 中调用基于二次规划的微分逆运动学求解器 mink （quadprog 后端，单帧最多 100 次迭代，位置收敛阈值 ${10}^{-5}$，姿态权重 0.5；首帧用 5 组随机种子初始化以跳出局部极小，后续帧暖启动），计算关键帧可达率 $\mathrm{FR}({\mathbf{T}}_{\text{base}})=\frac{1}{|\mathcal{K}|}\sum _{k\in \mathcal{K}}\mathbb{I}[\text{IK}({\mathbf{T}}_{\text{base}}^{-1}{\mathbf{T}}_k^{\text{ee}})\text{ converges}]$。
3. 黄金工作半径正则打分（Eq. 8） ：若仅最大化可达率 $\mathrm{FR}$，选出的基座往往让机械臂处于极限伸展或蜷缩状态。为此引入归一化平均臂展利用率 $\overline{\rho }$，鼓励机械臂在舒适的 $65\mathrm{\%}$ 臂展区作业：$$S({\mathbf{T}}_{\text{base}})=\mathrm{FR}({\mathbf{T}}_{\text{base}})-5.0\cdot |\overline{\rho }-0.65|,\overline{\rho }=\frac{1}{|\mathcal{K}|}\sum _{k\in \mathcal{K}}\frac{\parallel {\mathbf{T}}_{\text{base}}^{-1}{\mathbf{p}}_k^{\text{ee}}\parallel }{r}$$对于双臂轨迹，先为左右臂各自独立选出得分最高的 Top-5 候选，再遍历全部 $5\times 5=25$ 种双臂基座组合进行双臂联合碰撞与可达性验证，选取最优无碰撞组合。

（3）15 种机械臂构型库与深度感知图层合成（Eq. 5 & Eq. 9）

Ego2Robot 对每条人类轨迹独立适配 15 种主流机械臂构型（6 款 7-DoF + 9 款 6-DoF，臂展跨度 $0.787\text{m}\sim 1.627\text{m}$），并在渲染时对机械臂连杆材质施加 HSV 颜色随机化：

自由度类别	机械臂型号	自由度 (DoF)	最大臂展 $r$ (m)	自由度类别	机械臂型号	自由度 (DoF)	最大臂展 $r$ (m)
7-DoF 机械臂 (6 款)	Sawyer	7	1.387	6-DoF 机械臂 (9 款)	UR10e	6	1.627
	IIWA (KUKA)	7	1.367		Jaco	6	1.244
	Kinova Gen3	7	1.289		UR5e	6	1.151
	Franka Panda	7	1.210		ViperX	6	1.052
	Franka FR3	7	1.201		Aloha-Agilex	6	0.909
	xArm7	7	1.076		Piper	6	0.892
6-DoF 机械臂 (续)	ARX-L5	6	0.869		YAM	6	0.864
					WidowX	6	0.787

• 深度感知前背景合成（正文的理想公式 vs 附录 A.4 的工程折中） ：为了在夹爪深入容器或抓住物体背面时呈现正确的相互遮挡关系，先用 Depth Anything V3 估计真实场景深度图 $D_{\text{scene}}$，并与 MuJoCo 渲染深度 $D_{\text{sim}}$ 对比。作者在附录 A.4 中坦诚说明：由于单目估计深度与仿真公制深度之间存在不可避免的尺度偏差，若对整条机械臂做逐像素深度测试会导致臂身被桌面背景错误截断。因此实际工程实现采用 “臂身强制置前 + 夹爪局部深度测试” 的混合规则（Eq. 9）：
  1. 机械臂本体 $M_{\text{arm}}=(M_{\text{robot}}=1)\wedge (M_{\text{gripper}}=0)$：基于第一视角下机械臂连杆始终位于相机与操作台之间的几何先验，无条件叠加在修复背景 $I_{\text{inpaint}}$ 之上；
  2. 末端夹爪 $M_{\text{gripper}}=1$：仅当场景深度更近（$D_{\text{scene}}(u,v)<D_{\text{sim}}(u,v)$）且该像素不在膨胀后的人手掩码 $M_{\text{hand}}$（$5\times 5$ 卷积核膨胀）内部时，才判定夹爪被真实物体遮挡；否则显示夹爪像素 $M_{\text{gripper\_vis}}$：$$I_{\text{out}}(u,v)=\{\begin{array}{ll}{I}_{\text{sim}}(u,v),& \text{if }(u,v)\in M_{\text{arm}}\cup M_{\text{gripper\_vis}}\\ I_{\text{inpaint}}(u,v),& \text{otherwise}\end{array}$$

2.4 Stage 3：三级质量清洗（Three-Level Quality Curation）

并非所有人类动作都能被特定机械臂无损复现。Ego2Robot 设计了从帧级物理约束到片段级语义校验的三道防线：

1. Level 1：管线内物理与几何校验（Pipeline-internal Checks） 单帧被判定为有效需同时满足 6 项硬指标：① 手部检测非空；② 末端 IK 位置追踪误差 $<0.05\text{m}$；③ 渲染画面中机械臂可见像素 $>0$；④ 无单臂自碰撞（Self-collision）；⑤ 双臂任务中左右臂跨臂接触点数 $\le 1$；⑥ 机械臂掩码占全图面积比例 $\le 70\mathrm{\%}$（排除基座贴脸异常遮挡）。此外，任何长度不足 $\lfloor 0.3\times \text{fps}\rfloor$ 帧（0.3 秒）的孤立有效短片段均被形态学腐蚀为无效。
2. Level 2：轨迹统计分布与高阶导数过滤（Statistical Filtering） 对整个数据集计算各动作维度的第 1 和第 99 百分位数 $({\mathrm{Q}}_1,{\mathrm{Q}}_{99})$，标记落在 $[{\mathrm{Q}}_1-3({\mathrm{Q}}_{99}-{\mathrm{Q}}_1),{\mathrm{Q}}_{99}+3({\mathrm{Q}}_{99}-{\mathrm{Q}}_1)]$ 之外的极端异常帧；同时检测相邻帧间位移残差、二阶加速度与三阶加加速度（Jerk）的突变尖峰。若某条轨迹中 Level 1 与 Level 2 累计无效帧占比超过 $60\mathrm{\%}$，则整段轨迹直接丢弃。
3. Level 3：VLM 语义一致性过滤（VLM Consistency Filtering） 将最终合成的视频以 4 fps 抽帧输入 Qwen3.5，校验画面中合成机械臂的实际操作过程是否与文本指令一致（过滤掉背景修复失败抹去目标物体、或夹爪未能真正接触目标物体的失真样本）。经过三级清洗，1,940 小时原始视频最终产出 18,561 小时高质量多构型机器人训练数据。

三、VLA 架构与四维解耦评测框架（Disentangled Evaluation Framework）

3.1 具身条件化 VLA 模型架构与相机系相对动作空间（Eq. 10）

为公平检验不同数据源的预训练价值，本文构建了统一的具身基础模型：

• VLM 主干与几何感知位置编码：采用 Qwen3.5-4B 作为视觉-语言主干；将相机的内参矩阵 $\mathbf{K}$ 与外参位姿 ${\mathbf{T}}_{wc}$ 通过多模态旋转位置编码（mRoPE）注入视觉 Token，赋予模型跨视角 3D 空间感知能力。
• 显式具身提示与 Embodiment Dropout：文本输入采用结构化模板 embodiment: {embodiment_type}_{robot_model}\ninstruction: {task_description}（例如 embodiment: robot_ur5e 或 embodiment: human_hand）。训练时以 $15\mathrm{\%}$ 概率随机丢弃（Dropout）具身提示，使模型兼具构型条件化控制与零样本未知构型泛化能力。
• 上下文压缩与流匹配动作头：使用 8 个可学习查询（Learnable Queries）通过交叉注意力将 VLM 隐状态压缩为紧凑上下文，送入基于 DiT（Diffusion Transformer） 的条件流匹配（Flow Matching）动作头（训练 8 步、推理 4 步 Euler 积分），一次预测未来 32 步动作块（Action Chunk） 。
• 7D 相机坐标系相对末端动作表示（Camera-Frame Relative EEF, Eq. 10） ：由于在野人类视频与多构型数据没有统一的全局世界系，所有数据源统一采用相机坐标系下的帧间相对末端运动作为动作空间（单臂 7D，双臂拼接为 14D）。设 $t$ 到 $t+1$ 时刻末端在自身局部系下的位姿增量为 $\mathrm{\Delta }{\mathbf{T}}_{ee}=({\mathbf{T}}_{we}^{(t)}{)}^{-1}{\mathbf{T}}_{we}^{(t+1)}=(\mathrm{\Delta }{\mathbf{R}}_{ee},\mathrm{\Delta }{\mathbf{p}}_{ee})$，利用当前时刻末端在相机系下的旋转 ${\mathbf{R}}_{ce}={\mathbf{R}}_{wc}^{-1}{\mathbf{R}}_{we}^{(t)}$，将其伴随变换（Adjoint-like Transform）到当前相机坐标系下：$$\mathrm{\Delta }{\mathbf{p}}_{cc}={\mathbf{R}}_{ce}\mathrm{\Delta }{\mathbf{p}}_{ee},\mathrm{\Delta }{\mathbf{R}}_{cc}={\mathbf{R}}_{ce}\mathrm{\Delta }{\mathbf{R}}_{ee}{\mathbf{R}}_{ce}^{\mathrm{\top }}$$最终每臂 7D 动作向量由 3D 相对平移 $\mathrm{\Delta }{\mathbf{p}}_{cc}$、由 $\mathrm{\Delta }{\mathbf{R}}_{cc}$ 转换得到的 3D 欧拉角增量 $(\mathrm{\Delta }\text{roll},\mathrm{\Delta }\text{pitch},\mathrm{\Delta }\text{yaw})$ 以及 1D 归一化夹爪开合度 $g\in [0,1]$ 组成。

3.2 算力严格对齐的混合预训练与四维解耦基准

• 算力预算对齐（Compute-Matched Pretraining） ：所有对比实验均在 $8\times \text{A100}$ GPU 上以完全相同的计算预算训练 200K 步（单卡 batch size 12，总曝光约 $19.2\text{M}$ 帧，耗时约 54 小时）。
  • 真实机器人数据池（Robot，共 ~6,565 小时） ：整合 DROID（~511h）、AgibotWorld（~2,404h）与 InternData（~3,650h）。
  • Ego2Robot 合成数据池（Ego2R，共 ~18,561 小时） ：由 ~1,940h 人类视频经三阶段管线扩展为 15 种机械臂构型数据。
  • 混合采样比（Sampling Ratio） ：对比 Robot-only、Raw Ego + Robot (1:1)（不经过 Ego2Robot 管线的原始人手视频 + 3D 手部关键点投影动作），以及 Ego2R + Robot 的三种采样权重比 1:3 （$25\mathrm{\%}$ Ego2R）、 1:1 （$50\mathrm{\%}$ Ego2R）与 3:1 （$75\mathrm{\%}$ Ego2R）。
• 解耦泛化基准（RoboTwin 2.0 11 项设置 + Isaac Sim EBench 7 项任务） ： 在 RoboTwin 2.0 的 8 个代表性操作任务（Click Bell、Move Can Pot、Place Bread Skillet、Place Burger Fries、Place Cans Plasticbox、Place Object Basket、Place Phone Stand、Stack Bowls Two）上，训练分布统一固定为 Aloha-Agilex 双臂、Clean 桌面背景、单一相机视角、50 条专家演示/任务，微调 40K 步后在 4 大正交泛化维度（共 11 项细分设置，每任务 100 次 Rollout） 上评测：
  1. Visual（视觉外观泛化，3 项） ：未见桌面背景纹理（Unseen Background，11 种）、极端光照变化（Unseen Lighting，暖光/昏暗/高强光等 5 种）、未见桌面颜色（Unseen Tabletop Color，6 种 RGB 配色）。
  2. Scene（场景几何泛化，3 项） ：桌面高度变化（Table Height，$0.73\text{m}\sim 0.90\text{m}$）、杂物干扰（Cluttered Scene，混入无关干扰物）、未见相机外参视角（Unseen Camera Pose，6 组方位角/仰角偏移）。
  3. Embodiment（跨构型泛化，3 项） ：在仅提供少量（5 条/任务）目标构型演示下，迁移至 ARX-X5（接近训练分布）、UR5 + WSG-50（中等机械臂差异）与 Franka Panda（7-DoF 大跨度构型迁移）。
  4. Task（任务语义泛化，2 项） ：未见物体实例（Unseen Objects，训练见红苹果/蓝杯，测试测绿梨/黄碗等）与未见语言指令改写（Unseen Language Instructions，50 条近义句式替换）。 此外，在基于 Isaac Sim 高保真光线追踪渲染的 EBench（7 个桌面抓取放置任务）上评测跨仿真器泛化。

四、实验结果与核心发现

4.1 主实验：混合预训练的汇总与细分泛化表现（Table 1 & Table 2）

预训练数据配方	Clean	Rand	Visual (均)	BG / Light / Color	Scene (均)	Height / Clutter / Cam	Embody (均)	ARX / UR5 / Franka	Task (均)	Obj / Lang	EBench
${\pi }_{0.5}$（OpenPI 相机系基线）	54.9	27.7	—	—	—	—	—	—	—	—	—
No Pretrain（从头微调）	41.9	31.1	38.6	42.9 / 33.9 / 39.0	32.1	35.1 / 25.0 / 36.1	12.1	21.6 / 10.6 / 4.2	35.3	27.4 / 43.2	25.4
Robot-only（6,565h 真机）	62.2	50.9	61.4	66.6 / 58.2 / 59.4	52.9	60.1 / 48.3 / 50.4	23.8	44.1 / 20.2 / 7.0	46.2	29.3 / 63.1	39.6
Raw Ego + Robot (1:1)	66.5	51.4	64.9	69.5 / 60.3 / 64.8	53.6	56.6 / 50.5 / 53.6	25.0	49.0 / 20.6 / 5.4	51.3	36.6 / 66.1	44.6
Ego2R + Robot (1:3)	64.9	52.8	66.5	71.3 / 62.6 / 65.5	56.7	63.6 / 52.6 / 53.9	25.7	47.0 / 23.6 / 6.6	52.1	37.8 / 66.4	46.5
Ego2R + Robot (1:1)	68.1	53.5	67.3	70.3 / 65.8 / 65.8	56.9	62.4 / 52.0 / 56.3	27.2	51.2 / 25.0 / 5.3	54.1	39.6 / 68.5	49.8
Ego2R + Robot (3:1)	67.4	49.2	64.7	69.5 / 60.6 / 63.9	56.4	62.9 / 50.4 / 55.9	28.2	47.4 / 31.4 / 5.7	52.7	40.0 / 65.5	51.7

核心实验结论：

1. Ego2R + Robot (1:1) 是综合最优的黄金配比：在完全相同的 200K 步算力预算下，1:1 配比在 7 个汇总指标中的 5 项夺冠，相比纯真机预训练 Robot-only 在 Clean 上提升 +5.9% （62.2% $\to$ 68.1%），Visual 提升 +5.9% （其中极端光照 +7.6% ），Scene 提升 +4.0% （其中未见相机视角 +5.9% ），Task 提升 +7.9% （其中未见物体 +10.3% ），EBench 提升 +10.2% （39.6% $\to$ 49.8%）。
2. Ego2Robot 三阶段管线显著优于原始人类视频（Raw Ego） ：同样在 1:1 配比下，经过动作与视觉对齐的 Ego2R + Robot (1:1) 全面超越 Raw Ego + Robot (1:1)（Visual +2.4%、Scene +3.3%、Task +2.8%、EBench +5.2%），证明消除人手与机械臂之间的动作速率偏差和外观域鸿沟至关重要。
3. 高比例合成数据（3:1）在跨构型与新物体上收益最大，但会稀释真机精细控制先验：当 Ego2R 占比提升至 75%（3:1）时，模型充分受益于 15 种合成构型与海量人类日常物体，在 UR5 跨构型迁移（31.4%，+11.2%） 、未见物体（40.0%，+10.7%） 和 EBench（51.7%，+12.1%） 上取得最高分；但在需要高盛精度闭环控制的 RoboTwin Randomized 上降至 49.2%（比 Robot-only 低 1.7%），说明合成数据的 IK 近似与修补伪影无法完全替代真实物理交互动力学。

4.2 纯人类数据预训练消融：形态扩展与原始人手互补性（Figure 4）

在完全不使用任何真实机器人预训练数据的设定下，作者在 RoboTwin 2.0 Randomized 上对比了 4 种纯人类衍生数据的预训练效果：

纯人类预训练配置	数据时长	构型数量	RoboTwin 2.0 Randomized 成功率	关键结论
Raw Ego（原始人手视频 + 3D 手部投影动作）	1,940 h	1（人手）	28.1%	低于从头训练基线（31.1%），直接用原始人手预训练存在严重负迁移
Ego2R (1 Morphology: ARX-L5)	1,237 h	1（ARX-L5）	31.7%（+3.6%）	仅转换单机械臂即可扭转负迁移，验证动作与视觉对齐的有效性
Ego2R (15 Morphologies)	18,561 h	15（机械臂）	33.5%（+5.4%）	$1\to 15$ 构型扩展进一步迫使模型学习构型无关的操作表征
Ego2R (15 Morphologies) + Raw Ego	20,501 h	15 + 1（人手）	37.3%（+9.2%）	原始人手视频可作为 “第 16 种具身构型” 保留修复前的完整物体交互细节，与合成数据形成互补（但仍显著低于 Robot-only 的 50.9%）

4.3 真机双臂实验（ARX ACone 5 项长程任务 + Path B 随手拍 Play 数据）

作者在配备两台 6-DoF ARX ACone 机械臂（含 3 个 RGB 相机：头部主视角 + 左右腕部相机）的真机平台上评测了 5 项任务：Put Fruits（抓三种水果入篮）、Put Blocks（按序抓三块积木入碗）、Fold Towel（双臂协同两次对折毛巾）、Sweep Trash（一手扶簸箕一手扫纸团）与 Insert Screw（抓螺丝刀对准毫米级螺孔插入）。每任务仅采集 20 条真机遥操作演示，并由人类操作员佩戴头部相机在相同工作台随手拍摄约 35 分钟无标注日常把玩视频（Play Data） ，通过 Path B 自动转化为 675 条目标 ACone 构型合成轨迹。按阶段完成度打分（0–100 分，每任务 20 次测试）：

训练与微调策略	Put Fruits	Put Blocks	Fold Towel	Sweep Trash	Insert Screw	5 任务平均分
Scratch（仅 20 条真机演示从头训）	64	54	58	51	38	53.0
Scratch + Ego2R Play（20 条真机 + 675 条 Path B 合成微调）	69	60	64	56	44	58.6（+5.6）
Robot-only Pretrain（真机预训练 + 20 条真机微调）	72	64	67	60	49	62.4（+9.4）
Mix (1:1) Pretrain（Ego2R+Robot 1:1 预训练 + 20 条真机微调）	77	72	72	65	56	68.4（+15.4）
Mix + Raw Play（Mix 预训练 + 原始人手 Play 微调）	79	74	74	67	58	70.4（+17.4）
Mix + Ego2R Play（Mix 预训练 + Path B 合成 Play 1:1 微调）	83	78	78	71	62	74.4（+21.4）

真机实验表明：在预训练阶段混入 Ego2R（Mix）并在微调阶段混入仅 35 分钟随手拍视频经 Path B 合成的目标机械臂数据（Mix + Ego2R Play），在全部 5 项任务上均取得最高分，相比纯真机预训练 Robot-only 平均提升 +12.0 分（其中 Put Blocks +14 分、Insert Screw +13 分）。

五、局限性与方法论审视

结合论文第 6 节与附录 A–D 的实现细节，Ego2Robot 仍存在以下值得关注的边界条件与工程近似：

1. 平行夹爪重定向无法覆盖多指灵巧操作：Stage 1 的虚拟指尖公式 ${\mathbf{p}}_{\text{vf}}=0.7{\mathbf{p}}_{\text{index}}+0.3{\mathbf{p}}_{\text{middle}}$ 将五指运动坍缩为 1D 开合度，仅适用于刚体抓取、放置与推拉；对于转笔、拧瓶盖、多指手内重定向（In-hand Reorientation）等依赖独立手指接触力的任务无法建模。
2. 关键帧基座搜索与逐帧独立 IK 的轨迹连续性隐患：
   • 基座搜索仅在最多 20 个空间极值关键帧上验证 IK，未保证中间过渡帧绝无奇异点或障碍物碰撞；
   • 选定基座后，mink 对整条轨迹做逐帧暖启动 IK，没有全局关节空间轨迹规划或零空间分支一致性约束（Null-space Branch Tracking），7-DoF 机械臂在长轨迹中可能发生肘部构型跳变（最终依赖 Stage 3 的 60% 坏帧阈值事后丢弃整段视频）。
3. “臂身无条件置前”的合成遮挡假设：如附录 A.4（Eq. 9）所示，为规避单目估计深度的尺度漂移，只有末端夹爪参与了 Depth Anything V3 深度遮挡判断，而整条机械臂连杆（Arm Body）被硬性规定永远覆盖在背景之上。当任务需要机械臂伸入橱柜、箱体内部或穿过前景障碍物后方时，会产生违背物理遮挡的视觉伪影。
4. 跨自由度大跨度迁移（Franka 7-DoF）仍然困难：Table 2 显示，在训练仅用 6-DoF Aloha 的条件下，向同为 6-DoF 的 UR5 迁移提升显著（20.2% $\to$ 31.4%），但向 7-DoF Franka Panda 迁移时所有模型成功率均低于 7.0% （甚至混入合成数据后略微下降至 5.3%–6.6%），说明仅靠相机系末端相对动作仍不足以跨越 6-DoF 到 7-DoF 冗余运动学与动力学控制特性的鸿沟。

六、个人思考与跨工作联系

1. 与 MimicDreamer / 生成式视觉对齐路线的范式分野：同在 Data Synthesis 目录下，MimicDreamer 代表了端到端条件视频生成派（用扩散模型把人手重绘成机械臂），优势是光影融合自然，但致命伤是需要 paired 数据训练且换一种机械臂就要重训一次生成模型；Ego2Robot 则代表了模块化几何修复 + 物理引擎渲染派（SAM 3 + ProPainter 擦除 $\to$ 基座网格搜索 $\to$ MuJoCo 渲染合成），虽然光影和深度遮挡带有工程近似，但换来的是零样本跨 15 种机械臂构型的极致吞吐量（1,940h $\to$ 18,561h） 。
2. 与 EgoDex、EgoVerse、VITRA 的上下游生态闭环：本作并非孤立造轮子，而是直接将我们笔记库中已收录的 EgoDex（732h） 、EgoVerse（954h） 和 VITRA（249h） 作为 Path A 的三大核心燃料，证明了此前社区积累的高质量 3D 手部位姿标注数据集可以通过统一的几何与视觉重定向管线进一步转化为多构型机器人渲染数据。
3. 与 Qwen-RobotManip 的架构同源性：本文通讯团队来自人大 AIM3 与阿里通义千问（Qwen Team），其实验所用的 VLA 基座（Qwen3.5-4B + mRoPE 相机内外参注入 + Learnable Queries 上下文压缩 + DiT Flow Matching 相机系相对动作头）与 Qwen-RobotManip 一脉相承。两篇工作共同验证了一个核心结论：在相机坐标系下统一相对末端动作表征 + 注入显式相机几何先验，是实现跨视角、跨构型与人机混合预训练最稳健的工程底座。