EgoMimic: Scaling Imitation Learning via Egocentric Video

作者：Simar Kareer, Dhruv Patel*, Ryan Punamiya*, Pranay Mathur*, Shuo Cheng, Chen Wang, Judy Hoffman${}^{†}$, Danfei Xu${}^{†}$（* 共同贡献，${}^{†}$ 共同通讯）

机构：佐治亚理工学院（Georgia Institute of Technology） · 斯坦福大学（Stanford University）

发布时间：2024 年 10 月（arXiv:2410.24221v2）

发表状态：ICRA 2025

🔗 arXiv | PDF | 项目主页

一句话总结

EgoMimic 提出了首个将人类第一视角视频与三维手部追踪数据作为 “一等公民（First-class Data Source）” 与机器人遥操作数据平等联合训练的全栈模仿学习框架：通过 ① 基于 75g Project Aria 智能眼镜（同步用于人类佩戴与机器人主视觉传感器）与倒置安装低成本双臂机械臂的硬件同构设计，② SLAM 瞬时相机系动作重投影 + 独立高斯分布归一化 + SAM 2 掩码与红线方向视觉对齐 + $4\times$ 时序降速，以及 ③ 基于 ACT 的位姿-关节双分支共享策略网络，在三项长程双臂/单臂真机任务上较纯机器人 ACT 基线取得 34%–228% 的得分相对提升（成功率绝对提升 +8%–33%） ，实现零额外机器人数据的跨场景泛化，并证明每追加 1 小时人类数据的性能增益远超 1 小时遥操作机器人数据。

一、问题与动机

1.1 主动遥操作的规模瓶颈与“被动人类数据采集”愿景

端到端视觉模仿学习（如 ACT、Diffusion Policy）在复杂操作上表现出色，但极易在未见物体、光照或背景偏移下失效。相比计算机视觉与自然语言处理直接受惠于互联网被动产生的数据，机器人领域的现有采集方案仍面临根本trade-off：

数据采集与学习范式	代表工作	是否需要真机	便携性与人体工学	数据利用层级	核心局限
主从遥操作 / 外骨骼	ALOHA, GELLO, ACE	是	低（固定工位/穿戴笨重）	端到端低层关节动作	采集速率慢（每小时仅 ~135 条）、硬件昂贵，无法脱离实验室被动扩展
手持夹爪设备	UMI, Stick	否	中（需手持专用夹爪操作）	端到端末端 6-DoF 动作	牺牲了人手自然灵巧度，用户无法在日常活动中“无感被动”产生数据
分层人类视频规划	MimicPlay, HOPMan	否（人类侧）	中（多依赖固定第三视角相机）	人类数据仅训高层 3D 轨迹规划器	低层控制策略仍仅靠真机数据训练，成为长程操作与跨场景泛化的硬瓶颈
EgoMimic（本文）	Project Aria + 双臂 ViperX	否（人类侧）	极高（75g 眼镜穿戴即采）	人机数据平权端到端共训（Shared Policy）	人类仅追踪手腕 3D 位姿，夹爪开合监督仍需依赖机器人数据分支

作者提出核心论断：通往互联网级机器人数据的关键是被动数据采集（Passive Data Collection） ——用轻便的消费级智能眼镜记录人类日常第一视角视频、3D 手部追踪与机载 SLAM，且不应把人类视频当成仅提取高层意图的辅助先验，而应将人类数据视为与机器人遥操作平权的另一种具身构型（Human Embodiment Data） ，在同一个端到端策略网络中联合训练。

1.2 人机直接共训面临的四大鸿沟

要让单一模仿学习策略同时吃下第一视角人类数据 ${\mathcal{D}}_H$ 与机器人遥操作数据 ${\mathcal{D}}_R$，必须系统弥合四重差异：

1. 传感器与运动学鸿沟（Hardware & Kinematic Gap） ：传统桌面机械臂（如 Franka Panda）笨重缓慢且安装视角与人类俯视视角差异巨大；不同相机的视场角（FoV）、曝光动态范围也会造成严重视觉域偏移。
2. 动态参考系鸿沟（Coordinate Frame Gap） ：机器人基座与头部相机固定，而人类佩戴眼镜操作时头部会不断晃动并习惯性“眼比手先动”，导致未来帧的手部坐标散落在不同时刻的瞬时相机系中。
3. 动作分布与执行速率鸿沟（Distribution & Speed Gap） ：人手操作速度约为遥操作机械臂的 $4$ 倍，且受生物力学影响，人手与机械臂末端在相机系下的空间分布（尤其是左右横向 $y$ 轴）存在明显偏移，直接混训会导致网络分裂出两套独立表征。
4. 视觉外观与控制空间鸿沟（Appearance & Control Gap） ：画面中人手与机械臂外观截然不同；同时 6-DoF 机械臂若直接用笛卡尔末端位姿（EEF Pose）做微分逆运动学（IK）控制极易遭遇奇异点与轨迹抖动，必须输出关节角（Joint Positions）控制，但人类数据只有 3D 手部笛卡尔位姿而无机械臂关节角。

二、全栈硬件系统与三大跨域对齐技术

┌─────────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ 1. 硬件层同构设计 (Hardware Alignment)                                                                  │
│  • 人类采集端: 佩戴 75g Project Aria 眼镜 (前视广角 RGB + 两侧单色 SLAM 相机追踪出界双手 + 机载 VI-SLAM) │
│  • 机器人端: 倒置安装双臂 6-DoF ViperX 300 S (仿真人体上肢躯干, 架体成本 < $1,000) + 双腕 D405 相机      │
│  • 相机零域差: 机器人躯干顶部人眼位置直接安装第二副同款 Project Aria 眼镜作为主视觉传感器                │
└───────────────────────────────────────────────────┬─────────────────────────────────────────────────────┘
                                                    ▼
┌─────────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ 2. 数据处理与三域对齐 (Data Processing & Domain Alignment)                                              │
│  • 时序速率对齐: 人类 1s 窗口 vs 机器人 4s 窗口均匀采样 H=100 步动作块 (等效将人类动作慢放 4×)          │
│  • 坐标系稳定对齐: 利用 Aria MPS SLAM 位姿 T^W_{F_i} 将未来手部轨迹统一重投影至当前观测相机系 F_t       │
│  • 动作分布对齐: 对人类与机器人的本体位姿 p_t 和动作块 a_{t:t+h} 分别独立执行高斯 Z-score 归一化         │
│  • 视觉外观对齐: 3D 关键点投影触发 SAM 2 将人手与机械臂涂黑掩码，并叠加指示末端朝向的红色线段            │
└───────────────────────────────────────────────────┬─────────────────────────────────────────────────────┘
                                                    ▼
┌─────────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ 3. 统一双分支模仿学习架构 (Unified Dual-Head ACT Policy)                                                │
│  • 共享主干: 掩码主视角 (+ 机器人双腕图像) ──► 共享 ResNet-18 + 共享 ACT Transformer (4层Enc + 7层Dec)  │
│  • 双线性输出头: 位姿头 f^p 预测笛卡尔轨迹 (同时监督人类 ^H a^p 与机器人 ^R a^p)                        │
│                  关节头 f^q 预测 14 维关节+夹爪动作 (仅监督机器人 ^R a^q，并在真机推理时用于实际闭环控制)│
└─────────────────────────────────────────────────────────────────────────────────────────────────────────┘

2.1 硬件层设计：Project Aria 眼镜与低成本类人双臂平台

1. 基于 Project Aria 眼镜的被动式人类演示采集：
   • 眼镜仅重 75g，适合长时间无感佩戴。系统调用其前向广角 RGB 相机（30 Hz）获取第一视角画面，并结合两侧的广角单色场景相机（Mono-color Scene Cameras）与 IMU 运行 Aria Machine Perception Services（MPS） 云端服务，同步输出眼镜在世界系下的视觉惯性 SLAM 轨迹 ${\mathbf{T}}_{F_i}^W\in \mathrm{SE}(3)$ 与双手 3D 腕部追踪位姿 ${}^H\mathbf{p}\in \mathrm{SE}(3)\times \mathrm{SE}(3)$。
   • 侧视相机防丢手优势：人类在执行连续操作时，视线往往提前转向下一个目标，导致操作手移出主 RGB 相机视野；Aria 两侧的大视场 SLAM 相机仍能持续追踪视野外的双手 3D 位姿，保证了动作监督信号的完整性。
2. 模拟人体上肢运动学的低成本双臂机器人：
   • 抛弃笨重的台式单臂（如 Franka），参考 ALOHA 搭建了总架体成本低于 $1,000（不含机械臂本体）的身高可调躯干支架，以倒置构型（Inverted Configuration） 左右悬挂两台轻量化 6-DoF ViperX 300 S 机械臂（配 Intel RealSense D405 腕部相机，由两台 WidowX 主臂遥操作采集，50 Hz），在臂展尺寸、敏捷度与双臂工作空间重叠度上逼近人类上肢。
   • 传感器级硬件对齐（Camera-to-Camera Alignment） ：直接在机器人躯干顶部相当于人眼高度的位置安装第二副完全相同的 Project Aria 眼镜作为机器人主相机，从源头彻底消除了人机主视角在畸变模型、FoV、曝光与动态范围上的硬件域差。

2.2 数据处理与三大跨域对齐机制

人机原始数据流存在不对称性（Table I）：人类数据集 ${\mathcal{D}}_H$ 仅含主视角图像 $I_t$、双手 3D 位姿 ${}^H{\mathbf{p}}_t$ 与未来手部轨迹 ${}^H{\mathbf{a}}_{t:t+h}^p$（无腕部相机、无关节角、无显式夹爪开合）；机器人数据集 ${\mathcal{D}}_R$ 则包含主视角 + 双腕图像、末端 3D 位姿 ${}^R{\mathbf{p}}_t$、14 维关节角 ${}^R{\mathbf{q}}_t\in {\mathbb{R}}^{2\times 7}$（含夹爪）以及对应的末端位姿动作 ${}^R{\mathbf{a}}_{t:t+h}^p$ 与关节空间动作 ${}^R{\mathbf{a}}_{t:t+h}^q$。EgoMimic 通过四步处理将其对齐：

（1）时序执行速率对齐（$4\times$ 人类动作慢放）

人类完成相同操作的速度远快于遥操作机器人。无论原始采样频率如何（人类 30 Hz、机器人 50 Hz），EgoMimic 将未来动作块长度统一设为 $h=100$ 步：对于机器人数据，这 100 步均匀分布在未来 4 秒时间窗内；而对于人类数据，这 100 步均匀采样自未来 1 秒时间窗内——等效于将人类动作在时间轴上慢放 4 倍（Slow down by $0.25\times$） ，使每步动作的物理位移量级与机器人对齐。

（2）基于机载 SLAM 的瞬时观测相机系坐标统一

设原始人类手部 3D 轨迹序列为 $[{\mathbf{p}}_t^{F_t},{\mathbf{p}}_{t+1}^{F_{t+1}},\dots ,{\mathbf{p}}_{t+h}^{F_{t+h}}]$，其中 $F_i$ 是第 $i$ 帧时眼镜相机的瞬时坐标系（随头部运动不断变化）。为避免策略被迫预测未来人类头部的晃动，利用 Aria MPS 提供的每帧相机到世界系变换矩阵 ${\mathbf{T}}_{F_i}^W\in \mathrm{SE}(3)$，将未来时间窗 $[t,t+h]$ 内所有手部位姿统一重投影到当前观测时刻 $t$ 的稳定相机坐标系 $F_t$ 下：

$${}^H{\mathbf{a}}_i^p={\left({\mathbf{T}}_{F_t}^W\right)}^{-1}{\mathbf{T}}_{F_i}^W{\mathbf{p}}_i^{F_i},\mathrm{\forall }i\in \{t,t+1,\dots ,t+h\}$$

对于机器人数据，由于躯干上的 Aria 眼镜固定不动（$F_i\equiv F_t$），直接通过手眼标定外参 ${\mathbf{T}}_R^{\text{cam}}$ 将正运动学算出的末端位姿转换至同一相机坐标系 $F_t$，实现人机参考系的精确几何统一。

（3）逐具身独立高斯分布归一化（Action Distribution Alignment）

即便参考系与时间尺度对齐后，由于人肩宽度与机器人双臂安装间距、生物力学姿态习惯的差异，人手与机械臂末端在相机系下的坐标分布（尤其是左右方向的 $y$ 轴，见论文 Fig. 3a）仍存在系统性均值偏移与方差差异。若直接喂入网络，Transformer 会走捷径根据输入数值范围区分数据源并学出隔离表征。因此，EgoMimic 对人类与机器人的本体位姿 ${\mathbf{p}}_t$ 和动作序列 ${\mathbf{a}}_{t:t+h}$ 各自独立计算数据集均值与标准差并做 Z-score 标准化：

$$\mathrm{norm}({\mathbf{p}}_t)=\frac{{\mathbf{p}}_t-{\mathit{\mu }}_p}{{\mathit{\sigma }}_p},\mathrm{norm}({\mathbf{a}}_{t:t+h})=\frac{{\mathbf{a}}_{t:t+h}-{\mathit{\mu }}_a}{{\mathit{\sigma }}_a}$$

（4）SAM 2 具身掩码与红线方向视觉叠加（Visual Appearance Alignment）

为了消除主视角画面中人类手臂与 ViperX 机械臂的外观差异，同时保留末端位置与朝向几何线索（见论文 Fig. 3b 及附录 A）：

• 机器人侧：先通过正运动学计算手腕、夹爪与前臂 3 个关键点在基座系下的 3D 坐标 ${\mathbf{p}}_t^R=\mathrm{FK}({\mathbf{q}}_t)\in {\mathbb{R}}^{3\times 3}$，再用相机内参 ${\mathbf{I}}_{\text{cam}}^{\text{pixels}}$ 与手眼外参 ${\mathbf{T}}_R^{\text{cam}}$ 投影为像素空间 2D 点提示：$${\mathbf{p}}_t^{\text{pixel}}={\mathbf{I}}_{\text{cam}}^{\text{pixels}}{\mathbf{T}}_R^{\text{cam}}{\mathbf{p}}_t^R\in {\mathbb{R}}^{3\times 2}$$以此 2D 点提示驱动 SAM 2 实时分割出整条机械臂并将其置为纯黑掩码（Black Mask），随后在掩码区域内从夹爪到肘部绘制一条粗红线（Red Line Overlay） 显式标示末端位置与小臂伸展方向。
• 人类侧：同理用 3D 手部坐标投影点提示 SAM 2 将人手涂黑，并沿手部轮廓包围盒从右下角到左上角绘制红线。在真机部署推理时，桌面端 GPU（RTX 4090）实时运行 SAM 2 与红线叠加。

三、人机联合模仿学习策略架构（Unified Policy Architecture）

3.1 为什么不直接用笛卡尔末端位姿控制 6-DoF ViperX？

一个直观想法是将机器人和人类完全统一在三维末端位姿空间（Cartesian EEF Pose Space）控制。然而作者在实验中发现：由于 6-DoF ViperX 300 S 机械臂自由度冗余度低，若直接用策略预测的笛卡尔位姿走微分逆运动学（Differential IK）控制器，机械臂在长程大范围运动中极易撞上运动学奇异点（Singularities）或产生非平滑的关节跳变。反之，关节空间控制（Joint-Space Control） 平滑可靠，但人类数据根本没有机械臂关节角标签，且 Project Aria 仅输出手腕 3D 位姿而无手指开合（Grasping）动作标签。

3.2 共享主干 + 位姿/关节双线性输出头（Dual-Head ACT）

为兼顾“跨具身表征共享”与“真机高可靠关节控制”，EgoMimic 在 ACT（Action Chunking with Transformers） 基础上设计了极简的双头共享架构（Algorithm 1 & Fig. 4 & Fig. 9）：

1. 共享视觉与 Transformer 编码-解码主干 $f_{\text{enc}}(\cdot )$ ：
   • 经过 SAM 2 掩码与红线叠加的主视角 RGB 图像（以及机器人批次独有的双腕 D405 相机图像）输入共享权重的 ResNet-18 视觉编码器转化为视觉 Token（利用 Transformer 对变长序列的天然兼容性，人类批次缺失腕部相机时直接省略对应视觉 Token）；
   • 归一化后的本体状态（人类 ${}^H{\mathbf{p}}_t$，机器人 ${}^R{\mathbf{p}}_t,{}^R{\mathbf{q}}_t$）经各自浅层线性层映射为本体 Token，连同 CVAE 编码器生成的隐风格变量 $z$ 一起送入 4 层 Transformer Encoder + 7 层 Transformer Decoder（隐藏维度 512，前馈维度 3200，8 头注意力）。
2. 仅隔一层线性层的位姿头 $f^p$ 与关节头 $f^q$ ：
   • 笛卡尔位姿预测头 $f^p$ ：同时接收人类批次和机器人批次的 Transformer 解码隐状态，输出 100 步末端 3D 位姿轨迹预测 ${\hat{\mathbf{a}}}_{t:t+h}^p$，强制人类与机器人在倒数第二层隐空间完全对齐；
   • 关节动作预测头 $f^q$ ：仅对机器人批次激活，从同一组 Transformer 解码隐状态经单层线性映射预测 100 步 14 维关节角动作 ${\hat{\mathbf{a}}}_{t:t+h}^q\in {\mathbb{R}}^{14\times 100}$（含双臂各 6 个旋转关节 + 1 个夹爪开合自由度）。真机部署时，仅取关节头输出 ${\hat{\mathbf{a}}}_{t:t+h}^q$ 送入底层电机执行控制。
3. 双流联合损失函数： 每个训练步同时从 ${\mathcal{D}}_H$ 和 ${\mathcal{D}}_R$ 各采样一个批次（全局 Batch Size 128，4 张 A40 训练 120K 步，约 24 小时，初始学习率 $5\times {10}^{-5}$），按附录 C 实际实现的 $L_1$ 回归与 CVAE 散度正则联合优化：$${\mathcal{L}}_{\text{hand}}={\Vert {}^H{\hat{\mathbf{a}}}_{t:t+h}^p-{}^H{\mathbf{a}}_{t:t+h}^p\Vert }_1+\beta {\mathcal{L}}_{\text{KL}}^H$$$${\mathcal{L}}_{\text{robot}}={\Vert {}^R{\hat{\mathbf{a}}}_{t:t+h}^p-{}^R{\mathbf{a}}_{t:t+h}^p\Vert }_1+{\Vert {}^R{\hat{\mathbf{a}}}_{t:t+h}^q-{}^R{\mathbf{a}}_{t:t+h}^q\Vert }_1+\beta {\mathcal{L}}_{\text{KL}}^R$$$${\mathcal{L}}_{\text{total}}={\mathcal{L}}_{\text{hand}}+{\mathcal{L}}_{\text{robot}}$$注：由于位姿头 $f^p$ 与关节头 $f^q$ 仅相隔一层线性投影，机器人数据上同时施加的 ${}^R{\mathbf{a}}^p$ 与 ${}^R{\mathbf{a}}^q$ 双重监督充当了“桥梁”，将人类数据通过位姿分支注入的空间到达先验无缝传导至机器人的关节控制分支。

3.3 滚动时域推理与控制频率（Table VII）

在桌面端 RTX 4090 GPU 上，策略网络（含实时 SAM 2 分割掩码）以 1 Hz 频率推理，每次预测未来 4 秒（100 步）的动作块，并以 25 Hz 控制频率按滚动时域（Receding-horizon）方式执行前 1 秒（25 步）关节指令后触发下一次推理。

四、实验设置与核心结果

4.1 三大真机任务与人机数据采集效率对比（Table II）

作者在三项需要大范围空间泛化、双臂协同或毫米级精细对准的长程真机任务上评测，并统计了人类（H）与机器人遥操作（R）的数据量及采集速率：

任务名称	任务描述与评测指标	人类演示条数 (#)	人类采集时长 (min)	人类效率 (#/min)	机器人演示条数 (#)	机器人采集时长 (min)	机器人效率 (#/min)
Continuous Object-in-Bowl	40 秒内连续抓 ~6cm 毛绒玩具入碗、端碗倒出并循环（3 碗 × 5 玩具，45cm×60cm 随机摆放，45 次评测；每入碗或倒出得 1 分 Pts）	1,400	60	23 条/分	270	120	2 条/分
Laundry（双臂叠衣）	90cm×60cm 区域 $\pm {30}^{\circ }$ 随机摆放 T 恤，双臂依次折右袖、折左袖、整体对折（40 次评测；计阶段得分 Pts 与全阶段成功率 SR）	590	100	6 条/分	430	300	1 条/分
Groceries（双臂装袋）	左臂抓起柔性塑料袋提手撑开袋口，右臂依次抓 3 包薯片装入袋中（50 次评测；计总分 Pts、3 包全入成功率 SR 与最难的抓提手率 Open Bag）	160	80	2 条/分	300	300	1 条/分

采集效率洞见：在无需复杂场景复位的任务（如 Object-in-Bowl）上，人类佩戴 Aria 眼镜每小时可采集 1,400 条演示（23 条/分），而机器人遥操作每小时仅能采集 135 条（约 $10.4\times$ 采集吞吐优势）。

4.2 主实验：域内任务性能大幅跃升（Table III，验证假设 H1）

对比纯机器人数据训练的 ACT、同样使用全量人机数据但采用“高层人类 GMM 轨迹规划器 + 低层机器人 ACT 控制器”分层架构的 MimicPlay，以及去掉人类数据仅保留双分支架构的消融基线 EgoMimic (w/o human) ：

方法	Bowl (Pts $\uparrow$)	Laundry (Pts $\uparrow$)	Laundry (SR $\uparrow$)	Groceries (Pts $\uparrow$)	Groceries (SR $\uparrow$)	Groceries (Open Bag $\uparrow$)
ACT（纯机器人数据）	39	82	55%	82	22%	54%
MimicPlay（分层人机训练）	71	78	50%	53	8%	40%
EgoMimic (w/o human) （0% 人类数据）	68	104	73%	92	28%	60%
EgoMimic（完整人机共训）	128 (+228%)	114 (+39%)	88% (+33%)	110 (+34%)	30% (+8%)	70% (+16%)

关键实验发现：

1. 双分支辅助监督本身即有益，但人类数据带来决定性飞跃：仅在机器人数据上同时预测笛卡尔位姿与关节角（EgoMimic w/o human），得分已较原始 ACT 显著提升（如 Bowl 39 $\to$ 68，Laundry SR 55% $\to$ 73%）；在此之上引入人类第一视角数据共训后，Bowl 得分再暴涨 +88% （68 $\to$ 128，较 ACT 提升 +228% ），叠衣成功率升至 88% ，高难度塑料袋提手抓取率升至 70% 。
2. 端到端统一表征完胜分层规划（MimicPlay） ：MimicPlay 在双臂精细协同任务（Laundry、Groceries）上甚至劣化于纯机器人 ACT（Groceries SR 仅 8%），原因是其低层控制器从未直接接触人类数据，高层规划器微小的 3D 引导偏差就会导致低层动作失配；而 EgoMimic 将人机数据统一在共享 Transformer 编码器-解码器中，使海量人类轨迹直接改善了底层空间定位精度（消除了基线常出现的“差几英寸抓空玩具”现象）。

4.3 跨颜色与跨场景零机器人数据泛化（Figure 6，验证假设 H2）

作者在两项严苛的分布外（OOD）偏移下检验人类数据的泛化迁移能力：

泛化评测维度	测试设置说明	ACT	MimicPlay	EgoMimic (w/o human)	EgoMimic（本文）
(a) 未见衣物颜色泛化	Laundry 任务：机器人数据仅含既有颜色，人类数据包含更多衣物颜色，测试未见颜色 T 恤折叠成功率（SR）	25%	—	~25%	85% （几乎无损保持域内 88% 水平）
(b) 全新物理场景泛化	Object-in-Bowl 任务：将机器人推入背景与光照完全陌生的新房间，在该新房间仅采集人类演示（0 条新房间机器人数据） ，测试得分（Pts）	—	4 Pts	0 Pts（无新场景数据）	63 Pts（零新场景真机数据直接迁移）

核心突破：在新房间仅佩戴 Aria 眼镜采集人类徒手把玩视频、不采集任何一条该房间的机器人遥操作数据，EgoMimic 即可在新环境中斩获 63 分，而接触完全相同数据的分层方法 MimicPlay 仅得 4 分，强有力地证明了共享编码器-解码器成功将新场景的视觉感知与旧场景习得的机器人关节控制桥接起来。

4.4 数据缩放定律与各模块消融实验（Figure 7 & Table IV，验证假设 H3）

• 追加 1 小时人类数据 vs 追加 1 小时机器人数据（Figure 7） ： 在 Object-in-Bowl 任务上，从 2 小时机器人数据出发，对比“再花 1 小时采集机器人数据（共 3h Robot）”与“花 1 小时采集人类数据（2h Robot + 1h Human）”：
  • ACT (3h Robot)：最终得分仅 74 Pts（因为 1 小时遥操作仅能增加 135 条演示）；
  • EgoMimic (2h Robot + 1h Human)：最终得分高达 128 Pts（1 小时人类数据贡献了 1,400 条高覆盖度演示，得分几乎是同时间预算纯机器人方案的 $1.73\times$ ）。
• 核心组件消融实验（Table IV，Object-in-Bowl 得分） ：

消融变体	Object-in-Bowl 得分 (Pts)	相对完整模型变化	核心诊断结论
EgoMimic（完整版）	128	—	四大组件协同最优
w/o Line（去掉掩码上的红线方向提示）	112	-12.5% （-16 Pts）	红线在涂黑手臂后提供了关键的末端朝向几何线索
w/o Line and Mask（完全去掉 SAM 2 掩码与红线）	95	-25.8% （-33 Pts）	暴露原始人手与机械臂外观会导致显著视觉域鸿沟
w/o Action Norm（去掉逐具身独立高斯归一化）	79	-38.3% （-49 Pts）	最关键对齐环节：不消除 $y$ 轴等位姿分布偏移会使共训收益损失大半
w/o Hand Data（完全不用人类数据）	68	-46.9% （-60 Pts）	验证性能飞跃主要来自人类具身数据而非单纯网络改动

五、局限性与方法论审视

1. 人类侧无手指抓握（Grasping）监督：Project Aria MPS 在本文中仅被用于提取手腕 3D 位姿，未提取手指开合状态，因此夹爪闭合时机完全依赖机器人数据集 ${\mathcal{D}}_R$ 的关节损失 ${\mathcal{L}}_q^R$ 监督，无法从人类视频中学习全新的精细抓握触发时机。
2. 推理期实时运行 SAM 2 的系统延迟开销：为保持训练与测试视觉分布一致，真机部署时必须用桌面 RTX 4090 实时运行 SAM 2 分割机械臂并涂黑画红线，限制了推理频率（仅 1 Hz 规划重更新），且当机械臂与目标物体发生紧密遮挡时，涂黑掩码可能连带抹除物体边缘关键视觉信息。
3. 单任务策略（Single-Task Policy）与同构硬件绑定：本文每个任务独立训练一个 ACT 模型（无语言指令条件化），且高度依赖在机器人躯干安装同款 Project Aria 眼镜以消除相机域差，尚不能直接摄入互联网上任意相机拍摄的野外人类视频。

六、个人思考：从 EgoMimic 到 Emergence-H2R 与 EgoScale 的演进脉络

将佐治亚理工 Danfei Xu 团队主导的三篇里程碑工作纵向串联，可以清晰看到具身智能社区在短短一年半内对“如何用第一视角人类数据”认知的三级跳：

1. 第一代 EgoMimic（2024.10，ICRA 2025）：小规模单任务下的“全栈人工对齐” 在百万参数级单任务 ACT 模型、单任务仅数小时数据的尺度下，网络自身没有跨具身抽象能力。因此 EgoMimic 必须靠极致的人工显式对齐（机器人戴同款 Aria 眼镜 + SLAM 重投影 + 独立高斯归一化 + SAM 2 涂黑画红线 + $4\times$ 慢放 + 位姿/关节双头桥接）才能喂入人类数据。这套精心设计的“拐杖”在当时首次跑通了人机端到端平权共训。
2. 第二代 Emergence-H2R（2025.12，RSS 2026，同为 Simar Kareer 一作）：大规模机器人预训练后的“零显式对齐涌现” 一年后，同一批作者在 ${\pi }_{0.5}$ 基座上重做实验，发现当模型具备多样化机器人预训练先验时，当年在 EgoMimic 里费尽心思设计的 SAM 涂黑掩码、特征域适应损失甚至显式坐标系对齐统统不再必要——高容量 VLA 主干会在中间层自发将人类手部视频与机器人视频对齐到同一表征流形！
3. 第三代 EgoScale（2026.02，CoRL 2026 Oral，Danfei Xu 共同通讯）：万小时级灵巧手“规模与对齐解耦” 进一步将人类视频推至 20,854 小时并扩展到 22-DoF 五指灵巧手，保留了 EgoMimic 的“局部相对腕部 $\mathrm{SE}(3)$ 重投影”精髓，补上了 EgoMimic 缺失的“CasADi/IPOPT 22-DoF 手指重定向”，并用“Stage I 2 万小时无约束人类预训练 + Stage II 54 小时同构中期对齐”彻底取代了推理期笨重的 SAM 2 掩码，完成了从单任务模仿学习向通用灵巧操作基础模型的蜕变。