EgoVerse：面向全球机器人学习的第一视角人类操作数据集与跨实验室迁移实证

论文：EgoVerse: An Egocentric Human Dataset for Robot Learning from Around the World

作者：Ryan Punamiya*、Simar Kareer*、Zeyi Liu、Josh Citron、Ri-Zhao Qiu、Xiongyi Cai、Alexey Gavryushin、Jiaqi Chen、Davide Liconti 等 40 位联盟作者，通讯/指导 PI：Marc Pollefeys、Robert Katzschmann、Xiaolong Wang、Shuran Song、Judy Hoffman、Danfei Xu（* 共同一作 / 项目负责人）

机构：佐治亚理工学院（Georgia Tech）、斯坦福大学、加州大学圣地亚哥分校（UCSD）、苏黎世联邦理工学院（ETH Zürich）、MIT CSAIL、Meta Reality Labs Research、Mecka AI、Scale AI

发布时间：2026 年 4 月（arXiv 2604.07607，v2 修订于 2026 年 7 月）

发表状态：RSS 2026（已录用）

🔗 arXiv | PDF | 项目主页 | 代码 | 数据浏览器

分类标签：第一视角人类视频 人机协同训练 跨实验室基准 跨具身迁移 动态增长数据集 数据多样性定律 域对齐锚定

一句话总结

针对现有机器人遥操作难以规模化、而既往人类操作数据集多为“一次性静态发布、缺乏机器人可执行性约束与跨构型真机验证”的系统性瓶颈，由佐治亚理工、斯坦福、UCSD、ETH Zürich、MIT 与 Meta、Mecka AI、Scale AI 等组成的全球产学联盟推出动态持续增长（Living Dataset）的第一视角人类操作平台 EgoVerse：首期开源 1,362 小时（约 8 万条轨迹），覆盖 1,965 项任务、240 个真实场景与 2,087 名全球演示者，由学术界受控标准化流 EgoVerse-A（75 小时，6 大旗舰任务）与工业界开放场景规模流 EgoVerse-I（1,285 小时，近 2,000 项任务与 1–2 秒密集子任务语言标注）双轨组成，并配套兼容 Aria 眼镜、工业双目鱼眼头显与普通智能手机的云端自动化处理与检索系统 EgoDB；进一步在三大异构真机平台（直立双臂 ARX5、拟人侧装双臂 ARX5、配 6-DoF 灵巧手的 Unitree G1 人形机器人）上按跨实验室统一协议开展迄今最大规模的人到机迁移实证，确立了三条核心科学定律：（1）人机协同训练在多构型上可复现地提升最高达 30% 的域内与 OOD 泛化性能（但受限于人机子任务执行策略一致性）；（2）少量域对齐人类数据（ID Human）是解锁海量跨场景异构人类数据正向规模效应的必要“锚点”；（3）在受控数据预算下，场景多样性比单场景演示密度或演示者数量更主导跨环境泛化。

一、问题与动机

1.1 现有第一视角人类数据集的三重断层

尽管利用日常第一视角人类操作数据替代昂贵的物理机器人遥操作已成为社区共识，但要将其转化为像 Open X-Embodiment 那样支撑通用机器人策略的一等公民数据源（First-class Data Source），仍面临三重断层：

1. 无界日常活动 vs. 机器人可执行边界的失配：Ego4D、EPIC-KITCHENS、Ego-Exo4D 等视觉社区数据集虽达数千小时，却包含大量超出当前双臂/移动操作机器人物理能力边界的非结构化活动，且普遍缺乏米制尺度 6-DoF 头部 SLAM 位姿与双臂三维手部关键点追踪。为此，EgoVerse 提出“有界多样性”（Bounded Diversity）设计准则——聚焦于典型双臂/移动操作器物理可执行的技能范畴，同时在该边界内最大化场景、物体与人群的自然变异。
2. 一次性静态快照 vs. 持续演进生态的缺失：近期的 HOT3D、EgoDex、EgoMimic 等数据集虽然引入了高精度相机外参与手部姿态，但均作为特定研究项目的一次性静态发布（Static Releases），采集硬件门槛高（如强绑定特定高端头显或实验室动捕棚），外部研究组与个人难以低成本持续追加数据。
3. 单实验室孤立验证 vs. 可复现迁移科学的空白：既往人机协同训练工作几乎全部局限于单一实验室、单一机器人构型与小规模数据，导致社区始终无法区分哪些结论是普适的跨具身迁移规律，哪些仅仅是特定机械臂安装方式、控制器或任务重置范围带来的系统偶然效应。

1.2 EgoVerse 的三位一体贡献框架

EgoVerse 通过“双轨数据集（Dataset） + 开放云原生数据基座（Ecosystem） + 跨实验室多构型受控实证（Consortium Study）”闭环回应上述挑战：既提供工业级广度的预训练语料，又建立跨不同运动学构型（平行夹爪 vs. 多指灵巧手、直立桌面安装 vs. 拟人肩部侧装）严格复现的人机迁移科学基准。

二、预备知识：异构模态编码与条件流匹配共训

为在保持各机器人原生传感与动作空间的前提下联合吸纳人类与机器人数据，EgoVerse 采用异构预训练 Transformer（HPT；Wang et al., NeurIPS 2024）的“轻量模态特定前端（Stems）+ 共享跨具身主干（Shared Trunk）+ 条件流匹配解码器（CFM Action Decoder）”范式：

• 线性概率路径条件流匹配（Lipman et al., 2022）：设归一化后的真实动作块为 $a_1=a\in {\mathbb{R}}^{T\times d_a}$，标准高斯噪声为 $a_0\sim \mathcal{N}(0,I)$，采样偏向高噪声端的时间步 $\tau \sim \mathrm{Beta}(1.5,1.0)$（注意本文符号约定 $\tau =1$ 为纯噪声、$\tau =0$ 为干净动作），构造线性插值输入：

$$x_{\tau }=\tau a_0+(1-\tau )a_1,\tau \in (0,1]$$

解码器 ${\pi }_{\theta }$ 以主干上下文 $f_{\varphi }(s)$ 为条件直接预测从干净样本指向噪声的常微分方程速度场 $(a_0-a_1)$；推理阶段从 $x_{\tau =1}\sim \mathcal{N}(0,I)$ 出发，沿 $\tau :1\to 0$ 执行 10 步固定步长欧拉积分即可高速生成连续多步动作轨迹。

三、核心方法

3.1 双轨互补数据集架构：EgoVerse-A 与 EgoVerse-I

EgoVerse 首期发布总计 1,362 小时（约 80k Episodes）、1,965 项任务、240 个场景、2,087 名唯一演示者，由定位截然不同却彼此互补的两大子集构成（Table II）：

数据集组成	时长占比	录制时长	轨迹数（Episodes）	覆盖任务数	采集主体与标注粒度
EgoVerse-A（学术受控流）	5.5%	75 h	2,385	6（旗舰任务）	全球多高校实验室镜像协议；Project Aria Gen 1；Episode 级场景/物体/人员溯源元数据 + $16\times 16$ 受控多样性子集
EgoVerse-I Partner A（工业开放流 A）	76.1%	1,035 h	72,993	1,898	工业伙伴定制双目鱼眼 + 深度 + IMU 头显；1–2 s 密集子任务语言描述、主副手激活标志、静态/移动操作标签
EgoVerse-I Partner B（工业开放流 B）	18.4%	250 h	3,128	45	工业伙伴室内多场景结构化采集；同构高密度手部追踪与语言语义标注
合计（首期发布）	100%	~1,362 h	~78.5k–80k	1,965	统一标准化为：第一视角 RGB + 米制 6-DoF 头部位姿 + 双手各 21 个 3D 关键点 + 语言描述

1. EgoVerse-A 的六大跨实验室共享旗舰任务与结构化多样性轴：

   • 6 项旗舰任务：
     • object-in-container（单臂）：40 秒内连续随机抓取物体放入容器、再将容器翻转倒空并循环重复；
     • scoop-granular（单臂）：用勺舀取豆类等颗粒物料转移至目标容器直至装满；
     • sort-utensils（单臂）：拾取不同种类餐具并分拣至指定容器；
     • cup-on-saucer（双臂）：将随机初始姿态的杯子翻转扶正、完成双臂交接并精准放置到杯碟上；
     • bag-grocery（双臂）：撑开购物袋并将 1–3 件杂货依次装袋；
     • fold-clothes（双臂）：对随机初始摊放的 T 恤执行标准三折折叠。
   • 标准化采集单元（Dataset Unit）与三轴变异：每单元录制约 5 分钟（产出 5–10 条演示），工作空间约 $40\text{ cm}\times 60\text{ cm}$。各参与实验室在每个旗舰任务上覆盖 8–12 个不同物理场景、独立采购最多 30 种真实物体（天然引入几何、外观与材质差异）及 1–8 名不同身高与站/坐姿的演示者。
   • $16\times 16$ 正交受控多样性子集：为剥离多实验室自然聚合带来的分布不均衡，单实验室针对 cup-on-saucer 与 fold-clothes 固定 16 名演示者 $\times$ 16 个场景按结构化分配矩阵（每对组合 3.75 分钟至 2 小时，每场景 $\ge 1$ 小时）专门采集正交子集，首次支持在严格锁死总数据时长的前提下独立解耦“演示者人数”与“场景数”。

2. EgoVerse-I 的开放世界任务谱系与高频动词统计（Table III & Table IV）： 工业采集流要求采集者保持双手可见、动作果断无冗余犹豫，并经人工质检剔除低交互密度片段。下表汇总排名前七的任务语义门类及其高频操作动词分布：

语义任务门类	时长占比	录制时长	代表性高频操作动词（括号内为子任务标注频次，Table IV）
Logistics（物流分拣与包装）	15.4%	209 h	pick (34,524)、scoop (12,164)、place (10,322)、fill (7,991)、seal (4,249)、insert (1,996)、pack (760)
Cooking（烹饪备餐）	13.7%	186 h	pick (16,197)、place (6,678)、cut (5,975)、scoop (4,722)、slice (1,974)、press (1,646)、knead (624)
Cleaning（清洁洗刷）	11.6%	158 h	scrub (20,320)、pick (12,297)、clean (7,713)、wipe (6,863)、dip (5,951)、rinse (1,901)、scrape (1,877)
Laundry（洗衣熨叠）	10.9%	148 h	pick (6,998)、fold (6,190)、iron (5,342)、adjust (3,628)、smooth (2,429)、straighten (1,161)、button (349)
Hardware（五金装配与维修）	6.8%	92 h	pick (16,387)、place (5,476)、adjust (5,263)、unscrew (3,222)、tighten (2,052)、solder (908)、install (647)
Crafts（手工制作）	4.0%	54 h	pick (7,577)、place (2,517)、fold (1,059)、cut (896)、attach (391)、wrap (316)、tie (239)
Gardening（园艺劳作）	3.2%	44 h	修剪、移植、浇灌与土壤工具操作等日常园艺子技能

对 fold-clothes 任务的 DINOv3 图像特征做 UMAP 降维（Figure 5 & Appendix L，每 15 帧均匀采样）直观显示：单实验室机器人数据仅占据极窄的视觉孤岛，EgoVerse-A 向外显著拓展，而 EgoVerse-I 则稠密覆盖了广阔的开放世界视觉外观流形。

3.2 三梯度采集硬件体系与 EgoDB 云原生数据基座

为兼顾实验室级测量精度、工业级规模化部署与草根社区零门槛接入，EgoVerse 打通了三套硬件并统一收敛至相同的规范化数据格式：

• 学术标准端（Project Aria Gen 1 智能眼镜）：仅重 75 g，集成 1 颗前视全局快门 RGB 相机、2 颗侧向单色 SLAM/手部追踪相机（即便双手移出前视 RGB 视野仍能保持追踪）、2 颗内向眼动相机及紧同步 IMU，经 Meta MPS 解算米制世界系 6-DoF 头部轨迹与双手各 21 关键点三维位姿。
• 工业量产端（定制共面共线双目鱼眼立体头显）：采用固定 6 cm 基线的共面共线双目鱼眼 RGB（$1920\times 1200$ @ 30 FPS）+ 立体匹配稠密深度流 + 板载紧同步 IMU，通过多传感器融合 SLAM 与深度增强手部模型输出时序平滑的双手各 21 个三维关键点。
• 大众普惠端（智能手机头带系统）：仅需市售头带支架固定普通 iPhone，调用超广角镜头录制 1080p 30 FPS 第一视角视频并上传云端管线，通过视觉追踪恢复 6-DoF 头部运动并估计双手 21 关键点，无需特殊处理即可无缝并入主数据集。
• EgoDB 自动化入库与按需同步引擎（Appendix F）：
  1. 上传与 17 字段 SQL 注册：原始 .vrs 或各实验室机器人格式连同元数据 JSON 上传 AWS S3；t3.xlarge 小时级守护进程扫描入库至 PostgreSQL（17 个标准字段：episode_hash、operator、lab、task、embodiment、robot_name、num_frames、task_description、scene、objects、processed_path、processing_error、mp4_path、is_deleted、is_eval、eval_score、eval_success，直接把评测轨迹也纳入同一数据库闭环管理）；
  2. 三集群夜间 Ray 批处理管线：Cluster A（t3a.2xlarge）夜间批量并发调用 Aria MPS 云端解算；Cluster B（t3a.2xlarge 头节点 + r6a.2xlarge 工作节点）将 MPS 输出转为统一人类训练格式；Cluster C（t3a.2xlarge + c5.18xlarge 工作节点）将多源机器人原始数据转为统一格式并自动渲染可视化预览 .mp4；
  3. EgoVerseDataset 本地增量缓存接口：按 SQL 过滤条件检索有效 processed_path，通过 s5cmd 多线程并行增量同步至本地缓存目录，原生支持 train、valid、total 与面向缩放定律实验的 percent 四种切分模式。

3.3 跨具身人机空间-时间-分布三重对齐与策略架构

1. 瞬时相机稳像参考系（消除人类头部自运动）：人类原始手部 $\mathrm{SE}(3)$ 位姿 $p_{t+i}^H$ 定义在随头部持续移动的瞬时设备系 $T_{t+i}^{\text{device}}$ 下。为与头部相机相对静止的机器人坐标系对齐，将未来 $k$ 步人手轨迹统一重投影至 $t$ 时刻的当前相机坐标系：

$$a_{t:t+k}^H={[(T_t^{\text{device}}{)}^{-1}{T}_{t+i}^{\text{device}}\cdot p_{t+i}^H]}_{i=1}^k$$

2. 三大异构真机平台及其动作参数化与数据配比（Section IV-A/B & Appendix H, Table VI）：

真机平台	机械臂与末端执行器	视觉传感器与遥操作方式	动作空间参数化 $a_{t:t+k}^R$	各任务采集真机演示量（条数 / 时长）
Robot A	直立安装双 6-DoF ARX5 + 平行夹爪	头戴 Aria + 双腕 RealSense D405；Quest 3 VR + Mink IK + 关节控制器	头相机系双臂 6-DoF 欧拉角 + 夹爪：${\mathbb{R}}^{k\times 14}$	obj-container: 100 / 1.2h；bag: 300 / 5.1h；cup: 360 / 3.3h；fold: 300 / 3.0h
Robot B	拟人肩部侧装双 6-DoF ARX5 + 平行夹爪	头戴 Aria + 双腕 Logitech 相机；3D 打印 GELLO 同构遥操作 + 笛卡尔控制	头相机系双臂 3D 位置 + 四元数 + 夹爪：${\mathbb{R}}^{k\times 16}$	obj-container: 200 / 2.7h；bag: 150 / 1.67h；cup: 183 / 1.0h
Robot C	Unitree G1 人形：双 7-DoF 臂 + 6-DoF Inspire 灵巧手	3-DoF 随动头 + ZED 2 双目；Apple Vision Pro 遥操作（Orin NX + 远端推理）	基座系双腕绝对 $\mathrm{SE}(3)$ + 相对末端 5 指尖 3D 坐标（IK 控手）	obj-container: 240 / 3.0h；bag: 139 / 1.8h；cup: 111 / 1.2h

3. 跨具身执行速度重采样与抗离群分位数归一化（Appendix G）：
   • 物理时间窗对齐：截取人类 $1.0\text{ s}$ 窗口与机器人 $1.5\text{ s}$ 窗口，对三维位置做线性插值、对四元数/欧拉角旋转做球面线性插值（SLERP），统一重采样为长度 $T=100$ 的等任务相位动作序列；
   • 抗离群分位数归一化：对每个本体与动作维度的第 1 与第 99 分位数 $q_{0.01},q_{0.99}$ 线性映射至 $[-1,1]$，并对训练图像施加随机裁剪与颜色抖动：

$$\hat{x}=2\cdot \frac{x-q_{0.01}}{q_{0.99}-q_{0.01}}-1$$

4. 跨具身网络超参数与 1:1 平衡流匹配共训（Appendix I, Table VII）：
   • 观测 Stems（$m=4$）：主视角相机（人机共享）与两路腕部相机经截断全局池化的 ResNet-18（$7\times 7\times 512$）展平投影至 $d_{\text{proj}}=256$，本体向量线性投影至 $256$；每路 Stem 用 $L=16$ 个查询 Token 经 $D_{\text{stem}}=8$ 头交叉注意力汇聚；
   • 跨具身共享编码器 $f_{\varphi }$：前置 $M=64$ 个可学习上下文 Token，拼接 $m\times L$ 观测 Token 输入 16 层 Pre-LN Transformer 编码器（隐藏维 $d=256$，$D_{\text{enc}}=8$ 头，正余弦位置编码）；
   • 流匹配动作解码器 ${\pi }_{\theta }$：6 层交替自/交叉注意力 Transformer（隐藏维 $d_{\text{dec}}=128$，$D_{\text{dec}}=4$ 头），噪声序列嵌入 ${\mathbb{R}}^{T\times 64}$ 与连续时间步 $\tau \sim \mathrm{Beta}(1.5,1.0)$ 正余弦嵌入 ${\mathbb{R}}^{T\times 64}$ 沿通道拼接为 ${\mathbb{R}}^{T\times 128}$，交叉注意力读取编码器的 $M=64$ 个上下文 Token；
   • 联合优化：AdamW（学习率 $1\times {10}^{-4}$，权重衰减 $1\times {10}^{-4}$），训练 150,000 步，全局 Batch Size 32–64（严格固定 1:1 人机采样比，旗舰与缩放实验均为每步 16 人类 + 16 机器人）：

$${\mathcal{L}}_{\text{BC-cotrain}}(\varphi ,\theta )={\mathcal{L}}_{\text{CFM}}^{\text{robot}}+{\mathcal{L}}_{\text{CFM}}^{\text{human}},{\mathcal{L}}_{\text{CFM}}^e={\mathbb{E}}_{\tau ,a_0,a_1,s}[\Vert {\pi }_{\theta }(x_{\tau },\tau ,f_{\varphi }(s))-(a_0-a_1){\Vert }_2^2]$$

下表汇总跨实验室统一锁定的跨具身策略网络与流匹配训练超参数（Table VII）：

模块分类	超参数项	设定值	设计说明
模态前端（Stems）	视觉骨干 / 模态分支数 $m$	ResNet-18 / $4$	1 路共享主视角 + 2 路机器人腕部相机 + 1 路本体感知
	每分支查询数 $L$ / 注意力头 $D_{\text{stem}}$ / 投影维 $d_{\text{proj}}$	$16$ / $8$ / $256$	将异构传感器特征压缩为统一规格的观测 Token
共享跨具身主干	上下文 Token 数 $M$ / 层数 $N_{\text{enc}}$ / 头数 $D_{\text{enc}}$ / 隐藏维 $d$	$64$ / $16$ / $8$ / $256$	Pre-LN 无掩码双向 Transformer，正余弦位置编码
流匹配动作头	层数 $N_{\text{dec}}$ / 头数 $D_{\text{dec}}$ / 隐藏维 $d_{\text{dec}}$ / 动作块长 $T$	$6$ / $4$ / $128$ / $100$	$\tau \sim \mathrm{Beta}(1.5,1.0)$ 线性插值路径，推理期 10 步欧拉积分
联合优化配置	优化器 / 学习率 / 权重衰减 / 总步数 / 人机批次比	AdamW / ${10}^{-4}$ / ${10}^{-4}$ / $150\text{k}$ / $1:1$	全局 Batch Size 32–64（旗舰与缩放实验固定 16 人 + 16 机）

用大白话说：为了让人手视频真正教得会三台长相完全不同的机器人（两台不同装法的平行夹爪双臂 + 一台五指灵巧手人形机器人），EgoVerse 建立了一套无死角的工程标准件——把晃动的人头坐标系锁死在出招瞬间的相机系，把人手 1 秒钟干完的活和机械臂 1.5 秒干完的活通过 SLERP 拉成同样 100 步，再按 1:1 比例把人手批次和机器人批次同时喂给同一个 16 层 Transformer 主干做流匹配去噪。

四、实验结果

4.1 标准化跨实验室评测协议与赋分细则（Appendix J-2）

所有实验室严格共享每项任务 20 次域内（ID）+ 20 次分布外（OOD，10 次原桌面配人类集独有未见物体 + 10 次全新未知桌面场景） 的闭环真机评测协议，归一化得分为总得分除以满分上限：

• object-in-container：每次成功将物体放入容器得 1 分，每次成功将容器倒空得 1 分，统计 40 秒限时内累计总分并归一化；
• cup-on-saucer（满分 3 分，$\pm {30}^{\circ }$ 随机平面旋转，左右各 10 次）：旋转抓起杯子 1 分 + 双臂成功交接 1 分 + 平稳落碟 1 分；
• bag-grocery（满分 4 分，袋置左、3 件随机排列杂货置右）：撑开袋口 1 分 + 严格按从左到右顺序装入每件物品各 1 分；
• fold-clothes（满分 3 分，$\{0^{\circ },{30}^{\circ },-{30}^{\circ }\}$ 随机旋转）：下摆袖口折叠 1 分 + 上部袖口折叠 1 分 + 整体对折 1 分。

4.2 跨实验室多构型真机共训主实验（Section IV-E & Figure 9）

旗舰共训配置统一采用 Robot + EV(8h) + ID(2h)（跨 4 个采集站聚合的 8 小时 EgoVerse-A 数据 + 2 小时同场景同物体域内人类数据），与 Robot-only 基线对比（数值由官方 Figure 9 原生高分图精确标定）：

评测任务	训练配置	Robot A（直立双臂 ARX5）ID / OOD	Robot B（拟人侧装 ARX5）ID / OOD	Robot C（Unitree G1 + 灵巧手）ID / OOD
object-in-container（单臂连续抓放倾倒）	Robot-only	0.425 / 0.053	0.300 / 0.050	0.450 / 0.100
	+ EgoVerse Co-train	0.520 / 0.175	0.251 / 0.338	0.450 / 0.275
cup-on-saucer（双臂翻转交接落碟）	Robot-only	0.300 / 0.000	0.401 / 0.050	0.200 / 0.100
	+ EgoVerse Co-train	0.450 / 0.100	0.701 / 0.350	0.251 / 0.174
bag-grocery（双臂开袋与有序装袋）	Robot-only	0.251 / 0.124	0.425 / 0.138	0.300 / 0.100
	+ EgoVerse Co-train	0.375 / 0.175	0.101 / 0.138	0.412 / 0.362

跨三大实验室与三大截然不同机器人构型的复现结果揭示了两个深刻事实：

1. 跨构型一致的 OOD 泛化跃升（最高 +30 个百分点）：在全部 3 台机器人、全部 3 项任务的 OOD 评测中，加入 EgoVerse 人类数据共训无一退化、8/9 组显著暴涨——例如 Robot B 在 object-in-container OOD 上从 0.050 飙升至 0.338、在 cup-on-saucer ID/OOD 上分别从 0.401 / 0.050 跃升至 0.701 / 0.350（均 +30.0 pp）；配备五指灵巧手的 Unitree G1（Robot C）在 bag-grocery OOD 上从 0.100 跃升至 0.362（+26.2 pp）。
2. 反常负迁移案例精准定位“执行策略分布对齐”前提（Appendix J-3 & Figure 15）：唯一显著退化出现在 Robot B 的 bag-grocery 域内评测（0.425 $\to$ 0.101）。跨实验室排查发现了清晰的物理根因：受侧向肩部安装的工作空间几何约束，Robot B 遥操作员采用了“单侧夹爪持续撑住袋口 + 另一只夹爪逐一塞入商品”的非对称策略；而 EgoVerse-A 人类演示者与直立安装的 Robot A 遥操作员则一致采用“双手先同时撑开袋口松手立住，再依次抓取装袋”的对称策略！当人机高层任务执行策略发生结构性分叉时，直接动作级 BC 共训会诱发严重的双模态策略冲突。

4.3 域对齐人类数据的“锚定解锁效应”（Domain-Aligned Anchoring，Figure 10）

若没有同场景同物体的域内人类数据（ID），直接拿跨实验室异构场景的 EgoVerse-A（EV）与真机数据硬拼能否奏效？论文固定真机数据量，在三项旗舰任务上系统消融了 6 种人类数据配比（Figure 10 原生高分图精确标定）：

人类数据混合配比	object-in-container 综合得分	fold-clothes 综合得分	bag-grocery 综合得分	缩放机制解读
Robot only（纯真机基线）	0.267	0.366	0.166	无人类数据基准线
+ ID (1h)（仅少量域对齐人类）	0.242	0.383	0.250	场景受限，视觉与物体覆盖不足
+ ID (2h)（仅足量域对齐人类）	0.292	0.299	0.346	单一实验室场景过拟合，甚至在叠衣上轻微退化
+ EV (8h)（仅异构跨站人类，无锚点）	0.267	0.349	0.208	缺乏桥接锚点！8 小时多样数据几乎无法转化（甚至略降）
+ EV (2h) + ID (2h)（锚点 + 单站异构）	0.250	0.466	0.325	2 小时对齐数据开始打通跨站特征对齐桥梁
+ EV (8h) + ID (2h)（锚点 + 四站全量异构）	0.392	0.566	0.379	全面爆发！较纯真机分别暴涨 +12.5 / +20.0 / +21.3 pp

这一对比堪称整篇论文最具工程指导价值的发现：单独塞入 8 小时跨场景异构人类数据（EV(8h)）收益微乎其微，单独采集 2 小时同桌面人类数据（ID(2h)）也很快触顶；但只需用 2 小时与机器人共享场景和物体的 ID 人类数据充当“跨具身语义与视觉桥接锚点（Grounding Anchor）”，就能瞬间激活 8 小时跨站异构人类数据的正向规模缩放定律！

4.4 $16\times 16$ 受控多样性缩放实验：场景广度 vs. 演示人数（Section IV-F & Appendix K）

在严格控制变量的正交子集（16 名演示者 $\times$ 16 个场景）上，使用离线开环轨迹平均均方误差 $\mathrm{Avg}\text{-}\mathrm{MSE}=\frac{1}{TD}\sum _{t=1}^T\Vert {\hat{a}}_t-a_t{\Vert }_2^2$（单位：米，越低越好）在未见演示者与未见跨站场景上评测四大多样性维度（Figure 11, 17, 18 & Tables VIII–XI）：

受控实验机制	固定总时长与变量控制	fold-clothes Avg-MSE 演化	cup-on-saucer Avg-MSE 演化	核心科学结论
（1）单场景演示者缩放	锁死 2 h 单场景，人数 $1\to 2\to 4\to 8\to 16$（每人时长 $120\to 7.5\text{ min}$）	$0.081\to \mathbf{0.056}$ 单调大降	$0.077\to 0.082\to \mathbf{0.068}$ 先波动后大降	增加人数显著提升对未见人体形态与视角习惯的泛化（HPT 64 个动作上下文 Token 的 UMAP 簇重叠度随 $4\to 12$ 人大幅提升，Fig. 12）
（2）多场景演示者缩放	锁死 8 h 跨 8 场景，人数 $4\to 8\to 12$（每对组合 $15\to 3.75\text{ min}$）	$0.0539\to 0.0518\to \mathbf{0.0509}$	$0.1255\to 0.1170\to \mathbf{0.1128}$	在多场景真实分布下，扩展演示者多样性依然稳定降低未见人员预测误差
（3）场景多样性缩放	固定演示者池，场景数 $1\to 2\to 4\to 8\to 16$ $\times$ 数据用量 $6.25\mathrm{\%}\text{–}100\mathrm{\%}$（$3.75\to 960\text{ min}$）	6.25% 预算下 $0.113\to \mathbf{0.097}$；100% 下 $0.091\to \mathbf{0.086}$	100% 预算下 $0.124\to \mathbf{0.098}$ 持续显著下降	场景广度是跨环境泛化的头号驱动力：单场景堆数据很快边际递减，低预算下多铺场景收益极显著
（4）场景 $\times$ 人数联合缩放	锁死 4 h，场景数 $\{4..8\}\times$ 人数 $\{4,8\}$（评测未见场景 + 未见人）	8 人曲线全程低于 4 人，随场景增至 8 降至 $\mathbf{0.070}$	场景 $4\to 8$ 误差从 $0.120\to \mathbf{0.101}$，但 4 人略优于 8 人	场景扩展对一切任务普适有效；人数扩展在自由度高的叠衣上增益明显，但在强几何约束的落碟上过多行为风格噪声会抵消覆盖收益

五、局限性与未来方向

1. 算法范式聚焦于单任务 BC 协同训练，尚未充分挖掘 EgoVerse-I 预训练潜力：本文实证主实验主要围绕 EgoVerse-A 上的从头人机协同训练展开，尚未系统评测在 1,285 小时开放任务 EgoVerse-I 上做大规模多任务语言条件 VLA 预训练 + 少量真机微调（Pretrain-then-Finetune）的收益边界。
2. 受控多样性缩放依赖离线开环 MSE 指标：$16\times 16$ 场景与演示者正交消融为了完成数十组精细网格对比而采用了人类测试集上的离线 Avg-MSE，未来仍需补充大规模物理真机闭环 Rollout 验证离线多样性定律向真机成功率的定量传导比例。
3. 纯动作通道共训对人机策略一致性高度敏感：如 Robot B 在 bag-grocery 上的失利及 Robot C 灵巧手双臂交接杯子的困难（Appendix J-4）所示，当机器人构型约束迫使其采取与人类截然不同的子任务分工策略时，纯动作级 BC 共训会发生负迁移。

六、个人思考

1. EgoVerse 与 EgoWAM 构成了“发现病灶 $\to$ 根治病灶”的姊妹篇闭环：把同出自 Danfei Xu 团队（Georgia Tech RL² Lab）的两篇工作连起来读简直醍醐灌顶！在 EgoVerse 中，作者通过跨三大实验室真机实验发现两条铁律——第一，纯动作级 BC 共训必须依赖 2 小时同场景域对齐人类数据（ID(2h)）做锚点，否则 8 小时野外 EgoVerse-A 数据根本训不动（Fig. 10）；第二，一旦人机操作策略或抓法失配（如 Robot B 的 bag-grocery 或人手侧面握杯 vs. 夹爪正面夹杯），BC 共训立刻负迁移。紧接着在 EgoWAM 中，团队在同一套 ARX5 + Aria 硬件与同一批 EgoVerse 旗舰任务上给出了药方：引入非像素世界模型辅助头（DINO 语义特征或相机稳像 3D Motion Flow）开辟第二监督通道，一举打破了纯动作通道的纠缠瓶颈，不仅彻底扭转了 cup-on-saucer 与 fold-clothes 上的 BC 负迁移，甚至无需任何刻意动作对齐就能直接吃满 20+ 小时野外 EgoVerse 数据的 4 倍 OOD 泛化红利！

2. “2 小时域对齐锚点（Aligned Human Anchor）”对真机数据工程的极高实操价值：在实际落地具身项目时，最常踩的坑就是直接拿几百小时开源人类视频（如 EgoDex 或互联网视频）和自家几十条真机遥操作数据混训，结果发现毫无提升甚至掉点。EgoVerse 的 Figure 10 给出了极低成本的工程解法：在采集真机遥操作数据的同一张桌子、用同一批物体，仅花 1–2 小时戴着头显或手机头带录一批人类裸手做同样任务的“桥接数据（ID Human Data）”。这 2 小时数据同时锚定了“真机视觉场景”与“人类手部具身模态”，能以四两拨千斤的方式把外部上千小时异构场景人类数据的泛化能力引流到目标机器人上——这比 MimicDreamer 那样对每条视频跑重型视频扩散重绘机械臂要轻量得多。

3. 数据采集预算分配的黄金法则——“宁铺十张桌，不刷一张台”：$16\times 16$ 受控矩阵（Fig. 11d）清晰量化了采集边际收益：在总时长固定（例如仅 1–4 小时）的条件下，把时间花在更换 8–16 个真实桌面背景与光照场景（哪怕每个场景只录 3.75–15 分钟），对未知环境泛化的提升远远大于在实验室同一张桌子上反复录制几百条轨迹；而演示者人数只需达到中等规模（4–8 人）即可抹平个体视角偏置，对于强几何约束任务盲目堆叠过多随意发挥的演示者反而可能引入多模态风格噪声。这一发现对设计下一代众包人类数据采集 SOP（如 DreamDojo 的万小时众包采集）具有直接的定量指导意义。

4. 三梯度硬件兼容设计真正打开了具身数据的“众包飞轮”：不同于 UMI 强依赖专用 3D 打印夹爪或 EgoDex 强依赖昂贵的 Apple Vision Pro，EgoVerse 将 75g 的 Aria 眼镜、工业双目立体头显与零门槛的“iPhone + 廉价头带 + 云端 6-DoF 头部与 21 关键点解算”统一映射到完全相同的规范化表示与 EgoDB 夜间 Ray 批处理管线中。这种把“硬件异构性封装在云端预处理层、向算法层暴露统一相机稳像手部轨迹接口”的系统工程设计，是让具身人类数据集从“一次性论文附件”进化为可持续演进开源基础设施的关键一步。

参考

• EgoMimic（Kareer et al., ICRA 2025）/ EgoBridge（Punamiya et al., NeurIPS 2025）：佐治亚理工团队在 Project Aria 第一视角人机协同模仿与域适应方向的前序奠基工作
• EgoDex（Hoque et al., ICLR 2026）：Apple 基于 Vision Pro 发布的 829 小时室内桌面高灵巧度五指操作静态数据集，与 EgoVerse 的全球跨场景动态生态形成正交互补
• EgoWAM（Li et al., CoRL 2026）：直接建立在 EgoVerse 旗舰任务与硬件平台上，用 DINO / 3D Motion Flow 世界预测目标突破纯 BC 人机共训对齐瓶颈的后续代表作
• DreamDojo（Gao et al., ICML 2026）：通过连续潜动作从 44.7k 小时第一视角人类视频中预训练通用机器人视频世界模型的另一主流跨具身技术路线
• MimicDreamer（Li et al., 2025）：通过视点稳定、IK 对齐与视频扩散将人手画面显式重绘为机械臂的数据合成对照路线
• HPT (Heterogeneous Pre-trained Transformers)（Wang et al., NeurIPS 2024）：本文跨具身策略网络所采用的异构模态 Stem + 共享 Transformer 主干架构
• ${\pi }_0$（Black et al., 2024）/ ${\pi }_{0.5}$（Physical Intelligence, 2025）：本文动作分位数归一化与条件流匹配（$\mathrm{Beta}(1.5,1.0)$ 时间步采样）策略解码器的关键算法参照