EgoScale：基于大规模多样化第一视角人类数据的灵巧操作规模化

论文：EgoScale: Scaling Dexterous Manipulation with Diverse Egocentric Human Data

作者：Ruijie Zheng*、Dantong Niu*、Yuqi Xie*、Jing Wang、Mengda Xu、Yunfan Jiang、Fernando Castañeda、Fengyuan Hu、You Liang Tan、Letian Fu、Trevor Darrell、Furong Huang、Yuke Zhu†、Danfei Xu†、Linxi Fan†（* 共同一作，† 项目负责人）

机构：NVIDIA、加州大学伯克利分校（UC Berkeley）、马里兰大学（University of Maryland）

发布时间：2026 年 2 月（arXiv 2602.16710v1）

发表状态：CoRL 2026（Oral，已录用）

🔗 arXiv | PDF | 项目主页

分类标签：VLA 基础模型 第一视角人类视频 22-DoF 灵巧手 对数线性缩放定律 人机对齐中期训练 单样本技能迁移 跨具身运动先验

一句话总结

针对高自由度多指灵巧手遥操作数据极难扩展、而既有第一视角人机迁移研究受限于百小时级小规模或低自由度夹爪的核心瓶颈，提出面向高维灵巧操作的规模化迁移框架 EgoScale：在超过 20,854 小时（较此前工作扩大逾 20 倍）带腕部相对 $\mathrm{SE}(3)$ 运动与 22-DoF 关节重定向监督的第一视角人类视频上预训练流匹配 VLA 模型，首次揭示人类动作预测验证损失随数据规模呈近乎完美的对数线性缩放定律（$R^2=0.9983$）且与真机下游表现在全量程高度正相关；进而提出“大规模无约束人类预训练 + 轻量级（50h 人类 + 4h 机器人）人机传感器与场景对齐中期训练 + 下游后训练”的解耦配方，在搭载 22-DoF Sharpa 灵巧手的 Galaxea R1 Pro 双臂人形平台上将五大长时程精细操作任务平均成功率较无预训练基线提升 54 个百分点（2% → 56%，任务完成度 0.24 → 0.83），涌现出仅凭 1 条机器人演示即可学会未见叠衣（成功率 88%）与拧瓶盖（55.6%）的单样本适应能力，并跨构型迁移至 7-DoF 三指手 Unitree G1 人形机器人（两项任务成功率绝对提升均超 30 个百分点）。

一、问题与动机

1.1 高维灵巧手的数据荒漠与既有 H2R 路线的双重局限

人类日常交互是物理智能最具扩展性的天然数据源：人类在家庭、工厂、商超与维修工坊中高频执行多指协同、工具使用与柔性物体操控，其覆盖度远超任何实验室遥操作集群。随着机器人硬件加速向类人运动学演进（如 20+ 自由度灵巧手），一个根本问题浮出水面：海量、嘈杂的第一视角人类视频能否直接充当高自由度灵巧手操作策略的主力监督信号？

此前的人到机器人（Human-to-Robot, H2R）迁移工作（如 EgoMimic、EgoVLA、DexWild、Humanoid Policy ~ Human Policy 等）虽在受限场景下验证了可行性，但普遍受困于两道边界：

1. 数据规模停留在十至百小时量级：既有方法高度依赖佩戴专用动捕设备或在受控桌面采集的小规模人类演示，尚未触及万小时级野外（in-the-wild）数据的缩放区间，无法回答“嘈杂单目手部追踪误差是否会被数据规模与多样性稀释并转化为可预测的性能增益”。
2. 动作抽象集中于平行夹爪或低维末端：大量工作仅迁移手腕 6-DoF 轨迹并将手部简化为二值开合，丢失了搓牌、持镊子、推注射器活塞等接触密集型任务所必需的指间精细关节协同（fine-grained finger articulation）。

1.2 核心洞见：将“数据规模扩张”与“具身精确对齐”彻底解耦

要在野外人类视频上实现万小时级扩展，就必须容忍无约束单目 SLAM 与手部姿态估计的固有噪声，以及人机在相机内参、安装视角、工作空间与动力学上的巨大鸿沟；反之，若在预训练阶段强求严格的人机硬件对齐（如穿戴式外骨骼或同构双腕相机），数据采集成本又会退化回近似遥操作的线性瓶颈。

EgoScale 的核心架构哲学是用两阶段迁移将“规模（Scale）”与“对齐（Alignment）”彻底解耦：

• 第一阶段（Stage I 大规模人类预训练）追求极致的开放世界覆盖度与运动先验：不苛求传感器同构，直接利用现成视觉感知管线从 20,854 小时野外第一视角视频中提取消除全局头动的腕部相对 $\mathrm{SE}(3)$ 位移 + 运动学约束下的 22-DoF 灵巧手重定向关节角，全参数放开训练 VLA 模型，迫使主干学习与操作直接相关的物理手物交互结构而非任务无关的静态视觉特征；
• 第二阶段（Stage II 轻量级人机对齐中期训练）追求低成本精确锚定：仅需在机器人同款三相机布局与动捕手套下采集 50 小时人类 + 4 小时机器人桌面对齐交互（Play Data），冻结语言主干、微调视觉编码器与动作专家，即可将第一阶段习得的具身无关运动原语精准锚定到目标机器人的视觉感知与控制接口上。

二、预备知识

2.1 GR00T N1 双系统流匹配 VLA 与跨具身适配器范式

EgoScale 沿用 GR00T N1（NVIDIA, 2025）建立的视觉-语言-动作架构：由互联网图文预训练的视觉-语言主干（VLM）将当前视觉帧 $I_t$ 与自然语言指令 $l_t$ 编码为语义上下文特征 ${\phi }_t=\mathrm{VLM}(I_t,l_t)$，再交由基于扩散 Transformer（DiT Action Expert）的连续动作头通过条件流匹配（Conditional Flow Matching, CFM）生成未来 $H$ 步动作块 ${\mathbf{A}}_t={\mathbf{a}}_{t:t+H}$。给定真实动作块 ${\mathbf{A}}_t$、高斯噪声 $\mathit{ϵ}\sim \mathcal{N}(\mathbf{0},\mathbf{I})$ 与流时间步 $\tau \in [0,1]$，构造线性插值加噪动作 ${\mathbf{A}}_t^{\tau }=(1-\tau )\mathit{ϵ}+\tau {\mathbf{A}}_t$，DiT 动作专家最小化速度场预测损失：

$${\mathcal{L}}_{\text{CFM}}(\theta )={\mathbb{E}}_{({\mathbf{o}}_t,{\mathbf{A}}_t),\tau ,\mathit{ϵ}}[\Vert {\mathbf{v}}_{\theta }({\mathbf{A}}_t^{\tau },\tau ,{\phi }_t,{\mathbf{e}}_{\text{state}}({\mathbf{q}}_t))-({\mathbf{A}}_t-\mathit{ϵ}){\Vert }_2^2]$$

为兼容本体状态维度与末端自由度各异的多种机器人构型 $k$，GR00T N1 在 DiT 前后引入轻量的具身条件化 MLP 适配器 $({\mathbf{e}}_{\text{state}}^{(k)},{\mathbf{e}}_{\text{act}}^{(k)},{\mathbf{d}}_{\text{act}}^{(k)})$，将异构状态与动作投影至共享潜在维度，使中间高容量的 VLM 与 DiT 主体得以跨构型完全共享。

2.2 相机运动解耦的 $\mathrm{SE}(3)$ 局部相对位姿变换

在头戴式第一视角视频中，人手关键点原生观测于随佩戴者头部剧烈晃动的瞬时相机系 ${\mathcal{F}}_c^t$。若直接在瞬时相机系下定义多步动作轨迹，佩戴者单纯的低头或转头就会在动作标签中注入虚假的手臂位移；若直接在全局世界系 ${\mathcal{F}}_w$ 下定义绝对位姿，则会因 SLAM 尺度漂移与人机基座安装位置不同而丧失跨场景不变性。通过先借相机外参 ${\mathbf{T}}_{w\leftarrow c}^t\in \mathrm{SE}(3)$ 将各步手腕位姿抬升至世界系，再左乘当前动作块起始帧世界位姿的逆矩阵 $({\mathbf{W}}_w^0{)}^{-1}$，即可严格消去全局坐标系原点选择与后续头动干扰，提取纯粹的手臂局部物理运动增量。

三、核心方法

3.1 统一跨具身灵巧动作表征与手部运动学重定向

每条野外人类视频包含头戴式第一视角 30 FPS RGB 序列，以及由现成 SLAM 与手部姿态估计算法恢复的相机轨迹 ${\mathbf{T}}_{w\leftarrow c}^t\in \mathrm{SE}(3)$ 和双手相机系下的 21 个关键点刚体变换 ${\mathbf{H}}_{c,i}^t\in \mathrm{SE}(3)$（$i=1,\dots ,21$，其中 $i=1$ 为手腕）。首先计算 $t$ 时刻世界系下的手腕位姿：

$${\mathbf{W}}_w^t={\mathbf{T}}_{w\leftarrow c}^t{\mathbf{H}}_{c,1}^t\in \mathrm{SE}(3)$$

进而将动作块内时间步 $t$ 的手臂级运动统一定义为相对于动作块起始时刻 $t=0$ 的局部腕部相对刚体变换，该表征在所有人类演示与所有目标机器人末端控制中 100% 共享：

$$\mathrm{\Delta }{\mathbf{W}}^t=({\mathbf{W}}_w^0{)}^{-1}{\mathbf{W}}_w^t\in \mathrm{SE}(3)$$

对于手指级精细关节控制，论文摒弃了无手指监督的纯手腕表征（Wrist-Only）及易产生非物理关节构型的指尖笛卡尔表征（Fingertip $\mathrm{SE}(3)$），直接通过逐帧非线性优化将人手关键点重定向至目标 22-DoF Sharpa Wave 灵巧手关节空间 ${\mathbf{q}}_{\text{hand}}^t\in {\mathbb{R}}^{22}$（附录 D）：

1. URDF 正向运动学建模：建立 Sharpa 灵巧手正向运动学映射 $\mathrm{FK}(\mathbf{q})$，将 22 个关节角映射为 20 个机器人手部关键点位姿（三维位置与四元数朝向）；
2. 带物理限位的逐帧非线性规划：在每一帧 $t$，仅受限于 URDF 物理关节上下界约束 ${\mathbf{q}}_{min}\le \mathbf{q}\le {\mathbf{q}}_{max}$，最小化匹配人手关键点几何结构及捏合（pinch）/握拳（fist）语义的多目标加权损失；具体基于 CasADi 框架调用 IPOPT 求解非线性规划，并以 $t-1$ 帧最优解做热启动（warm-start）以保障帧间解的连续性与求解效率：

$${\hat{\mathbf{q}}}_{\text{raw}}^t=\arg \underset{{\mathbf{q}}_{min}\le \mathbf{q}\le {\mathbf{q}}_{max}}{min}{\mathcal{J}}_{\text{retarget}}(\mathrm{FK}(\mathbf{q}),\{{\mathbf{H}}_{c,i}^t{\}}_{i=1}^{21})$$

3. 时序一阶指数平滑滤波：对求解出的原始关节角序列施加一阶指数低通滤波 ${\mathbf{q}}_{\text{hand}}^t=\alpha {\hat{\mathbf{q}}}_{\text{raw}}^t+(1-\alpha ){\mathbf{q}}_{\text{hand}}^{t-1}$，滤除单目视觉追踪的高频抖动，得到既满足机械限位又完整保留多指协同接触结构的 22 维关节目标角。

用大白话说：为什么不在预训练时直接预测人手指尖的 3D 坐标，到真机上再接一个 MLP 转成关节角？因为多指接触极其脆弱——指尖在三维空间里哪怕偏了 2 毫米，直接丢给无约束 MLP 映射都可能算出手指互相穿模或撞死机械限位的畸变构型（后文消融证明搓牌完成度会从 0.74 暴跌到 0.17）；而在数据预处理阶段先用带 URDF 硬约束的 IPOPT 优化器把人手动作“投影”到合法的 22-DoF 灵巧手流形上，相当于让 VLA 从第一天起就在物理可执行的关节空间里学习抓握语法。更妙的是，这个高维 22-DoF 先验并不是死绑在 Sharpa 手上，后续只需挂一层极薄的 MLP 适配器就能顺畅向下兼容 7-DoF 三指手。

3.2 两阶段异构人类语料与人机对齐数据体系

数据集阶段	总时长与构成	覆盖范围与任务规模	采集硬件与感知/动作标注方式	核心职能定位
Stage I：大规模人类预训练语料	20,854 h（野外第一视角主语料 + 829 h EgoDex）	9,869 个场景、6,015 项任务、43,237 类物体（EgoDex 含 194 项桌面操作）	30 FPS 头戴 RGB + 现成 SLAM/手部追踪（EgoDex 由 Apple Vision Pro 提供高精度原生手腕追踪锚定）	提供长尾开放世界的场景语义覆盖与多指灵巧操作运动先验
Stage II：对齐人机中期训练语料	50 h 人类 + 4 h 机器人（比例约 12.5:1）	344 项桌面操作任务（每任务约 30 条人类轨迹 + 5 条机器人遥操作轨迹）	与真机严格同构：头戴 OAK-D-Wide + 双腕内侧朝掌心 OAK-1-Wide（标定内参一致）；Vive Tracker 测腕部 6-DoF + Manus 手套测 25 关节变换	以极低成本提供精确人机感知-动作对应，将抽象运动先验锚定至机器人控制空间
Stage III：下游后训练语料	单任务 20–100 条机器人演示（单样本设置仅 1 条机器人 + 100 条对齐人类）	5 项长时程高灵巧真机评测任务 + 2 项未见单样本迁移任务 + 2 项 G1 跨具身任务	Galaxea R1 Pro（22-DoF Sharpa 手）或 Unitree G1（7-DoF 三指手）真机遥操作	针对特定下游任务或新构型完成末端精细策略特化

附录 C 对 Stage I 超过 2 万小时野外语料的长尾统计揭示了其远超实验室遥操作的组合多样性（仅统计时长超 50 小时的大类）：

统计维度	高频主导类别与占比明细	长尾覆盖特征
行业大类（Category）	零售与消费品（20.1%）、服装时尚（11.8%）、维修服务（11.5%）、餐饮（11.5%）、家居（9.5%）、建筑五金（7.7%）、食品加工（6.7%）、印刷设计（4.4%）	延伸至酒店服务、汽车运输、体育休闲、教育、医疗保健、能源与重工业
物理环境（Environment）	住宅、花店、电子维修铺、家具修复坊、木工车间、服装店	杂货商超、烘焙坊、工厂产线、画室、图书馆等数十类真实服务空间
操作任务（Task）	叠衣、刷鞋、盆栽移栽、熨烫、折纸箱、插花、木料打磨、备餐	打包、分拣、精密拆装、焊接、装瓶、充气等多步持续物理接触任务
物体词表（Object）	纸箱、塑料袋、碗盘、托盘、胶带、衣物、面团、电池、电路板	43,237 种物体与 6,015 项任务高频共现，支撑强组合泛化

3.3 缺失本体占位符与三阶段分层冻结训练配方

为在不改动网络拓扑的前提下统一处理“无机器人本体反馈的人类视频”与“带本体反馈的多构型机器人轨迹”，EgoScale 引入两项极简接口设计：

1. 缺失本体感知的可学习占位符（Learnable Proprioception Placeholder）：机器人批次输入真实关节/末端状态 ${\mathbf{q}}_t$，人类批次则用同一个可学习占位符 Token ${\mathbf{p}}_{\text{empty}}$ 替代 ${\mathbf{q}}_t$；
2. 共享腕部通道 + 手部具身适配器：相对腕部 $\mathrm{SE}(3)$ 增量 $\mathrm{\Delta }{\mathbf{W}}^t$、VLM 主干与 DiT 动作专家跨人类与所有机器人完全共享，仅在手部关节输入/输出端为新增构型（如 7-DoF G1 三指手）挂载轻量 MLP 适配器。

在此之上，三阶段训练对参数冻结范围与算力配置进行了精细切分：

训练阶段	训练数据	训练步数 / 全局批大小	学习率与硬件规模	模块冻结与更新策略	设计动因
Stage I：Human Pretraining	20,854 h 第一视角人类数据	100K 步 / BS = 8,192	$5\times {10}^{-5}$（256 × GB200）	全模型全参数解冻（VLM + 视觉编码器 + DiT + 适配器）	最大化模型容量以吸收两万小时跨场景开放手物交互先验
Stage II：Aligned Mid-Training	50 h 人类 + 4 h 机器人对齐数据	50K 步 / BS = 2,048	$3\times {10}^{-5}$	冻结 VLM 语言主干；仅更新视觉编码器 + DiT 动作专家 + 状态动作适配器	保留开放世界语义结构，同时将视觉特征（新增双腕近距视角）与动作流形锚定至机器人硬件
Stage III：Post-Training	单任务机器人演示（20–100 条或 1 条）	10K 步 / BS = 512	$3\times {10}^{-5}$	若经 Stage II 则冻结视觉编码器仅训动作侧；若跳过 Stage II 或遇新构型则解冻视觉编码器	防止小样本微调过拟合窄域视觉外观，快速收敛至高精度闭环控制

3.4 跨具身适配器的潜在空间投影机制（Appendix D.1）

针对运动学与手部构型截然不同的新机器人（如仅配 7-DoF 三指手的 Unitree G1），EgoScale 无需从头预训练，而是通过三层分工实现跨具身迁移：

1. 全构型共享局部腕部动作：所有人类与机器人构型 $k$ 统一采用帧间相对腕部刚体变换 $\mathrm{\Delta }{\mathbf{W}}^t\in \mathrm{SE}(3)$，对基座绝对工作空间、相机外参位置及臂长差异天然不变。
2. 具身条件化状态-动作编解码：设构型 $k$ 的本体感知为 ${\mathbf{q}}_t^{(k)}$，手部加噪关节动作为 ${\mathbf{a}}_{\text{hand}}^{\tau ,(k)}\in {\mathbb{R}}^{d_k}$（Sharpa 手 $d_k=22$，G1 三指手 $d_k=7$）。输入输出侧轻量 MLP 适配器将其映射至共享 DiT 潜在空间并解码回各自关节空间：

$${\mathbf{z}}_{\text{in}}^{(k)}={\mathrm{Enc}}_{\text{state}}^{(k)}({\mathbf{q}}_t^{(k)})\oplus {\mathrm{Enc}}_{\text{act}}^{(k)}(\mathrm{\Delta }{\mathbf{W}}^{\tau },{\mathbf{a}}_{\text{hand}}^{\tau ,(k)}),({\hat{\mathbf{v}}}_{\text{wrist}},{\hat{\mathbf{v}}}_{\text{hand}}^{(k)})={\mathrm{Dec}}_{\text{act}}^{(k)}(\mathrm{DiT}({\mathbf{z}}_{\text{in}}^{(k)},\tau ,{\phi }_t))$$

3. 冻结语义主干的特定构型中期对齐：在 Stage II 中期训练混入少量 G1 Play 数据，冻结 VLM 语言主干，仅联合更新视觉编码器、共享 DiT 动作专家及构型特定的 ${\mathrm{Enc}}^{(k)}/{\mathrm{Dec}}^{(k)}$，将 22-DoF 人类预训练习得的抓取闭合与多指协同结构无损对齐至 7-DoF 三指手控制接口。

四、实验结果

4.1 真机硬件平台、五大高灵巧评测任务与评分准则

主实验部署于固定底盘躯干的 Galaxea R1 Pro 双臂轮式人形机器人（双 7-DoF 机械臂采用与人类一致的相对末端 $\mathrm{SE}(3)$ 控制，双手为关节空间直接控制的 22-DoF Sharpa Wave 灵巧手；头部 1 台 OAK-D-Wide + 双腕内侧朝掌心各 1 台 OAK-1-Wide 相机）。论文设计了 5 项涵盖柔性变形、微距搓捻、工具传递、多圈连续旋转与多步精密对准的硬核任务（除 Shirt Rolling 仅用 20 条演示外，其余每任务提供 100 条遥操作演示；每种方法独立训练 2 个随机种子，每个检查点借助图像叠加对齐初始位姿评测 10–16 次，同时报告连续任务完成度得分 TCS $\in [0,1]$ 与端到端二值成功率 SR）：

1. Shirt Rolling（双臂卷 T 恤入筐，20 条演示）：双手交替折叠并将 T 恤紧密卷成圆柱状放入篮中（进度制评分：初折 0.3 → 多折/半卷 0.5 → 卷紧成型 0.8 → 入筐 1.0）。
2. Card Sorting（紧叠牌堆单张搓牌分拣，100 条演示）：用手指搓开紧贴牌堆分离出单张卡牌，按颜色精准插入对应卡槽（扰乱整叠得 0 分，误抓多张 0.3，单张分离 0.5，精准无扰入槽 1.0）。
3. Tong Fruit Transfer（灵巧持镊夹水果，100 条演示）：从工具盒抓起食品镊，用镊子夹起柠檬或李子放入篮中并归还镊子（累加制：抓镊 +0.4、夹果 +0.2、入篮 +0.2、放回镊子 +0.2）。
4. Bottle Cap Unscrewing（多尺寸连续拧瓶盖，4 类瓶 × 25 条演示）：稳固抓瓶并多圈连续旋转拧下小瓶盖放到桌面（抓瓶 +0.1、连续拧满 3 圈以上 +0.5、完全取下 +0.2、放妥 +0.2）。
5. Syringe Liquid Transfer（注射器抽液注液与丢弃，100 条演示，最难长时程任务）：拿起注射器（+0.1）→ 对准试管 A（+0.1）→ 手指拉动活塞抽液（+0.2）→ 移至试管 B 对准（+0.1）→ 推动活塞注液（+0.2）→ 交接/释放（+0.2）→ 丢入垃圾桶（+0.1）。

附录 B 给出了全文评测的全部 9 项真机任务（5 项主实验任务 + 2 项单样本未见任务 + 2 项 G1 跨具身任务）的自然语言指令、评测轮次与连续完成度评分策略（解耦子技能任务采用累加制 Additive，柔性连续耦合任务采用里程碑进度制 Progress-based）：

硬件平台与评测集	任务名称	输入自然语言指令	计分机制	阶段赋分细则（满分 1.0）	单种子评测轮次
R1 Pro（主实验）	Shirt Rolling	"Roll the T-shirt and put it into the basket."	进度制	初折 0.3 → 多折/半卷 0.5 → 卷紧成紧凑圆柱 0.8 → 放入篮中 1.0	10 次
R1 Pro（主实验）	Card Sorting	"Pick up the card and sort it into the correct card holder."	进度制	扰乱整叠 0.0 → 误抓多张 0.3 → 单张分离抓起 0.5 → 放置明显扰动 0.7 → 轻微扰动 0.9 → 干净入槽 1.0	10 次
R1 Pro（主实验）	Tong Fruit	"Use the tong to pick up the fruit and place it into the basket."	累加制	成功抓镊 +0.4；夹起柠檬/李子 +0.2；水果入篮 +0.2；镊子归位桌面 +0.2	10 次（2 果 × 5）
R1 Pro（主实验）	Bottle Cap	"Unscrew the cap from the bottle."	累加制	稳抓瓶身 +0.1；连续旋转拧盖 $\ge 3$ 圈 +0.5；完全拧下瓶盖 +0.2；瓶盖放妥桌面 +0.2	12–16 次（4 瓶）
R1 Pro（主实验）	Syringe	"Pick up the syringe, draw liquid from tube A, inject it into tube B, and throw the syringe into the trash can."	累加制	抓注射器 +0.1；对准管 A +0.1；拉活塞抽液 +0.2；重对准管 B +0.1；推活塞注液 +0.2；交接/松手 +0.2；丢入桶 +0.1	10 次
R1 Pro（1-Shot）	Fold T-Shirt	"Fold the T-shirt."	累加制	折妥单袖 +0.4；折妥双袖 +0.4；完成底部对折 +0.3（折叠凌乱扣减 -0.1，上限截断 1.0）	10 次
R1 Pro（1-Shot）	Water Bottle	"Unscrew the cap from the water bottle."	累加制	抓瓶 +0.1；拧转 1–2 圈 +0.2；连续拧转 $\ge 3$ 圈 +0.5；取下瓶盖 +0.2；放妥桌面 +0.2（上限 1.0）	3 瓶几何变体
Unitree G1（7-DoF）	Pen in Bin	"Marker canister task."	累加制	打开/拿起笔筒盖 +0.25；平稳放妥 +0.25；抓起马克笔 +0.25；将笔放入筒内 +0.25	10 次
Unitree G1（7-DoF）	Dish in Rack	"Put plates on dishrack."	累加制	共 3 个餐盘，每盘独立计分：抓起 +0.11 + 双手交接 +0.11 + 竖直插入碗架 +0.11（三盘满分 1.0）	10 次

4.2 主实验结果：大规模人类预训练与对齐中期训练的协同增益（RQ1）

下表完整汇总四类检查点在 Galaxea R1 Pro + 22-DoF Sharpa 灵巧手五大任务上的完成度得分（TCS）与成功率（SR）（Figure 4）：

训练配置	Shirt (TCS / SR)	Card (TCS / SR)	Tong (TCS / SR)	Bottle (TCS / SR)	Syringe (TCS / SR)	五任务平均 (TCS / SR)
No Pretrain（从零训练）	0.40 / 5%	0.14 / 0%	0.35 / 5%	0.18 / 0%	0.16 / 0%	0.24 / 2%
Midtrain Only（仅 54h 对齐数据预训练）	0.55 / 20%	0.54 / 50%	0.85 / 60%	0.51 / 10%	0.23 / 0%	0.53 / 28%
Human Pretrain（仅 20.8k h 人类预训练）	0.83 / 40%	0.74 / 70%	0.79 / 45%	0.63 / 21%	0.53 / 17%	0.71 / 38%
Human Pretrain + Midtrain（完整 EgoScale）	0.90 / 50%	0.87 / 65%	0.87 / 65%	0.82 / 59%	0.70 / 42%	0.83 / 56%

核心实验结论极为清晰：

• 无预训练基线在高维灵巧控制上几乎全面崩溃：仅靠 20–100 条 22-DoF 真机演示从头训练，平均成功率仅 2%（搓牌、拧瓶盖、推拉注射器全部 0%），证明高自由度指间接触策略极难从少量遥操作中冷启动。
• 嘈杂但海量的野外人类预训练击败精确同构的小规模对齐数据：尽管 Stage I 人类视频既无双腕视角、又无动捕手套精度且与下游任务未对齐，Human Pretrain（平均 TCS 0.71 / SR 38%）依然在 4/5 个任务上大幅反超传感器完全同构的 Midtrain Only（0.53 / 28%），并在最难的 Syringe 上首次解锁非零成功率（0% → 17%，TCS 0.23 → 0.53）。
• “规模 + 对齐”强强互补：叠加上 54 小时对齐中期训练后，平均完成度跃升至 0.83（较无预训练 +59 pp），平均成功率达 56%（绝对提升 +54 pp），其中 Bottle 从 21% 暴涨至 59%，Syringe 从 17% 翻倍以上至 42%。

4.3 人类预训练数据的对数线性缩放定律（RQ2）

为排除 Stage II 的干扰、纯粹刻画人类预训练规模 $D\in \{1\text{k},2\text{k},4\text{k},10\text{k},20\text{k}\}$（小时）的缩放效应，论文在保留的 2,000 条人类第一视角验证集上（每条随机取 20 个时间步，每步对流匹配策略采样 16 次取均值计算腕部与手指动作 MSE）测量收敛时的最优验证损失 $\mathcal{L}$，并将各规模检查点直接送入 Stage III 真机后训练评测（Figure 5）：

1. 小数据早熟过拟合 vs. 大数据单调下降：1k 与 2k 小时模型在训练中后期验证损失停滞甚至回升（过拟合有限行为模式），而 10k 与 20k 小时模型在 100K 步全程保持平滑单调下降。
2. 近乎完美的对数线性缩放定律（Log-Linear Scaling Law）：最优人类动作验证损失 $\mathcal{L}$ 与人类数据时长 $D$（公式按千小时标度拟合，1k 小时对应 $\mathcal{L}\approx 0.024$，20k 小时降至 $\approx 0.015$）满足：

$$\mathcal{L}=0.024-0.003\cdot \ln (D),R^2=0.9983$$

3. 离线人类验证损失直接预测真机灵巧操作上限：随着预训练规模从 1k 扩展至 20k 小时，真机五任务平均完成度呈现严格单调攀升且毫无饱和迹象：

Stage I 人类预训练数据规模	1,000 h	2,000 h	4,000 h	10,000 h	20,000 h	缩放趋势
真机下游平均任务完成度（Avg. TCS）	0.30	0.45	0.48	0.57	0.71	全区间单调增长（+41 pp），未见收益递减

这一结果首次在 22-DoF 灵巧操作上确立了离线人类动作预测损失作为具身控制能力可靠代理指标（Proxy Metric）的科学地位。

4.4 涌现式单样本新技能适应、跨构型迁移与手部动作空间消融（RQ3–RQ5）

（1）单样本未见技能迁移（One-Shot Transfer，Figure 6）

在 Stage II 中期训练均未包含的新任务 Fold Shirt（三步叠衣）与 Unscrewing Water Bottles（3 种不同几何瓶型的拧盖）上，后训练仅提供 每物体 1 条机器人演示 + 100 条同视角对齐人类演示：

方法配置	Fold Shirt（1 条机器人演示）TCS / SR	Unscrew Water Bottle（每瓶 1 条机器人演示）TCS / SR	单样本泛化表现
Midtrain Only	0.25 / 15.0%	0.10 / 0.0%	缺乏通用动作结构，无法从单条真机轨迹泛化
Human Pretrain	0.65 / 35.0%	0.10 / 0.0%	虽有语义动作基础，但人机传感器/动作未对齐导致精密拧盖全败
Human Pretrain + Midtrain	0.92 / 88.0%	0.64 / 55.6%	涌现单样本适应：借中期训练共享运动原语精准迁移人类演示

（2）向低自由度异构人形机器人的跨具身迁移（Unitree G1 7-DoF 三指手，Figure 7）

将基于 22-DoF Sharpa 手空间预训练的模型迁移至臂长更短、工作空间更小且仅配备 7-DoF 三指手的 Unitree G1 人形机器人（上肢由 EgoScale 控制，下肢平衡由 Homie 策略维持；在 Stage II 对齐混合集中加入少量 G1 Play 数据并挂载 G1 状态-动作 MLP 适配器），评测双臂协同任务 Pen in Bin（左臂开桶盖 + 右手抓马克笔入桶）与 Dish Handover in Rack（3 个餐盘左右手交接并竖直插架，2 种子 × 10 次测试）：

方法配置（均非从零训练，共享相同 G1 下游数据）	Pen in Bin (TCS / SR)	Dish in Rack (TCS / SR)	跨具身迁移增益（相对纯 G1 数据训练）
Midtrain Only（无 20.8k h 人类预训练，仅训 G1 对齐+下游数据）	0.45 / 30%	0.54 / 20%	基线参照（排除“多见了 G1 轨迹”的干扰）
Human Pretrain（22-DoF 人类预训练 → 直接微调 G1 下游）	0.68 / 30%	0.58 / 20%	完成度显著提升，但缺乏中期对齐卡在最后成功率环节
Human Pretrain + Midtrain（22-DoF 人类预训练 + 含 G1 中期对齐）	0.83 / 67%	0.88 / 50%	两项任务成功率分别暴涨 +37 pp 与 +30 pp，动作平滑度显著改善

（3）人类预训练手部动作表征空间消融（Figure 8）

对比 Stage I 预训练的三种手部监督空间（直接微调评测 Card、Tong、Bottle 三项强手指接触任务完成度）：

预训练手部动作表征	Card TCS	Tong TCS	Bottle TCS	三任务均值	失效机理诊断
Wrist Only（仅腕部 6-DoF，无手指监督）	0.56	0.24	0.26	0.35	握力过弱、抓握高度失稳或过早闭掌导致接触丢失
Fingertip（腕部 + 指尖 $\mathrm{SE}(3)$ + MLP 映射关节，类 EgoVLA）	0.17	0.76	0.55	0.49	指尖微小姿态误差经 MLP 映射后产生物理不可行的畸变关节角，搓牌崩溃
Full（CasADi/IPOPT 重定向 22-DoF 关节空间）	0.74	0.79	0.61	0.71	全程最高且最稳健：在预训练期即强制满足运动学限位与多指接触结构

五、局限性与未来方向

1. 模型参数规模尚未与人类数据规模同步联合扩展：本文在 1k–20k 小时区间固定了同一 VLA 模型容量，虽未观测到数据饱和，但在长时程规划与组合技能泛化上仍需探索“数据量 + 模型参数量”的双维联合缩放定律。
2. 强依赖显式三维手部追踪与逐帧重定向伪标签：Stage I 仍需现成 SLAM 与手部姿态估计器提取 21 关键点再经 IPOPT 求解；对于手部严重遮挡或无可靠三维手部追踪的海量互联网视频，未来需结合自监督/世界动力学目标联合吸收。
3. 新技能迁移仍需至少 1 条机器人演示与同构中期对齐数据：当前尚不能在未见构型或未见技能上实现纯粹的零样本（Zero-Shot）跨具身部署，随着灵巧手硬件进一步趋近人手运动学，具身鸿沟有望继续收敛。

六、个人思考

1. 与 Emergence-H2R 及 HumanScale 共同拼出“具身人类数据缩放”的三块核心拼图：把这三篇代表作并置对比极其精彩——Physical Intelligence 的 Emergence-H2R 固定下游十余小时人类数据、缩放机器人预训练多样性，发现机器人预训练跨过临界阈值后才会涌现无显式对齐的 H2R 迁移；HumanScale 在 5,000 小时同规模控制变量下正面对比人类视频预训练 vs. 真机遥操作预训练（基于 WAM），证明人类视频在 OOD 泛化上完胜真机语料；而 EgoScale 则直接把纯人类灵巧动作预训练推上 20,854 小时 + 256 张 GB200 的工业级尺度，在 22-DoF 多指灵巧手上打出了 $R^2=0.9983$ 的对数线性缩放曲线，证明即便第一阶段完全不用任何机器人数据，纯粹靠海量带噪人手运动也能训出跨构型通用的灵巧运动先验。
2. “Mid-Training（中期对齐训练）”范式对具身基座工程的极高实用价值：EgoScale 最值得借鉴的工程洞见不是“堆 2 万小时数据”，而是 Stage I（20,854h 脏但广）与 Stage II（50h 人 + 4h 机，小但精）的职责切分与分层冻结策略。相比 Qwen-RobotManip 与 MimicDreamer 在前端把人类视频重渲染成机械臂画面的高算力合成路线，或 Being-H0 / Being-H0.5 / VITRA 在统一手部/动作空间做大规模跨构型预训练的路线，EgoScale 证明只需 4 小时真机 + 50 小时同相机布局手套人类 Play 数据并冻结 VLM 语言主干，就能把单视角野外预训练特征无缝嫁接到三相机（含双腕近距相机）的机器人闭环控制上，甚至解锁 1-shot 新任务学习。
3. 高维灵巧手动作先验“向下兼容”低维手的反直觉启示：在 22-DoF Sharpa 手空间重定向预训练出的 DiT 动作专家，仅靠输入输出侧轻量的 MLP 适配器 + 少量 G1 对齐数据，就能在形态截然不同的 7-DoF 三指手 Unitree G1 上把成功率翻倍（30% → 67%、20% → 50%）。这说明高自由度人手关节空间编码的是“张手接近—包络闭合—多指施力协同”的低维本征抓取流形；高维先验向低维执行器投影是信息压缩（容易成功），反之若像传统夹爪预训练那样先压成 1-D 开合，就永远无法反向恢复多指灵巧操作。此外，结合 EgoWAM 的结论，若在 EgoScale 的 Stage I 中进一步叠加相机稳像 3D Flow 或 DINO 世界模型辅助头，有望把单目手部追踪失败的遮挡帧也充分利用起来。

参考

• GR00T N1（NVIDIA et al., 2025）：EgoScale 所直接继承的 VLM + 流匹配 DiT 动作专家与跨具身状态-动作 MLP 适配器架构
• EgoDex（Hoque et al., 2025）：本文 Stage I 预训练混合语料中用于提供高精度手腕运动学锚定的 829 小时 Apple Vision Pro 灵巧操作数据集
• Emergence-H2R（Kareer et al., RSS 2026）：从另一正交维度揭示多样化机器人 VLA 预训练（基于 ${\pi }_{0.5}$）如何涌现人机表征对齐与零显式对齐 H2R 迁移
• HumanScale（Ma et al., 2026）：在 5,000 小时同规模受控条件下系统证明第一视角人类视频预训练在 OOD 泛化上超越真机遥操作数据
• Being-H0 / Being-H0.5 / VITRA：大规模人类手部三维动作预训练与跨具身 VLA 基座的系列代表工作
• EgoVerse / EgoWAM：开放场景第一视角人类操作数据集及引入非像素世界动力学监督解决人机动作失配的互补方案
• Sharpa Wave（Sharpa Robotics, 2024）/ Homie（Ben et al., 2025）：本文真机实验分别采用的 22-DoF 高灵巧机械手与 Unitree G1 全身下肢平衡控制器