Emergence-H2R：视觉-语言-动作模型中人到机器人迁移能力的涌现

论文：Emergence of Human to Robot Transfer in Vision-Language-Action Models

作者：Simar Kareer*、Karl Pertsch、James Darpinian、Judy Hoffman、Danfei Xu、Sergey Levine、Chelsea Finn、Suraj Nair（* 于 Physical Intelligence 实习期间完成）

机构：Physical Intelligence ($\pi$)、佐治亚理工学院（Georgia Institute of Technology）

发布时间：2025 年 12 月（arXiv 2512.22414v1）

发表状态：RSS 2026（已录用）

🔗 arXiv | PDF | RSS 2026 论文 | 项目主页

分类标签：VLA 基础模型 π0.5 涌现能力 人到机器人迁移 零显式对齐共训 跨具身表征对齐 高低层联合预测

一句话总结

针对传统人到机器人（H2R）技能迁移高度依赖繁琐的人工运动学重定向、AR/VR 机械臂视觉叠加或对比域适应损失的瓶颈，受大语言模型“规模与多样性解锁新能力涌现”启发，提出零显式对齐的人机协同微调配方（${\pi }_{0.5}+\text{ego}$）：直接将带三维手部追踪与稠密子任务语言标注的第一视角人类视频视作多构型混合训练中的“又一种机器人构型”，与近邻机器人数据按 50:50 比例、完全相同的高层子任务语言预测 + 低层连续流匹配/离散 FAST 动作预测目标联合微调；在四大“仅在人类视频中展示新概念”的真机泛化基准（未见公寓厨房/卧室场景、未见餐桌清理物体、未见按色分拣鸡蛋任务语义）上揭示核心科学规律——人到机器人迁移是多样化 VLA 预训练的涌现属性（Emergent Property）：预训练多样性不足（0%–25%）时模型内部人机表征完全割裂且迁移增益为零，一旦跨场景、跨任务与跨机器人构型预训练越过临界阈值（75% → 100% + X-Emb），VLM 主干自发涌现出具身无关的共享潜在表征（t-SNE 流形收敛重叠），使四项泛化任务平均得分近乎翻倍（34% → 59%，如 Spice 32% → 71%、Dresser 25% → 50%、鸡蛋按色分拣准确率 57% → 78%）。

一、问题与动机

1.1 人工对齐工程的脆弱性 vs. 大模型的“涌现式吸收”

直接从人类日常操作视频中为机器人注入物理智能，是突破遥操作数据采集天花板的终极路径之一。然而，既有路线在跨越人机视觉外观与运动学鸿沟时长期面临两难权衡：

• 早期表征/中间代理路线（如 R3M、VIP、Track2Act、MimicPlay、潜动作 LAPA 等）：仅利用人类视频预训练冻结视觉编码器，或借助关键点轨迹、可供性（Affordance）、奖励函数等中间代理间接辅助策略，无法直接端到端监督低层连续动作生成。
• 显式对齐工程路线（如 AR2-D2 视觉机械臂叠加、EgoMimic、EgoBridge 显式域适应损失、UMI 手持夹爪等）：虽然拉近了人机观测或动作空间，但或用笨重硬件束缚了采集者的自然手部动作，或在小规模数据上强行依赖人工设计的运动学/特征对齐启发式，难以推广至开放任务。

与此同时，大语言模型的发展揭示了一条深刻规律（Wei et al., 2022）：模型吸收异构、高噪声监督信号的能力本身与预训练规模和多样性内生绑定——小模型在多样化指令微调数据上无所适从，而大规模通用模型却能无缝消化异构数据并涌现零样本迁移。这促使作者提出一个极具颠覆性的核心科学追问：

如果不做任何显式域对齐（无图像换手重绘、无特征对齐正则损失、甚至不估计人手夹爪开合），仅把人类第一视角视频当作 VLA 混合数据里的“又一种普通具身构型”，从人类视频中学习新技能的能力是否会随着 VLA 预训练多样性的扩张而自发涌现？

1.2 核心假说：跨构型机器人预训练催生“具身无关表征”

现代多构型 VLA（如 Open X-Embodiment、Octo、${\pi }_0$、${\pi }_{0.5}$）已经证明：当单一策略在数十种不同构型的机械臂上联合预训练时，网络内部会自发形成跨越不同自由度与相机视角的共享任务抽象。

本文进一步将这一跨具身假说（Cross-Embodiment Hypothesis）外推至人类：尽管人手与平行夹爪在外观和运动学上差异巨大，但只要 VLA 基座在足够多样的机器人场景、任务与异构机械臂上完成了预训练，其视觉-语言主干就已经学会了剥离施动者表观形态、提取物理任务本质的具身无关表征（Embodiment-Agnostic Representations）。此时，只需在微调期混入少量（每个任务 3–5 小时）无约束穿戴相机采集的人类演示，模型即可直接从人类视频中习得机器人数据从未覆盖的新场景、新物体与新任务规则。

二、预备知识

2.1 ${\pi }_{0.5}$ 知识绝缘双动作表示与分层子任务推理

本文以具备强开放世界泛化能力的 ${\pi }_{0.5}$（Physical Intelligence, 2025）作为基础 VLA 架构，并结合 知识绝缘（Knowledge Insulation；Driess et al., NeurIPS 2025）训练配方。设数据集为 $\mathcal{D}=\{(o_t,l_t,l_t^{\text{subtask}},{\mathbf{a}}_{t:t+H})\}$，其中 $o_t$ 为多视角图像与本体观测，$l_t$ 为高层任务指令，$l_t^{\text{subtask}}$ 为描述短时原子动作的稠密文本子任务标注，${\mathbf{a}}_{t:t+H}$ 为未来 $H$ 步连续动作块。模型在同一网络中联合执行两级推理与双重动作监督：

1. 高层语言子任务预测（High-Level Subtask Prediction，具身思维链）：VLM 主干根据当前视觉观测与高层指令，以标准自回归 Next-Token Prediction 预测当前原子子任务文本串：

$${\mathcal{L}}_{\text{HL}}(\theta )=-{\mathbb{E}}_{(o_t,l_t,l_t^{\text{subtask}})}[\log p_{\theta }(l_t^{\text{subtask}}\mid o_t,l_t)]$$

2. 低层双重动作块预测（Low-Level Dual Action Prediction）：将子任务文本 $l_t^{\text{subtask}}$ 回馈注入模型作为显式条件（类似 Chain-of-Thought），同时施加两路低层动作监督：
   • 离散 FAST 动作 Token 监督：利用基于离散余弦变换（DCT）的 FAST（Pertsch et al., RSS 2025）分词器将连续动作序列压缩为离散动作 Token ${\mathbf{c}}_{t:t+H}$，在 VLM 主干上执行交叉熵自回归预测，加速语义到动作的对齐；
   • 连续流匹配动作专家监督：挂载轻量级 Action Expert 网络，对加噪连续动作块 ${\mathbf{a}}_{t:t+H}^{\tau }=(1-\tau )\mathit{ϵ}+\tau {\mathbf{a}}_{t:t+H}$（$\tau \in [0,1],\mathit{ϵ}\sim \mathcal{N}(\mathbf{0},\mathbf{I})$）最小化条件流匹配速度场损失，保障高频平滑物理控制：

$${\mathcal{L}}_{\text{LL}}(\theta )=-\log p_{\theta }({\mathbf{c}}_{t:t+H}\mid o_t,l_t^{\text{subtask}})+{\mathbb{E}}_{\tau ,\mathit{ϵ}}[\Vert {\mathbf{v}}_{\theta }({\mathbf{a}}_{t:t+H}^{\tau },\tau ,o_t,l_t^{\text{subtask}})-({\mathbf{a}}_{t:t+H}-\mathit{ϵ}){\Vert }_2^2]$$

2.2 人类数据赋能机器人策略的四代技术谱系对比

为准确定位本文“零显式对齐协同微调”在方法论演进中的坐标，下表对比了第 II 节梳理的四类利用人类行为或便携采集设备扩展机器人学习的主流范式：

技术路线家族	代表性工作	人类/替代数据的监督形式	是否约束人类自然动作	是否需手工对齐工程	核心优势与根本局限
视觉表征预训练	R3M、VIP、VC-1	对比学习 / 时间价值隐式损失训练冻结视觉编码器	否（直接用 Ego4D）	否	提升通用视觉特征，但完全无法直接监督动作生成
中间动作代理与显式对齐	Track2Act、MimicPlay、LAPA、AR2-D2、EgoBridge	2D 点轨迹 / 潜动作 / 机械臂 AR 渲染覆盖 / 对比域适应损失	否或轻度约束	强依赖（视觉合成或特征对齐损失）	在小模型上缓解域偏移，但手工启发式结构限制了开放任务通用性
手持夹爪与穿戴外骨骼	UMI、DexCap、DexUMI	手持平行夹爪或灵巧手外骨骼直接录制同构动作	强束缚（手部被刚性器械占用）	硬件级强制物理对齐	动作与视觉零鸿沟，但操作笨重不自然、难以规模化日常采集
零显式对齐跨具身 VLA 共训	${\pi }_{0.5}+\text{ego}$（本文）	头+腕相机视觉 + 3D 手掌相对位姿（无夹爪标签）+ 子任务文本	几乎无束缚（自然徒手交互）	零显式对齐（完全同目标混训）	依托大规模异构 VLA 预训练自发涌现共享表征，直接解锁新场景与新任务语义

三、核心方法

3.1 低侵入三视角穿戴式人类数据采集与处理管线

为在不干扰人类自然操作的前提下尽量对齐机器人的多视角可观测性，论文设计了一套轻量化穿戴采集装置（Figure 6）与自动化标注流程：

1. 三相机时间同步穿戴硬件：采集者头戴 1 台高分辨率第一视角相机，并在左右手腕各佩戴 1 台微型腕部相机（模拟双臂机械臂的左右腕部相机视角，提供近距手物遮挡区域的精细观测；第 4.5 节专门消融了双腕相机的贡献）。
2. 类遥操作片段式（Episodic）采集协议：操作员按任务重复执行自然演示，仅需尽量保持双手处于头部相机视野内以保证追踪质量。四个评测方向总计仅采集 14 小时人类数据（Bussing 3 小时、Spice 3 小时、Dresser 3 小时、Sort Eggs 5 小时）。
3. 三维运动重建与双臂子任务文本标注：
   • 头部 6D SLAM：利用视觉 SLAM 重建头戴相机相对于固定世界系的 6D 运动轨迹 ${\mathbf{e}}_t\in {\mathbb{R}}^6$（对应 $\mathrm{SE}(3)$ 位姿 ${\mathbf{T}}_{w\leftarrow \text{head}}^t$）；
   • 双手 17 关键点追踪：在当前头戴相机坐标系 ${\mathbf{e}}_t$ 下重建左右手各 17 个三维关键点坐标 ${\mathbf{h}}_t^{{\mathbf{e}}_t}\in {\mathbb{R}}^{3\times 17}$；
   • 稠密子任务语言标注：与机器人遥操作语料完全对称，用自然语言为人类视频逐段标注左右手各自的短时原子动作描述 $l_t^{\text{subtask}}$（例如“左臂拿起棕色鸡蛋放入右侧蛋盒”）。

3.2 零启发式修饰的人机相对末端动作空间设计

论文刻意避免复杂的逆运动学关节拟合或人手开合度启发式阈值，仅在局部相对末端位姿空间构建最小限度的几何对应：

1. 机器人 16 维相对动作空间（${\mathbf{a}}^R\in {\mathbb{R}}^{H\times 16}$）：
   • 将动作表示为长度 $H$ 的轨迹块 $[{\mathbf{a}}_0,{\mathbf{a}}_1,\dots ,{\mathbf{a}}_H]$，其中每一步 ${\mathbf{a}}_i$ 的双臂位姿均定义为相对于当前观测起始 6-DoF 末端状态 ${\mathbf{s}}_0$ 的局部 6-DoF 刚体变换；
   • 拼接左臂（6-DoF 相对位姿 + 1-D 夹爪开合）+ 右臂（6-DoF 相对位姿 + 1-D 夹爪开合）+ 移动底盘（2-D 平面运动指令），总维度为 $7+7+2=16$ 维。
2. 人类 18 维无夹爪相对动作空间（${\mathbf{a}}^H\in {\mathbb{R}}^{H\times 18}$）：
   • 虚拟手掌末端系构造：利用每只手在头部相机系 ${\mathbf{e}}_t$ 下的手掌（palm）、中指（middle finger）与无名指（ring finger）三维关键点张成一个刚体局部参考系（Figure 6），作为人手的“等效末端执行器”6-DoF 位姿 ${\mathbf{s}}_t^H\in \mathrm{SE}(3)$；进而与机器人完全一致地计算相对于当前块起始状态 ${\mathbf{s}}_0^H$ 的 6-DoF 相对位姿变换（双手共 $2\times 6=12$ 维）：

$${\mathbf{a}}_i^{\text{arm},H}=({\mathbf{s}}_0^H{)}^{-1}{\mathbf{s}}_i^H\in \mathrm{SE}(3),i\in \{1,\dots ,H\}$$

• 头部投影近似移动底盘动作：将动作块内后续时刻 $i$ 的头部相机位姿投影至动作块首帧（$i=0$）头部相机坐标系，近似表征人体躯干/移动底盘的相对位移（6 维）：

$${\mathbf{a}}_i^{\text{base},H}=({\mathbf{T}}_{w\leftarrow \text{head}}^0{)}^{-1}{\mathbf{T}}_{w\leftarrow \text{head}}^i\in \mathrm{SE}(3),i\in \{1,\dots ,H\}$$

• 完全放弃人类夹爪开合伪标签：由于人手在抓握交互时手指频繁被物体遮挡、难以稳健定义并估计与平行夹爪等价的连续“开合度”，论文直接不预测人类数据的夹爪维度（总维度为 $12+6=18$ 维），完全交由混合训练集中的机器人数据监督夹爪闭合时机！

下表对比了混合微调中机器人与人类数据的观测-动作接口对齐细节：

模态与动作子通道	目标机器人（ARX / Mobile ARX）	第一视角穿戴人类数据	对齐策略与监督来源
视觉观测输入 $o_t$	头部全局相机 + 左腕相机 + 右腕相机	头戴相机 + 左腕穿戴相机 + 右腕穿戴相机	视角拓扑一致，无任何图像重绘或手部遮罩
高层子任务标注 $l_t^{\text{subtask}}$	双臂短时原子动作文本标注	双臂短时原子动作文本标注	共享相同 VLM 自回归交叉熵损失 ${\mathcal{L}}_{\text{HL}}$
左右臂末端运动	相对当前块首帧 ${\mathbf{s}}_0^R$ 的双臂 6-DoF 位姿（12D）	掌心+中指+无名指张成局部系，相对 ${\mathbf{s}}_0^H$ 的 6-DoF 位姿（12D）	局部相对 $\mathrm{SE}(3)$ 增量对齐（FAST + 流匹配 ${\mathcal{L}}_{\text{LL}}$）
夹爪开合指令	左右平行夹爪连续开合度（2D）	无（显式留白，不构造启发式伪标签）	仅由 50% 机器人批次提供夹爪梯度监督
移动底盘动作	底盘平面相对运动指令（2D，合计 16D）	头部 SLAM 位姿相对块首帧投影变换（6D，合计 18D）	统一作为移动基座相对位移信号联合训练

用大白话说：这套设计最令人拍案叫绝的地方就是“敢于留白”——以前做 H2R 的研究者最头疼的就是怎么把五指弯曲角度硬映射成二指夹爪的 0/1 开合阈值，稍微标歪一点就会让机器人在抓东西时提前松手或死活不张嘴。本文干脆不在人类数据里标夹爪动作，只用掌心+中指+无名指算一个干净的手掌 6-DoF 移动方向，再把人类数据跟近邻机器人数据 1:1 混在一起训——结果强大的 ${\pi }_{0.5}$ 基座自己就学会了“从人类视频里抄去哪儿抓、按什么规则分拣，从机器人数据里抄怎么闭合夹爪”！

3.3 ${\pi }_{0.5}+\text{ego}$ 协同微调配方（50:50 混合，零域对齐损失）

在微调阶段，模型对人类数据与机器人数据施加完全一致的损失函数 ${\mathcal{L}}_{\text{HL}}+{\mathcal{L}}_{\text{LL}}$，不引入任何对抗判别器、MMD 距离或对比对齐正则项：

$${\mathcal{L}}_{{\pi }_{0.5}+\text{ego}}(\theta )=\frac{1}{2}{\mathbb{E}}_{{\mathcal{D}}_{\text{robot}}^{\text{NN}}}[{\mathcal{L}}_{\text{HL}}(\theta )+{\mathcal{L}}_{\text{LL}}(\theta )]+\frac{1}{2}{\mathbb{E}}_{{\mathcal{D}}_{\text{human}}^{\text{target}}}[{\mathcal{L}}_{\text{HL}}(\theta )+{\mathcal{L}}_{\text{LL}}(\theta )]$$

其中训练混合比严格设定为 50% 目标新概念人类数据 ${\mathcal{D}}_{\text{human}}^{\text{target}}$ 与 50% 最近邻任务机器人数据 ${\mathcal{D}}_{\text{robot}}^{\text{NN}}$（例如用“机器人随机装鸡蛋”配对“人类按颜色分拣鸡蛋”），既保留机器人原有的底层物理操作与夹爪控制能力，又向策略注入仅存在于人类演示中的新场景、新物体或新任务语义。

四、实验结果

4.1 四大“仅人类可见新概念”真机泛化基准与主实验结果

论文在固定桌面双臂 ARX 与移动双臂 Mobile ARX 真机平台上构建了横跨场景泛化（Scene）、物体泛化（Object）与任务语义泛化（Task）三个正交维度的 4 项评测基准（每组条件执行 20–40 次真机闭环评测，报告均值与 1 倍标准误，Figure 3 & Appendix A）：

评测任务与平台	泛化维度	机器人近邻训练数据覆盖范围	人类数据（时长）独占引入的新概念	评分指标定义（均归一化至 $[0,1]$）	${\pi }_{0.5}$（仅机器人）	${\pi }_{0.5}+\text{ego}$（人机共训）	绝对 / 相对增益
Spice（Mobile ARX）	场景迁移	多个已见 Airbnb 住宅整理调料架	全新未见公寓厨房岛台（3 h）	3 个随机调料瓶全部归位至调料架记 1 分（二值成功率）	32%	71%	+39 pp（2.22×）
Dresser（Mobile ARX）	场景迁移	多个已见住宅整理梳妆台	全新未见卧室梳妆台（3 h）	项链入首饰盒且发夹入收纳格记 1 分（二值成功率）	25%	50%	+25 pp（2.00×）
Bussing（Static ARX）	物体迁移	清理桌面垃圾与常规餐具	全新类别厨房工具与杂物（3 h）	9 件桌面物品正确分入垃圾桶或回收箱的归一化比例	53%	63%	+10 pp（1.19×）
Sort Eggs（Static ARX）	任务迁移	仅会从碗中抓鸡蛋随机装盒	按白左棕右颜色分拣至双蛋盒并关盖（5 h）	12 枚蛋按色放对（各 1 分）+ 关妥 2 个盒盖（各 1 分），满分 14 分归一化	~27%（分拣准确率 57%）	~52%（分拣准确率 78%）	+25 pp（~1.93×，平均多放对 4 枚蛋）
四任务总平均	综合迁移	近邻机器人遥操作	合计仅 14 小时穿戴人类演示	四项基准归一化得分算术均值（Figure 7）	~34%	~59%	+25 pp（1.74×，近乎翻倍）

主实验（Figure 7）清晰表明：尤其在机器人训练集中概率为零的全新任务规则 Sort Eggs 上，纯机器人模型 ${\pi }_{0.5}$ 虽具备熟练抓放鸡蛋的运动技能，却完全不懂颜色分类（57% 分拣率等价于二分类随机盲猜）；与 5 小时人类分拣视频共训后，机器人不仅学会了按白/棕颜色精准投递（分拣准确率跃升至 78%，每轮平均多放对 4 枚鸡蛋），还能按人类示范完成最后关合盒盖的长时程收尾。

4.2 核心发现：H2R 迁移随 VLA 预训练多样性跨阈值涌现与 t-SNE 机理验证

为严格检验“多样化预训练是解锁 H2R 迁移的钥匙”这一核心假说，论文构造了 6 档预训练多样性递增的初始化检查点，并在每一档上分别对比“仅用近邻机器人数据微调（Robot Finetuning）”与“机器人+人类共训（Human + Robot Finetuning）”的性能差值 $\mathrm{\Delta }={\text{Score}}_{\text{H+R}}-{\text{Score}}_{\text{R}}$（Figure 1, Figure 2, Figure 8 & Figure 13）：

预训练初始化档位	预训练语料构成与多样性范围	四任务聚合 Robot-Only 得分	四任务聚合 Human+Robot 得分	人类数据净迁移增益 $\mathrm{\Delta }$	各子任务涌现动力学特征（Figure 2 & Figure 13）
0%	仅基础互联网图文 VLM 权重（无机器人预训练）	~0.05	~0.05	~0.00	全部四项任务几乎无任何正向 H2R 迁移
25%	仅目标 ARX/Mobile ARX 构型的 25% [场景-任务] 组合	~0.04	~0.05	+0.01	Spice 与 Dresser 仍为 0，仅 Eggs 微弱波动
50%	目标 ARX 构型的 50% [场景-任务] 组合	~0.13	~0.17	+0.04	Bussing 与 Eggs 初现微弱正增益（+0.06），Dresser 仍为 0
75%	目标 ARX 构型的 75% [场景-任务] 组合	~0.16	~0.28	+0.12（跨过涌现拐点）	Spice 暴涨 +0.31（0.05→0.36），但 Dresser 仍呈轻微负迁移（-0.04）
100%	目标 ARX 构型的 100% 全量 [场景-任务] 组合	~0.24	~0.38	+0.14	Dresser 从 0.00 突变跃升至 0.29（+0.29），Eggs 跃升 +0.21（0.30→0.51）
100% + X-Emb	完整 ${\pi }_{0.5}$ 预训练集（额外混入大量非目标异构机器人数据）	~0.34	~0.59	+0.25（全场最高增益）	四项任务全面爆发：Spice +0.39、Dresser +0.25、Eggs +0.25、Bussing +0.10

为进一步透视不同类型泛化任务的涌现阈值差异，下表拆解了附录 Figure 13 与正文 Figure 2 中全部 4 项任务在 6 档预训练多样性下的逐任务得分对比（格式：Robot-Only $\to$ Human + Robot，括号内为净迁移增益 $\mathrm{\Delta }$）：

预训练多样性档位	Bussing（未见物体泛化）	Spice（未见厨房场景泛化）	Dresser（未见卧室场景泛化）	Sort Eggs（未见分拣任务语义）	四任务平均（Fig. 1）
0%（仅基础 VLM）	0.08 → 0.08（+0.00）	0.00 → 0.00（+0.00）	0.00 → 0.00（+0.00）	0.18 → 0.19（+0.01）	0.05 → 0.05（+0.00）
25%（单构型 1/4 多样性）	0.14 → 0.14（+0.00）	0.00 → 0.00（+0.00）	0.00 → 0.00（+0.00）	0.15 → 0.17（+0.02）	0.04 → 0.05（+0.01）
50%（单构型 1/2 多样性）	0.25 → 0.32（+0.07）	0.02 → 0.06（+0.04）	0.00 → 0.00（+0.00）	0.25 → 0.31（+0.06）	0.13 → 0.17（+0.04）
75%（单构型 3/4 多样性）	0.31 → 0.40（+0.09）	0.05 → 0.36（+0.31）	0.05 → 0.01（-0.04）	0.28 → 0.39（+0.11）	0.16 → 0.28（+0.12）
100%（目标 ARX 全量多样性）	0.49 → 0.46（-0.03）	0.18 → 0.28（+0.10）	0.00 → 0.29（+0.29）	0.30 → 0.51（+0.21）	0.24 → 0.38（+0.14）
100% + X-Emb（完整 ${\pi }_{0.5}$ 跨构型）	0.53 → 0.63（+0.10）	0.32 → 0.71（+0.39）	0.25 → 0.50（+0.25）	0.27 → 0.52（+0.25）	0.34 → 0.59（+0.25）

围绕这组缩放曲线与内部特征探测，论文揭示了三条深刻机理：

1. “零样本泛化停滞”与“H2R 可迁移性飙升”的非线性解耦（Appendix B）：在 Sort Eggs（Figure 8）中，从 50% 扩展到 100% + X-Emb，纯机器人微调曲线彻底卡死在 0.25–0.29 平台（再多异构机器人数据也不可能凭空猜出“白左棕右”的新规则），但同一预训练扩展却让模型从人类视频中提取规则的能力呈陡峭线性飙升（0.31 → 0.52）；同理在 Dresser 的 75% → 100% 区间，纯机器人零样本得分毫无寸进（均为 0），人类共训得分却垂直起飞（+0.29）。这证明引入非目标异构机械臂（+ X-Emb）的核心价值不仅在于提升零样本基线，更在于赋予模型“跨具身读取新监督源”的元能力。
2. t-SNE 潜在流形自然对齐实证（Figure 5 & Appendix C）：将人机观测分别送入各档共训后的模型，对 VLM 主干最后一层输出的前 200 个任务相关 Token 嵌入取均值池化并做 t-SNE 降维。在 0% 与 25% 模型中，尽管经历了相同的人机共训，人类样本与机器人样本依然分裂在完全互不重叠的两个孤岛（网络靠硬背两套独立分布拟合损失）；而随着预训练多样性增至 75%–100% + X-Emb，同一任务的人类嵌入与机器人嵌入自发坍缩融合为同一个高度重叠的簇——无需任何显式域适应损失，大规模异构预训练本身就是最强的表征对齐器！

4.3 多维深度消融：对比真机上限、跨构型 UR5、高低层解耦与腕部相机

（1）人类数据的含金量：对比目标真机数据上限与跨构型 UR5 机器人数据（Section V-D，Figures 9 & 10）

• 对比同量级目标 ARX 真机数据上限（Target Robot Oracle，Figure 9）：在 Dresser（${\pi }_{0.5}+\text{ego}$ 0.50 vs. 目标真机 0.45）与 Sort Eggs（0.52 vs. 目标真机 0.58）两项任务上，直接微调人类穿戴视频的效果几乎追平甚至持平在目标机器人本机上昂贵遥操作采集的数据！仅在涉及复杂多物体抓取接触的 Bussing 上与目标真机存在差距（总分 0.63 vs. 0.89；纯新物体子集成功率 25% vs. 65%）。
• 对比跨构型机器人迁移（7.45h UR5 机械臂 400 条演示 $\to$ ARX，Figure 10）：在 Bussing 上对比 3 小时人类数据（得分 0.63）与 7.45 小时异构 UR5 机械臂数据（得分 0.71），两者均显著超越 ${\pi }_{0.5}$ 基线（0.53）且均未触及目标本机上限（0.89），证明在多样化预训练 VLA 眼中，人类本质上与“另一台异构机械臂（如 UR5）”遵循完全同质的跨具身迁移规律。

下表汇总 Figure 9（对比目标 ARX 本机遥操作数据上限）与 Figure 10（在 Bussing 上对比 400 条 / 7.45 小时异构 UR5 机械臂数据）的定量基准结果：

评测任务	${\pi }_{0.5}$（仅近邻机器人基线）	${\pi }_{0.5}+\text{ego}$（微调人类数据）	${\pi }_{0.5}+\text{UR5}$（微调异构 UR5 机械臂）	${\pi }_{0.5}$（微调目标 ARX 本机新数据上限）	数据等价性结论
Dresser（新卧室场景，3h 人类）	0.25	0.50	—	0.45	人类数据追平并略超目标真机数据
Sort Eggs（新分拣语义，5h 人类）	0.27	0.52	—	0.58	人类数据达目标真机上限的 ~90%
Bussing（新物体接触，3h 人类 / 7.45h UR5）	0.53	0.63（新物体子集 25%）	0.71	0.89（新物体子集 65%）	人类 $\to$ ARX 与 UR5 $\to$ ARX 呈同质跨构型增益
三任务平均（Figure 9）	0.35	0.55	—	0.64	人类数据具备接近一等跨构型机器人的监督价值

（2）迁移究竟发生在高层语义还是低层运动？（Section V-E，Figure 11）

• 在静态双臂任务 Bussing 与 Sort Eggs 的评测中，模型未启用高层子任务推理，直接由低层策略输出动作，确证低层连续动作预测本身即可独立完成 H2R 迁移；
• 在移动操作任务 Dresser 与 Spice 上对高层子任务策略（HL）与低层动作策略（LL）做 $2\times 2$ 正交人类数据解耦消融（Figure 11）：

高低层训练配置	Dresser 得分	Spice 得分	双任务平均得分	典型跨层失配故障模式诊断
${\pi }_{0.5}$（Robot HL + Robot LL）	0.25	0.32	0.29	未见公寓场景下感知与执行双双受阻
${\pi }_{0.5}+\text{ego}$（HL-Only：仅高层训人类数据）	0.18	0.50	0.35	低层听不懂新环境指令：把“抓调料瓶”误执行为抓托盘里已放好的瓶子，或把项链错放进普通收纳格
${\pi }_{0.5}+\text{ego}$（LL-Only：仅低层训人类数据）	0.19	0.56	0.38	高层卡死报错：瓶子抓起后仍死循环输出“抓调料瓶”，或错误指示“把发夹放在梳妆台台面上”
${\pi }_{0.5}+\text{ego}$（HL + LL 全量人机共训）	0.50	0.71	0.61	高低层协同跃升（较基线翻倍以上）：高层语义规划与低层视觉运动控制在人类数据上同步对齐

（3）人类穿戴双腕相机的必要性消融（Section V-F，Figure 12）

剥离人类训练数据中的左右手腕相机图像流（No Wrist，仅保留头戴第一视角），与完整三视角 ${\pi }_{0.5}+\text{ego}$ 对比：

传感器配置	Bussing	Spice	Dresser	Sort Eggs	四任务平均
${\pi }_{0.5}$（无人类数据基线）	0.53	0.32	0.25	0.27	0.34
${\pi }_{0.5}+\text{ego}$（No Wrist：人类仅头戴单相机）	0.55	0.75	0.29	0.60	0.55
${\pi }_{0.5}+\text{ego}$（完整头戴 + 双腕三相机）	0.63	0.71	0.50	0.52	0.59

结果符合可观测性直觉：Spice 与 Sort Eggs 仅凭头部全局视角即可看清物体颜色与位置（单头戴相机已拿满增益）；而在需要将细小项链/发夹精准放入盒格的 Dresser（0.29 → 0.50，+21 pp）及杂乱桌面遮挡严重的 Bussing（0.55 → 0.63，+8 pp）中，人类穿戴双腕相机大幅弥合了人机近距视觉反馈鸿沟。

五、局限性与未来方向

1. 人类数据仅用于微调阶段（十余小时级），尚未压入预训练主干：本文的核心变量是“大规模多样化机器人预训练 $\to$ 小规模（14h）人类数据共微调”，尚未检验将数千至数万小时野外被动人类视频直接混入 VLA 预训练阶段能否进一步降低对机器人预训练底座的依赖。
2. 采集协议仍采用类遥操作的重复片段式（Episodic）录制并依赖稠密子任务标注：采集者需佩戴双腕相机、保持双手在视野内并配合文本子任务切分，距离直接消费互联网无标注日常连续长视频仍有工程距离。
3. 平行夹爪开合完全依赖近邻机器人数据托底：由于省略了人类手部抓握开合标签，该配方要求混合集中必须存在具备相似抓放原语的机器人数据，尚不支持零机器人抓握基础的全新多指灵巧接触技能（后者恰是 EgoScale 重点攻克的方向）。

六、个人思考

1. 具身智能领域的“涌现宣言”——解释了为什么早期小模型做直接 H2R 总是失败：在 2023–2024 年，大量单任务模仿学习论文（乃至 EgoWAM 中的单任务从头训练 BC 基线）都观察到同一个现象：把人类 3D 手部轨迹和机械臂数据直接混在一起训 BC，由于主干容量小且只见过单一桌面场景，两者的特征在潜在空间里完全是分裂的（甚至产生严重负迁移），因此不得不发明各种复杂的显式对齐模块（如 EgoBridge 的域适应损失、MimicDreamer 与 Qwen-RobotManip 的视觉换手重渲染）。Emergence-H2R 站在 ${\pi }_{0.5}$ 的巨人肩膀上给出了一个极具穿透力的降维打击视角：早期 BC 共训之所以必须靠手工对齐拐杖，是因为模型还没越过预训练多样性的涌现阈值！一旦 VLA 在足够多的场景和异构机械臂上见过世面，VLM 内部就已经自发长出了跨具身对齐流形（Figure 5），此时最朴素的 50:50 直接混训就能把人类视频里的新场景和新任务逻辑吸收过来。
2. “机器人预训练赋能吃人类数据” vs. “人类预训练赋能控机器人”的双向闭环：将本文与 EgoScale、HumanScale 以及 Being-H0.5 / VITRA 放在一起，可以看到一条令人兴奋的正反馈飞轮——Emergence-H2R 证明“更丰富的多构型机器人底座能让模型更高效地免对齐吸收人类视频”，而 EgoScale 与 HumanScale 反过来证明“两万小时级第一视角人类视频预训练能大幅提升下游机器人的样本效率与 OOD 泛化”。未来真正的万小时级具身基座，必然是在预训练阶段就把多构型真机数据与十万小时人类第一视角视频（如 EgoDex、EgoVerse）熔于一炉，让跨构型不变性与开放世界覆盖度相互催化。
3. 高低层协同迁移（HL + LL）对具身思维链的启示：Figure 11 的 $2\times 2$ 消融非常值得做分层 VLA 的团队警惕——很多人以为人类视频只需要用来训高层 VLM 做任务规划（HL-Only），底层控制交给纯机器人策略就行；实测却表明，在未见公寓里，没见过该公寓人类视觉分布的底层策略根本无法正确接地高层发出的“抓调料瓶”或“放进首饰盒”指令（Dresser 得分甚至从 0.25 倒退到 0.18）。语义规划与底层视觉运动控制必须在同一分布偏移下同步接受人类数据洗礼，才能真正打通长时程开放场景执行。

参考

• ${\pi }_{0.5}$（Physical Intelligence, 2025）：本文直接采用的具备开放世界泛化能力与分层子任务预测机制的 VLA 基础模型底座
• ${\pi }_0$（Black et al., 2024）/ FAST（Pertsch et al., RSS 2025）/ Knowledge Insulating VLAs（Driess et al., NeurIPS 2025）：构成本文离散 DCT 动作 Token + 连续流匹配动作专家双重低层监督的核心技术栈
• EgoMimic（Kareer et al., 2024）/ EgoBridge（Punamiya et al., 2025）：第一作者团队此前在小规模单任务设置下探索人机共训与显式特征域适应的前序工作，与本文的“大规模预训练零对齐涌现”形成直接对照
• EgoScale（Zheng et al., CoRL 2026）：将第一视角人类数据扩展至 20,854 小时作为预训练主语料并在 22-DoF 灵巧手上确立缩放定律的互补路线
• HumanScale（Ma et al., 2026）：在 5,000 小时同规模受控 WAM 预训练中证明第一视角人类视频 OOD 泛化优于多构型真机数据
• Qwen-RobotManip / MimicDreamer / EgoWAM：分别从显式跨构型对齐合成与非像素世界动作模型角度消除人机具身鸿沟的代表方案