H-RDT：面向双臂机器人操作的大规模第一视角人类动作预训练扩散 Transformer

论文：H-RDT: Human Manipulation Enhanced Bimanual Robotic Manipulation
作者：Hongzhe Bi、Lingxuan Wu、Tianwei Lin、Hengkai Tan、Zhizhong Su、Hang Su、Jun Zhu
机构：清华大学（计算机系、人工智能研究院、BNRist、THBI Lab、清华-博世机器学习联合中心）、地平线（Horizon Robotics）
发布时间：2025 年 7 月（arXiv 2507.23523，v2 修订于 2025 年 8 月）
发表状态：AAAI 2026（已录用，pp. 18135–18143）
🔗 arXiv | PDF | 项目主页 | 代码 | 模型权重
分类标签：VLA 基础模型 第一视角人类视频 EgoDex 预训练 三维手部位姿 流匹配 双臂灵巧操作 跨构型迁移

一句话总结

针对双臂机器人高质量遥操作数据稀缺、以及传统跨构型机器人预训练因本体形态与动作空间异构而难以统一扩展的瓶颈，提出 2B 参数的人到机器人扩散 Transformer 基础模型 H-RDT（Human to Robotics Diffusion Transformer）：将人类双手操作编码为 48 维超集动作表征（双腕 3D 位置与 6D 旋转共 18 维 + 双手十指指尖 3D 坐标共 30 维），采用“大规模人类数据预训练 → 模块化动作编解码跨构型微调”两阶段流匹配训练范式——第一阶段在完整 EgoDex 数据集（829 小时、338K+ 条轨迹、194 项任务）上学习统一的物体可供性与双臂协同先验，第二阶段迁移多模态编码器与 LLaMA-3 风格主干权重、仅重初始化轻量状态/动作适配器与解码器以适配任意目标机器人（5 步欧拉 ODE 推理达 30 Hz）；在 RoboTwin 2.0 仿真（单任务 13 项、多任务 45 项，跨 Aloha 与双臂 Franka）与三大双臂真机平台（Aloha-Agilex-2.0、双臂 ARX5 113 任务少样本、双臂 UR5+UMI）上全面超越 RDT-1B 与 $π_{0}$ ，仿真与真机平均成功率较从零训练分别提升 +13.9% 与 +40.5%（其中真机折毛巾成功率由 0% 跃升至 52%，RoboTwin 2.0 强域随机化多任务达 87.2%）。

一、问题与动机

1.1 跨构型机器人预训练的双重天花板

以 ACT、Diffusion Policy 为代表的单任务模仿策略以及以 RT-2、OpenVLA、RDT-1B、 $π_{0}$ 、 $π_{0.5}$ 为代表的视觉-语言-动作（VLA）模型，高度依赖高质量真实机器人演示数据。然而现有数据路径存在两道难以逾越的门槛：

采集硬件与人力成本壁垒：双臂遥操作（如 ALOHA）需要昂贵本体与熟练操作员；便携式手持夹爪（如 UMI）或动捕手套（如 DexCap、DexUMI）仍受限于复杂标定基建与跨采集者质量波动，难以向百万级轨迹扩展。
异构机器人联合预训练的构型冲突：主流 VLA 通常在 Open X-Embodiment、DROID、AgiBot World Colosseo 等跨构型数据集上预训练。但由于不同机械臂的自由度、运动学结构、末端执行器类型与控制频率迥异，强行拼接的统一动作空间极为稀疏且存在严重的跨构型梯度干扰；同时现有公开机器人数据的总时长与场景多样性依然有限。

1.2 第一视角人类操作视频的机遇与三大待解难题

相比异构机器人数据，人类自身构成了一个天然统一、零构型冲突且规模近乎无限的“标准双臂灵巧具身”。随着 Apple Vision Pro 等头显采集技术的成熟，EgoDex 首次提供了 829 小时（338K+ 条轨迹、194 类日常与灵巧任务） 带逐帧精细 3D 手部姿态标注与语言描述的第一视角操作视频。然而，将人类操作视频转化为通用机器人策略仍面临三大核心挑战：

利用规模严重不足：先驱工作 EgoMimic 仅使用约 2k 条人类演示，Humanoid Policy（HAT）仅使用约 27k 条演示，比 EgoDex 小一到两个数量级，未能触及大规模人类行为先验的涌现红利；
人机形态与运动学鸿沟：五指人手与平行夹爪机器人存在显著末端差异。既有方法要么退化为二维/三维点流中转表征（如 ATM、Flow as Cross-Domain Interface），丢失显式末端姿态参数且需额外底层控制网络翻译；要么依赖面向特定类人手构型的运动学重定向（IK Retargeting），无法泛化至普通工业双臂；
缺乏“一次预训练、多构型快速适配”的基础模型范式：EgoMimic 等共训方案要求在训练期严格配对同场景人类与目标机器人数据，无法像预训练基座一样仅靠下游少量机器人演示便灵活迁移至多种异构平台。

H-RDT 由此提出“以 48 维人手超集动作做统一构型大规模预训练 + 以模块化动作适配器做下游跨构型微调”的解耦路线，彻底摆脱配对采集与预训练期运动学重定向束缚。

二、预备知识：从 RDT-1B 到 H-RDT 的架构演进

H-RDT 继承并全面升级了团队此前提出的双臂扩散基础模型 RDT-1B（Liu et al., 2024），两者在数据底座、生成范式与主干架构上的核心演进对比如下：

维度	RDT-1B（前作基线）	H-RDT（本文）	演进动机与收益
预训练数据底座	跨构型异构机器人数据集（128 维稀疏拼接物理向量）	单一统一人类构型 EgoDex（829 h，338K+ 轨迹，48 维稠密手部表征）	消除预训练期多机器人构型冲突，获取更丰富的物体可供性与双臂协同先验
生成建模目标	传统去噪扩散概率模型（DDPM）	线性路径条件流匹配（Flow Matching）	训练梯度方差更低、收敛更稳，推理仅需 5 步欧拉积分即可满足 30 Hz 实时控制
主干架构与规模	1B 参数标准 DiT 主干	2B 参数 LLaMA-3 风格主干（RMSNorm + SwiGLU + GQA + 双路分离交叉注意力）	更大容量承载海量人类行为先验，分离图像/语言交叉注意力避免模态失衡
跨构型迁移机制	固定统一物理向量槽位掩码	模块化 `StateAdapter` / `ActionAdapter` / `ActionDecoder` 选择性重初始化	零运动学假设，无缝适配双臂 Piper、ARX5、Franka、UR5 等任意机器人动作维度

三、核心方法

3.1 问题形式化与 48 维超集人类动作表征

将双臂机器人操作形式化为多模态条件序列生成问题。在时刻 $t$ ，策略接收多模态条件 $c = {o_{t}, s_{t}, l}$ ——包含一路或多路 RGB 相机观测 $o_{t} \in R^{H_{img} \times W_{img} \times 3}$ 、本体感知状态 $s_{t} \in R^{d_{s}}$ （当前关节/末端位姿与夹爪开合状态）以及任务语言指令 $l \in R^{L \times d_{lang}}$ ——并预测未来视域长度为 $H$ 的连续动作块 $a_{t : t + H} = {a_{t}, a_{t + 1}, \dots, a_{t + H - 1}}$ （其中 $a_{i} \in R^{d_{a}}$ ）。

为在不依赖特定机器人运动学重定向的前提下保留完整的双臂灵巧操作信息，H-RDT 将 Stage 1 中的人类双臂状态与动作统一定义为紧凑的 48 维三维手部姿态向量 $a^{human} \in R^{48}$ ：

a^{human} = [\underset{18 维双侧手腕 6-DoF 位姿}{\underset{⏟}{p_{wrist}^{L}, r_{wrist}^{L}, p_{wrist}^{R}, r_{wrist}^{R}}}, \underset{30 维双手十指指尖 3D 坐标}{\underset{⏟}{f_{1 : 5}^{L}, f_{1 : 5}^{R}}}] \in R^{48}

双侧手腕位姿（Bilateral Wrist Poses，共 $18$ 维）：左、右手腕各自的三维空间位置 $p_{wrist} \in R^{3}$ 与连续六维旋转表征 $r_{wrist} \in R^{6}$ （ $(3 + 6) \times 2 = 18$ 维）。这一子空间在几何意义上与双臂机器人的末端执行器位姿（End-Effector Pose）严格同构。
双侧十指指尖坐标（Fingertip Positions，共 $30$ 维）：双手全部 10 根手指指尖的三维笛卡尔坐标 $f_{k} \in R^{3}$ （ $10 \times 3 = 30$ 维），显式编码抓握构型（grasp configurations）、接触朝向约束与手指闭合时机。

用大白话说：这 48 维向量相当于绝大多数末端控制机器人动作空间的几何超集（Superset）——手腕 18 维直接对应机械臂末端去哪、怎么转，指尖 30 维隐含了夹爪何时闭合、从哪个方向包络物体。预训练阶段让 2B 主干直接拟合这一稠密超集，相当于把人类“怎么伸手、怎么双臂配合、怎么抓握变形物体”的底层物理常识完整蒸馏进主干隐藏层；到了下游特定机器人上，只需换掉最外层薄薄的线性/MLP 进出接口，主干内部的操作直觉就能立刻复用到 14 维双臂夹爪上。

3.2 两阶段“人类预训练 → 跨构型微调”范式

H-RDT 摒弃了要求严格配对数据的同步共训方案，采用解耦的两阶段范式（Figure 2）：

Stage 1：大规模人类数据预训练（Human Data Pre-training）
训练数据：完整 EgoDex 数据集（338K+ 条轨迹、829 小时、覆盖 194 项多样化单双臂操作任务），视觉输入为单路第一视角（1 egocentric view），状态与动作维度均为 $48$ 。
参数更新策略：冻结预训练视觉骨干（DINOv2 与 SigLIP）和语言骨干（T5-XXL），从零联合训练图像/语言投影适配器、人类 48 维状态/动作适配器、16 层 2B Transformer 主干以及人类 48 维动作解码器。
Stage 2：选择性权重迁移与跨构型微调（Cross-Embodiment Fine-tuning）
保留并迁移的模块：完整继承 Stage 1 训练好的视觉编码器（含投影层）、语言编码器（含投影层）以及 Transformer 主干权重，并在微调期继续优化主干与投影层以适应目标机器人的多视角观测（1–3 路相机，如头相机 + 双腕相机）。
完全重初始化的模块：将具身耦合的 StateAdapter（ ${MLP}_{state}$ ）、ActionAdapter（ ${MLP}_{action}$ ）与 ActionDecoder 彻底丢弃并随机重初始化，直接匹配目标机器人的原生本体与动作空间（如双 6-DoF 或 7-DoF 机械臂配平行夹爪的 $d_{a} = 14$ 维空间）。

这种模块化切分既防止了目标机器人低维动作空间在预训练期限制手部精细特征吸收，又避免了微调初期异构动作维度强行对齐对多模态主干表征的破坏。

3.3 线性路径流匹配训练与 5 步快速 ODE 推理

为提升大规模预训练的梯度稳定性并压缩推理延迟，H-RDT 采用条件流匹配（Conditional Flow Matching, Lipman et al., 2022）替代传统扩散去噪。给定目标真实动作序列 $a_{t : t + H}^{*}$ 、标准高斯噪声 $z \sim N (0, I)$ 以及均匀采样的流时间步 $τ \in [0, 0.999]$ ，构造直线插值流路径（论文公式 1）：

a^{τ} = τ \cdot a_{t : t + H}^{*} + (1 - τ) z

网络 $v_{θ} (a^{τ}, τ, c)$ 在多模态条件 $c = {o_{t}, s_{t}, l}$ 下学习预测连接噪声与目标动作的常微分速度向量场。论文正文公式 (2) 将流匹配回归损失写作：

L_{FM} = E_{τ, z, a^{*}, c} [‖ v_{θ} (a^{τ}, τ, c) - (z - a_{t : t + H}^{*}) ‖^{2}]

（注：按公式 1 在 $τ = 0$ 对应噪声 $z$ 、 $τ = 1$ 对应目标动作 $a_{t : t + H}^{*}$ 的插值方向，从 $0 \to 1$ 积分的正向切向量为 $a_{t : t + H}^{*} - z$ ，原文公式 2 写为 $z - a_{t : t + H}^{*}$ 仅相差一个全局方向符号约定；附录 B.3 明确给出了与之配套的正向确定性欧拉积分更新式。）

在部署推理阶段，从高斯噪声 $a_{0} \sim N (0, I)$ 出发，仅需执行 5 次函数评估（NFE $= 5$ ，固定步长 $Δ t = 1 / 5 = 0.2$ ）的确定性欧拉 ODE 积分即可生成完整动作序列：

a_{k + Δ t} = a_{k} + Δ t \cdot v_{θ} (a_{k}, k, c), k \in {0, 0.2, 0.4, 0.6, 0.8}

极少的积分步数使 2B 参数规模的 H-RDT 能够在真机平台上稳定达到 30 Hz 实时闭环控制频率。

3.4 2B 参数模块化网络架构详解

H-RDT 由五大模块化组件构成，完整架构超参数（Table 7）与信号流如下：

双视觉骨干与语言编码器：
- 视觉通路：每路 RGB 图像划分为 196 个图像 Patch，同时输入冻结的 DINOv2（强空间几何与部件对应特征）与 SigLIP（强图文语义对齐特征），拼接后经 2 层 MLP + SiLU 投影适配器映射至主干维度 $d_{model} = 2176$ ；
- 语言通路：任务指令（最大长度 1024 Tokens）经冻结的 T5-XXL 编码后，同样由 2 层 MLP + SiLU 适配器投影至 $d_{model} = 2176$ 。
模块化状态与加噪动作编码器（3 层 MLP + SiLU）：分别将当前本体状态 $s_{t}$ 与流时间 $τ$ 处的加噪动作块 $a_{t : t + H}^{τ}$ 投影至主干隐藏空间：

h_{state} = StateAdapter (s_{t}) \in R^{1 \times d_{model}}, h_{action} = ActionAdapter (a_{t : t + H}^{τ}) \in R^{H \times d_{model}}

LLaMA-3 风格双交叉注意力 Transformer 主干（总参数量 2B）：
- 由 16 个 Transformer Block 堆叠组成，隐藏维 $d_{model} = 2176$ ，采用 RMSNorm（ $ϵ = 10^{- 5}$ ）、SwiGLU 前馈激活与分组查询注意力（GQA，16 个 Query 注意力头、8 个 Key-Value 头）；
- 避免模态失衡的解耦注入顺序：每个 Block 内部首先对拼接序列 $x = Concat (h_{state}, h_{action}) \in R^{(1 + H) \times d_{model}}$ 执行 GQA 自注意力；随后依次通过独立的图像交叉注意力层（Image Cross-Attn）与独立的语言交叉注意力层（Lang Cross-Attn）注入多视角视觉 Token 与语言指令 Token，防止图像 Patch 数量淹没状态、动作或简短语言指令；
- 流时间条件调制：连续流时间步 $τ$ 经 Fourier MLP 映射为时间嵌入 $t_{emb}$ ，通过 AdaLN（自适应层归一化）调制每个子层的特征分布。
模块化动作解码器：取主干输出的动作隐藏序列 $h_{action}^{'}$ 与时间嵌入 $t_{emb}$ ，由轻量 MLP 解码输出目标动作空间的速度场预测：

{\hat{v}}_{t : t + H} = ActionDecoder (h_{action}^{'}, t_{emb}) \in R^{H \times d_{a}}

两阶段训练统一采用 AdamW 优化器（学习率 $1 \times 10^{- 4}$ ，权重衰减 $0.01$ ，全局梯度裁剪范数 $1.0$ ）、bfloat16 混合精度与梯度累积。

四、实验结果

4.1 评测体系与对比基线

实验横跨 2 套仿真构型与 3 套异构双臂真机平台（合计 5 种双臂机器人形态），系统对比以下基线：

RDT-1B（Liu et al., 2024）：在跨构型机器人数据集上大规模预训练的双臂扩散基础模型；
$π_{0}$ （Black et al., 2024）：基于 PaliGemma VLM 与流匹配动作专家的 SOTA 通用 VLA 模型；
ACT / Diffusion Policy (DP)：单任务专用模仿学习经典基线（用于 RoboTwin 2.0 单任务对比）；
H-RDT w/o human（表中记为 w/o human）：与 H-RDT 架构和超参数完全相同、但跳过 Stage 1 EgoDex 人类预训练直接从零在机器人数据上训练的严格消融基线。

综合全部 4 组仿真设置（单任务 Easy/Hard + 双构型多任务 Hard）与 4 组真机任务套件，H-RDT 相对同架构从零训练（w/o human）在仿真中平均提升 +13.9 个百分点（ $(8.4 + 8.4 + 20.0 + 18.9) / 4 = 13.925 %$ ），在真机上平均提升 +40.5 个百分点（ $(52.0 + 44.0 + 24.0 + 42.0) / 4 = 40.5 %$ ）。

4.2 三大双臂真机平台多任务评测

所有真机实验均采用多任务联合微调设置：

（1）Aloha-Agilex-2.0（双臂 Piper）：柔性织物折叠与左右手空间推理

在双臂 Piper 平台上各采集 50 条轨迹（8 张 H20 训练 50k 步，每任务评测 25 次 Rollout），考察两项高难度双臂技能：Towel Folding（双臂抓底边下拉展平 → 双臂对折 → 右臂二次折叠，5 档阶段赋分）与 Cup to Coaster Placement（依据杯子在左/右半区自动推理选择左臂或右臂抓取并精准落垫，3 档阶段赋分）：

平台与任务	阶段完成度分级（25 次试验分布）	RDT-1B	H-RDT w/o human	H-RDT（本文）
Towel Folding	`0.0` 完全失败 / `0.2` 单侧一折	0 / 0	7 / 18	0 / 0
（柔性毛巾连续两折）	`0.5` 双侧一折 / `0.7` 二折未完成 / `1.0` 完整两折	3 / 12 / 10	0 / 0 / 0	3 / 9 / 13
	完整任务成功率（Complete SR）	40.0%	0.0%	52.0%（+52.0 pp）
Cup to Coaster	`0.0` 完全失败 / `0.4` 抓起未放准 / `1.0` 成功完成	10 / 8 / 7	14 / 6 / 5	6 / 3 / 16
（空间推理自动选臂）	完整任务成功率（Complete SR）	28.0%	20.0%	64.0%（+44.0 pp）
双任务平均成功率	Mean Complete SR	34.0%	10.0%	58.0%（+48.0 pp）

没有人类预训练的 w/o human 在 50 条柔性毛巾演示上一次完整折叠都无法完成（0.0%，全部卡在单侧折一下），而 H-RDT 凭借 EgoDex 中丰富的日常双手理衣折布先验将成功率直接推至 52.0%；在需要明确左右手空间分工的放杯入垫任务上更以 64.0% 大幅领先 RDT-1B（28.0%）。

（2）双臂 ARX5：113 项多样化任务极少样本学习（1–5 条演示/任务）

为极限测试人类行为先验的样本效率，在双臂 ARX5 上构建包含 113 项不同抓放与堆叠任务、总计仅 607 条轨迹（每项任务仅 1–5 条演示）的大规模少样本多任务集（4 张 H100 训练 100k 步，Table 3）：

代表性少样本任务类别（每任务仅 1–5 条真机演示）	RDT-1B	$π_{0}$	H-RDT w/o human	H-RDT（本文）
`Pick yellow item to the plate`	12%	16%	28%	40%
`Place banana and carrot in basket`	24%	40%	8%	44%
`Stack two bowls together`	32%	60%	40%	68%
`Place cube in front of highest chips`（空间高度比较推理）	12%	0%	0%	20%
`Stack one can on top of the other can`	0%	40%	12%	36%
平均成功率（Average SR）	16.0%	31.2%	17.6%	41.6%

在每任务仅 1–5 条轨迹的极端稀疏监督下，连预训练过海量机器人与图文数据的 $π_{0}$ 在需要空间参照物高度判断的 Place cube in front of highest chips 上也完全失效（0%），而 H-RDT 依靠 EgoDex 中大量相似的日常抓放与叠碗行为先验取得了 41.6% 的总平均成功率（较从零训练提升 +24.0 pp，较 RDT-1B 提升 2.6 倍）。

（3）双臂 UR5 + UMI：便携式手持夹爪演示下的长序双臂协同

在双臂 UR5 平台上使用 UMI 手持夹爪采集 100 条双臂外卖袋依次入筐轨迹（8 张 H100 训练 20k 步，25 次评测），任务拆解为右臂抓袋、右臂入筐、左臂抓袋、左臂入筐四个串行子任务（Table 4）：

双臂 UR5 + UMI 串行子任务	RDT-1B	$π_{0}$	H-RDT w/o human	H-RDT（本文）
`Right hand pick` / `Right hand place`	36% / 32%	40% / 28%	20% / 16%	64% / 56%
`Left hand pick` / `Left hand place`	28% / 20%	36% / 20%	20% / 8%	60% / 52%
四阶段平均成功率（Average SR）	29.0%	31.0%	16.0%	58.0%（+42.0 pp）

4.3 RoboTwin 2.0 仿真基准：单任务、多任务扩展效应与跨构型泛化

在 RoboTwin 2.0 双臂基准上划分两档环境难度：Easy 模式（与干净训练集一致的整洁桌面）与 Hard 模式（强域随机化：含 $3 cm$ 桌面高度扰动、随机背景纹理、光照剧烈变化及桌面杂物干扰）。

（1）13 项单任务训练（每任务 50 条干净轨迹 → 同时测 Easy 与零样本域随机化 Hard，Table 8）

单任务方法（Aloha-Agilex-1.0，10k 步）	ACT	DP	RDT-1B	$π_{0}$	H-RDT w/o human	H-RDT（本文）
13 任务平均 Easy SR（干净环境）	9.4%	35.1%	47.8%	64.9%	60.3%	68.7%（+8.4 pp）
13 任务平均 Hard SR（强域随机化 OOD）	2.0%	1.4%	19.6%	24.6%	17.2%	25.6%（+8.4 pp）

传统单任务策略 ACT 与 DP 在遭遇桌面高度与背景光照扰动的 Hard 模式下瞬间崩溃至 $\leq 2.0 %$ ；H-RDT 在 Easy 与 Hard 下均取得全场最高均值，尤其在精细堆叠 Stack Bowls Two（Hard：w/o human 13% $\to$ 48%）与双臂提锅移罐 Move Can Pot（Hard：5% $\to$ 26%）上展现出极强的抗环境扰动能力。

（2）45 项多任务联合训练与跨机器人构型迁移（Aloha-Agilex-1.0 vs. 双臂 Franka-Panda，Table 5 & Table 6）

在 45 项域随机化任务（约 2,250 条演示，三视角相机）上训练单一多任务策略（Aloha 训练 30k 步，Franka 仅微调 10k 步），在 Hard 模式下评测 10 项代表性任务：

RoboTwin 2.0 多任务（Hard 模式评测）	Aloha: RDT / $π_{0}$ / w/o human / H-RDT	Franka: RDT / $π_{0}$ / w/o human / H-RDT
`Click Alarmclock`	30% / 69% / 69% / 94%	58% / 71% / 59% / 94%
`Click Bell`	13% / 40% / 77% / 98%	18% / 48% / 39% / 89%
`Dump Bin Bigbin`	22% / 33% / 58% / 89%	8% / 13% / 21% / 31%
`Grab Roller`	57% / 71% / 91% / 97%	50% / 35% / 70% / 75%
`Handover Mic`（双臂空中交接麦克风）	81% / 97% / 93% / 99%	13% / 17% / 53% / 64%
`Move Playingcard Away`	3% / 23% / 44% / 67%	3% / 7% / 17% / 20%
`Open Laptop`	33% / 35% / 88% / 92%	15% / 11% / 41% / 43%
`Open Microwave`	19% / 46% / 32% / 82%	1% / 45% / 29% / 59%
`Press Stapler`	15% / 59% / 71% / 81%	34% / 42% / 51% / 86%
`Stack Bowls Three`（Aloha）/ `Shake Bottle`（Franka）	15% / 11% / 49% / 73%	31% / 31% / 60% / 68%
10 任务平均成功率（Hard Mode Mean SR）	28.8% / 48.4% / 67.2% / 87.2%（+20.0 pp）	23.1% / 32.0% / 44.0% / 62.9%（+18.9 pp）

这一对比揭示了两条关键科学现象：

人类预训练先验在多任务场景下的增益远超单任务：从单任务切换到 45 任务联合训练后，H-RDT 相对 w/o human 的绝对增益从 +8.4 pp 放大超过一倍至 +20.0 pp（Aloha）与 +18.9 pp（Franka），说明大规模人类多任务预训练塑造的共享技能流形能够有效促进下游不同机器人任务间的正向知识迁移（如 Open Microwave 从 32% 暴涨至 82%）；
模块化动作编解码器的高跨构型普适性：无论是在 6-DoF 轻型双臂 Aloha 上，还是在运动学构型与惯量截然不同的 7-DoF 工业双臂 Franka-Panda（仅微调 10k 步）上，H-RDT 均大幅超越在多构型机器人数据上预训练的 RDT-1B（提升 +58.4 pp 与 +39.8 pp）和 $π_{0}$ （提升 +38.8 pp 与 +30.9 pp）。

五、局限性与未来方向

强依赖高精度三维手部追踪标注，尚无法直接利用海量无标注互联网视频：Stage 1 要求每帧具备精确的双腕 6-DoF 与十指指尖 3D 坐标（依赖 EgoDex 的 Apple Vision Pro 多相机追踪管线），难以直接扩展至 YouTube 或 Ego4D 等缺乏精确 3D 手部真值的野外纯 RGB 视频。
下游微调彻底重初始化动作头，不具备零样本跨具身执行能力：由于 Stage 2 随机重初始化了 StateAdapter、ActionAdapter 与 ActionDecoder，模型在未见过目标机器人演示前无法零样本输出合法控制指令，且未显式利用手腕 18 维与机器人末端 6-DoF 之间的几何同构性做热启动。
预训练单视角与部署多视角失配及缺少相机自运动显式稳像：Stage 1 仅有单路头部移动相机，而真机精细接触往往依赖双腕近距相机（1 $\to$ 3 视角切换全靠 Stage 2 弥补）；同时正文未在动作目标或辅助世界动力学上显式剥离佩戴者头部晃动与人手抓取形态偏置。

六、个人思考

“单一人类构型超集预训练”对“异构机器人大杂烩预训练”的降维打击：RDT-1B 与 OpenVLA 试图在预训练阶段就把几十种自由度各异的机械臂塞进同一个动作槽位，结果大量容量消耗在调和不同机器人的运动学冲突上。H-RDT 最核心的洞察是把“人类双手”当作唯一且信息最完备的通用教师构型——在 EgoDex 338K 条同构轨迹上先把 2B 主干喂饱，再用不到几百万参数的 3 层 MLP 适配器在下游做构型投影。实验结果（87.2% vs. RDT-1B 28.8%）有力证明：预训练阶段的数据同构性与任务覆盖广度，比在预训练阶段过早混入异构机器人控制空间更重要。
人到机器人 VLA 动作接口的三条代表性路线对比：将本文与同期的第一视角人类数据 VLA 工作并置，可以看到清晰的技术光谱：
- 模块化重初始化路线（H-RDT）：预训练用 48 维人手超集，下游彻底换掉动作进出 MLP。优点是对下游机器人构型零运动学假设（平行夹爪、灵巧手、关节空间或末端空间通吃）；缺点是切断了输出层几何对应，需要数十条演示重新对齐进出接口。
- 显式运动学统一动作空间路线（EgoVLA、Being-H0、EgoScale、GR-3）：如 EgoVLA 将机器人灵巧手反向优化至人类 MANO PCA 空间，微调时无需重初始化任何网络层，直接通过 IK 与指尖重定向上机；Qwen-RobotManip 进一步通过相机系相对位姿对齐与人手擦除重渲染机械臂，从视觉和动作两端同时弥合鸿沟。
- 免手部标注的隐式潜在动作/世界动力学路线（CLAP、UniVLA、EgoWAM）：当走出 EgoDex 迈向无 3D 手部真值的海量野外视频时，CLAP 通过对比学习将人类帧间视觉跳变对齐到机器人 Act-VAE 可执行码本，而 EgoWAM 则引入 DINO / 相机稳像 3D Motion Flow 世界预测头规避类人动作负迁移。
一个零成本的改进方向——部分权重几何热启动：H-RDT 既然特意将 48 维动作的前 18 维设计为与机器人末端位姿完全同构的双腕 3D Pos + 6D Rot，Stage 2 其实完全不必把整个 ActionAdapter 和 ActionDecoder 全部随机归零：若下游采用相机系末端控制（如双臂 UR5+UMI），直接切片保留前 18 维手腕通道的预训练线性权重，仅将十指指尖 30 维压缩蒸馏到 2 维夹爪开合通道，在 1–5 样本极少样本场景下大概率还能进一步降低适配样本门槛。

参考

EgoDex（Hoque et al., 2025）：H-RDT Stage 1 所使用的 829 小时（338K 轨迹）带逐帧 3D 手部姿态标注的大规模第一视角人类操作数据集
RDT-1B（Liu et al., 2024）：H-RDT 的前作双臂扩散基础模型，提出分离图像/语言交叉注意力的双臂 DiT 架构
$π_{0}$ （Black et al., 2024）/ $π_{0.5}$ （Physical Intelligence, 2025）：流匹配通用 VLA 核心对比基线
EgoVLA（Yang et al., IROS 2026）：基于 MANO 统一动作空间与指尖反向重定向、无需重初始化动作头的人到人形机器人 VLA
CLAP（Zhang et al., 2026）/ UniVLA（Bu et al., RSS 2025）：无需 3D 手部姿态标注、从无标签人类视频学习离散潜在动作的对照范式
EgoWAM（Li et al., CoRL 2026）：通过非像素世界动力学辅助预测目标消除人机协同训练负迁移的世界动作模型
RoboTwin 2.0（Chen et al., 2025）：本文用于评测单任务、45 任务多任务与跨构型强域随机化泛化的双臂仿真基准

幻觉缓解

Token 压缩

基础模型

感知增强

推理与规划

高效推理

RL 后训练

H-RDT：面向双臂机器人操作的大规模第一视角人类动作预训练扩散 Transformer ​

一句话总结 ​

一、问题与动机 ​

1.1 跨构型机器人预训练的双重天花板 ​

1.2 第一视角人类操作视频的机遇与三大待解难题 ​

二、预备知识：从 RDT-1B 到 H-RDT 的架构演进 ​

三、核心方法 ​

3.1 问题形式化与 48 维超集人类动作表征 ​

3.2 两阶段“人类预训练 → 跨构型微调”范式 ​

3.3 线性路径流匹配训练与 5 步快速 ODE 推理 ​

3.4 2B 参数模块化网络架构详解 ​

四、实验结果 ​

4.1 评测体系与对比基线 ​

4.2 三大双臂真机平台多任务评测 ​

（1）Aloha-Agilex-2.0（双臂 Piper）：柔性织物折叠与左右手空间推理 ​

（2）双臂 ARX5：113 项多样化任务极少样本学习（1–5 条演示/任务） ​

（3）双臂 UR5 + UMI：便携式手持夹爪演示下的长序双臂协同 ​

4.3 RoboTwin 2.0 仿真基准：单任务、多任务扩展效应与跨构型泛化 ​

（1）13 项单任务训练（每任务 50 条干净轨迹 → 同时测 Easy 与零样本域随机化 Hard，Table 8） ​

（2）45 项多任务联合训练与跨机器人构型迁移（Aloha-Agilex-1.0 vs. 双臂 Franka-Panda，Table 5 & Table 6） ​

五、局限性与未来方向 ​

六、个人思考 ​

参考 ​