Being-H0：面向大规模人类视频的视觉-语言-动作预训练框架

论文：Being-H0: Vision-Language-Action Pretraining from Large-Scale Human Videos

作者：Hao Luo*、Yicheng Feng*、Wanpeng Zhang*、Sipeng Zheng*、Ye Wang、Haoqi Yuan、Jiazheng Liu、Chaoyi Xu、Qin Jin、Zongqing Lu†（* 共同一作，† 通讯作者）

机构：北京大学（Peking University）、中国人民大学（Renmin University of China）、BeingBeyond

发布时间：2025 年 7 月（arXiv 2507.15597，2025-07-21）

发表状态：ICML 2026（已录用）

🔗 arXiv | PDF | 项目主页 | 代码 | 模型权重

分类标签：VLA 基础模型 人类视频预训练 灵巧手操作 运动离散分词 (GRQ-VAE) 物理指令微调 三维空间对齐

一句话总结

针对多指灵巧手操作面临的真机遥操作数据荒漠，以及现有无标签视频预训练依赖隐式潜动作（Latent Action）而缺乏三维物理可解释性的局限，提出以显式三维人手运动（3D MANO）为通用中间锚点的 VLA 预训练框架 Being-H0 与物理指令微调（Physical Instruction Tuning, PIT）范式：首先汇总 11 个多源异构手部数据集构建超千小时、1.665 亿指令对的 UniHand（均衡采样为 UniHand-2.5M）；继而设计将手腕全局位姿与手指局部关节解耦量化的部位级分组残差量化分词器（Part-Level GRQ-VAE，实现 1.29 mm 亚毫米级手指重建精度与每秒单手 128 Token 紧凑编码），结合弱透视相机内参对齐与视角不变三维运动分布均衡消除跨数据源几何失配，并在 InternVL3（1B / 8B / 14B）主干上通过双层掩码自回归统一训练视觉-语言-三维运动生成与理解；实验表明，Being-H0 在三维手部运动生成基准与配备 6-DoF Inspire 灵巧手的 Franka 真机操作（平均成功率 74.3% vs. GR00T N1.5 的 63.6% 及无 PIT 基线的 47.9%）上均取得显著优势，展现出清晰的模型规模扩展律与少样本迁移效率。

一、问题与动机

1.1 灵巧手操作的数据瓶颈与隐式潜动作的缺陷

主流视觉-语言-动作（VLA）模型主要围绕结构简单的二指平行夹爪构建，依赖大规模同构机器人遥操作轨迹进行训练。然而，当目标转向具备高自由度、多接触动力学特性的多指灵巧手操作（Dexterous Manipulation）时，真机遥操作不仅面临高昂的硬件磨损与外骨骼标定成本，还存在严重的跨灵巧手构型壁垒，难以单纯依靠真机采集实现规模化扩展。

与此同时，人类日常双手就是天然的高自由度灵巧操作器，海量第一视角人类操作视频蕴含着丰富的三维可达空间规划、手物接触可供性（Affordance）与手指协同原语。此前尝试从无动作标签视频中预训练 VLA 的代表工作（如 LAPA、UniVLA 等）大多依赖相邻帧逆动力学提取隐式潜动作（Implicit Latent Actions）。论文指出，这种无显式物理监督的潜动作路线在灵巧操作中面临两个根本缺陷：

1. 缺乏显式三维几何语义：二维帧间外观差分极易将背景扰动、相机晃动与手指精细关节屈伸混杂在一起，无法精确刻画手腕在三维空间中的毫米级推进与多指协同包络；
2. 与物理控制空间脱节：隐式码本与真实三维笛卡尔/关节控制空间不存在明确的几何对应关系，难以直接检验预训练阶段究竟学到了多少真实的物理灵巧先验。

1.2 从异构人类视频中学习显式三维灵巧先验的三大挑战

若改以参数化三维人手轨迹（MANO）作为显式预训练监督信号，又必须攻克三项横亘在视觉语言主干与异构数据源之间的技术障碍：

• （C1）高维连续多关节手部运动的紧凑离散分词：单手 MANO 参数每帧包含手腕 6-DoF 全局刚体运动与 15 个指间关节三维旋转；手腕宏观平移（分米级）与手指微观屈伸（毫米级）在数值尺度与动力学频率上高度异构，普通单一 VQ-VAE 极易出现“手腕主导码本而手指僵硬失真”或“序列过长挤占上下文”的两难；
• （C2）多源相机内参异构与视角分布偏置：现有三维手部数据横跨实验室多相机光学动捕（MoCap）、头戴式 VR/MR 设备以及单目野外视频伪标注，不同设备的焦距、主点、视场角（包括鱼眼畸变）乃至俯仰拍摄习惯差异巨大，若直接混合训练会导致“同一二维图像像素位置对应截然不同的三维相机系坐标”；
• （C3）离散运动生成主干向连续高频灵巧手控制的迁移：预训练阶段通过自回归离散 Token 建模多模态条件分布以对齐 VLM 词表，而下游真机灵巧手需要低延迟、连续平滑的高频动作块输出。

为此，Being-H0 提出了系统性的物理指令微调（Physical Instruction Tuning, PIT）三阶段范式：（1）基于部位级运动分词的大规模手部运动生成预训练、（2）跨相机物理空间几何对齐、以及（3）面向异构灵巧手硬件的非自回归动作查询后训练。

二、预备知识

2.1 MANO 三维手部参数化表示与特征空间设计

Being-H0 采用参数化三维人手网格模型 MANO 统一刻画每一帧的手部状态 $m=\{\theta ,r_{\text{rot}},\tau ,\beta \}$：其中 $\tau \in {\mathbb{R}}^3$ 为相机坐标系下的手腕三维平移，$r_{\text{rot}}$ 为手腕全局三维朝向，$\theta$ 为 15 个手指关节点的局部三维旋转，$\beta \in {\mathbb{R}}^{10}$ 为个体手型参数（同一视频片段内可视作常数，取首帧估计值）。

为消除轴角表示（Axis-Angle，${\mathbb{R}}^3$）在连续旋转插值与神经网络回归中的奇异性（万向节死锁与不连续跳变），并强化指尖与指节的三维欧氏几何保真度，论文系统评测了五种 MANO 特征组合：

特征变体	关节旋转 $\theta$	手腕朝向 $r_{\text{rot}}$	手腕平移 $\tau$	手型 $\beta$	训练期辅助三维关节点 $j$	总维度
MANO-D51	轴角（$15\times 3$）	轴角（$3$）	$3$	—	—	51
MANO-D99	连续 6D 旋转（$15\times 6$）	6D 旋转（$6$）	$3$	—	—	99
MANO-D109	连续 6D 旋转（$15\times 6$）	6D 旋转（$6$）	$3$	$10$	—	109
MANO-D114	轴角（$15\times 3$）	轴角（$3$）	$3$	—	$21\times 3$	114
MANO-D162（默认）	连续 6D 旋转（$15\times 6$）	6D 旋转（$6$）	$3$	—	$21\times 3$	162

其中默认采用的 MANO-D162 在分词器训练阶段额外拼接由正向运动学解算出的 21 个三维手部关键点坐标 $j\in {\mathbb{R}}^{21\times 3}$ 作为显式三维欧氏几何正则约束，而在推理输出阶段直接读取解码出的 MANO 姿态参数。

2.2 分组残差向量量化（GRQ-VAE）

给定经 1D 卷积时间下采样（步幅因子 $\alpha =4$）后的第 $i$ 个时间步潜在特征 $z_i\in {\mathbb{R}}^d$，分组残差向量量化（Grouped Residual Vector Quantization, GRQ）首先沿通道维将 $z_i$ 均分为 $n$ 个子向量组 $\{z_i^{(1)},\dots ,z_i^{(n)}\}$（每组维度 $d/n$），随后在每个通道组 $g\in \{1,\dots ,n\}$ 内独立执行 $L$ 层残差向量量化（码本 ${\mathcal{C}}^{(g)}$，大小 $|{\mathcal{C}}^{(g)}|=K$）：

$$r_0=z_i^{(g)},q_l=\arg \underset{c\in {\mathcal{C}}^{(g)}}{min}\parallel r_{l-1}-c{\parallel }_2,r_l=r_{l-1}-q_l(l=1,\dots ,L)$$$${\hat{z}}_i^{(g)}=\sum _{l=1}^L{q}_l,{\hat{z}}_i=\mathrm{Concat}({\hat{z}}_i^{(1)},\dots ,{\hat{z}}_i^{(n)})$$

相较于单层扁平 VQ-VAE，GRQ 通过“通道分组并行 + 深度残差逐层逼近”的乘积结构，在保持单个码本规模可控的前提下以指数级组合容量精细逼近连续高频轨迹。

三、核心方法

3.1 UniHand 与 UniHand-2.5M：多源层级化手部指令数据集

论文整合了横跨三大采集模态的 11 个公开数据集（Table 1），统一转换为相机系三维 MANO 轨迹与标准化视觉-语言配对格式，构建出通用三维手部操作语料库 UniHand（共计 44.41 万条轨迹、1.30 亿帧、1,155 小时视频、1.665 亿条指令样本对）：

数据源类别	包含数据集（生成指令对数 / 原始时长）	三维真值特性与优劣互补
实验室光学动捕（MoCap，8 库）	HOI4D（21.2M / 7.6h）、OAKINK2（18.5M / 6.5h）、ARCTIC（17.9M / 2.3h）、TACO（11.5M / 3.2h）、HOT3D（8.7M / 3.9h）、H2O（3.7M / 1.1h）、DexYCB（3.6M / 3.8h）、FPHA（798K / 1.0h）	多相机标定毫米级精确手物接触真值，但场景受限于摄影棚桌面
头戴式 VR / MR 追踪（2 库）	EgoDex（70.6M / 829.4h，涵盖 194 种家庭灵巧任务）、HoloAssist（8.0M / 166.0h）	Apple Vision Pro / HoloLens SLAM 与手部追踪，贡献主体时长与双臂长程技能
单目野外视频伪标注（1 库）	Taste-Rob（1.9M / 130.0h，由 HaMeR 自动提取单目三维手部伪真值）	固定视角真实人类演示，验证管线向无动捕纯 RGB 视频的可扩展性

为解决原始视频缺乏细粒度秒级动作语义标注的问题，论文设计了双层视觉大模型自动标注管线：将长视频切分为 10 秒上下文宏块（Chunk）并以 1 秒滑动窗口（按 2 FPS 抽帧）切片，调用 Gemini-2.5-Flash-Lite 同步生成全局任务摘要与 1 秒级精细手部动作描述；随后为每类预训练任务构建约 20 套问答模板并用 Gemini-2.5-Pro 进行句式多样化改写。最终按数据源长尾均衡策略采样出 250 万条核心预训练语料 UniHand-2.5M（其中 EgoDex 414K、OakInk2 391K、ARCTIC 296K、TACO 293K、HOI4D 290K、H2O 240K、HOT3D 210K、DexYCB 174K、Taste-Rob 146K、FPHA 73K 等），由三大互补任务组成：指令条件运动生成（Instructional Motion Generation，1.6M）、上下文运动续写预测（Contextual Motion Prediction，0.5M，以前序历史运动推理后续 1–10 秒轨迹）与运动语义翻译理解（Motion Translation，0.4M，由三维运动反向生成自然语言描述）。

3.2 部位级运动分词器（Part-Level GRQ Motion Tokenizer）

若直接将手腕全局位姿与手指局部关节合并送入单一分词器，即便额外引入手腕重建加权损失

$${\mathcal{L}}_{\text{single}}={\mathcal{L}}_{\text{recon}}+{\lambda }_1{\mathcal{L}}_{\text{commit}}+{\lambda }_2\parallel w-\hat{w}{\parallel }_2^2({\lambda }_1=0.02,{\lambda }_2=1.0)$$

两组运动在物理自由度解耦性与空间量纲上的天然冲突仍会限制重建上限。Being-H0 因此提出部位级解耦分词架构（Part-Level Tokenization）：

• 腕-指双流物理拆分：构建两个结构独立、码本互不干扰的 1D-Conv GRQ-VAE（隐藏维 $d=512$，码本采用指数移动平均 EMA 更新以防坍缩），分别专门编码手腕全局运动流 $\{r_{\text{rot}},\tau \}$ 与手指局部精细关节流 $\{\theta ,\beta \}$（训练期附带 21 个三维关节点辅助重构监督，此时不再需要人工调权 ${\mathcal{L}}_{\text{wrist}}$）；
• 时间压缩与词表开销核算：统一在 $15\text{ FPS}$ 下编码 $1\text{ s}$ 运动窗口（$T=15$ 帧），经下采样率 $\alpha =4$ 压缩为 $\lceil 15/4\rceil =4$ 个时间步；腕部与手指分词器均配置 $n=2$ 个通道组、$L=8$ 层残差量化，各自码本大小 $K_w=K_f=4096$（向 VLM 词表总计新增 $8,192$ 个专属运动码字）。由此，每秒单手三维灵巧轨迹被精确编码为 $2\times n\times L\times 4=128$ 个离散运动 Token（双手则为 256 个 Token）；
• 随机参考帧长程坐标锚定：为支持多秒级连续手部轨迹生成并抵抗头戴相机慢漂移，在每个 10 秒宏块内随机采样一帧作为参考帧，将后续 1 秒目标手部轨迹通过相机外参统一变换至该参考帧的相机坐标系下进行编码。

用大白话说：打个比方，手腕运动好比“把整只手伸向水杯的粗定位导航”，手指关节运动则是“五指张开扣住杯柄的毫米级微操”。把两者拆给两套独立的残差码本各自量化，既避免了粗定位把码本容量吃光导致手指僵硬，又能让大模型像拼积木一样组合出全新的“伸手位置 + 抓握指型”。

3.3 多模态自回归架构、双层掩码训练与三种解码模式

Being-H0 以 InternVL3（1B / 8B / 14B 三个尺寸，视觉编码器为 InternViT-300M 配合 2 层 MLP 投影器，支持 $448\times 448$ 动态高分辨率分块及 $0.5$ 比例 Pixel-Shuffle 全局缩略图）作为多模态底座，通过特殊边界符 <IMG> / </IMG> 包裹视觉块、<MOT> / </MOT> 包裹离散运动块，将所有预训练任务统一为多模态条件序列生成：

$${\mathrm{\Theta }}^{\ast }=\arg \underset{\mathrm{\Theta }}{min}-\sum _{j=1}^{L_{\text{seq}}}\log P_{\mathrm{\Theta }}(y_j\mid X_Q,{\hat{y}}_{1:j-1})$$

为克服新增 8,192 个运动码字与原文本词表之间的模态竞争，以及人类视频中大量静止帧与偶发追踪跳变带来的梯度污染，论文引入了双层掩码训练机制（Dual-Level Masking，在 $32\times \text{A800-80G}$ 上以批大小 128、学习率 $1\times {10}^{-5}$ 训练）：

1. 词表级随机 Logit 掩码（Vocab-Level Logit Masking）：在目标标签属于运动码本的时间步上，以概率 $P=50\mathrm{\%}$ 将所有非运动文本词表的输出 Logit 强制掩蔽为 $-\mathrm{\infty }$，既加速运动子词表收敛，又保留另外 $50\mathrm{\%}$ 全词表竞争以维持自然发射 </MOT> 终止符与图文交错生成的能力：

$${\tilde{z}}_{j,v}=\{\begin{array}{ll}{z}_{j,v},& \text{if }v\in {\mathcal{V}}_{\text{mot}}\text{ or }{\xi }_j>P\\ -\mathrm{\infty },& \text{if }v\notin {\mathcal{V}}_{\text{mot}}\text{ and }{\xi }_j\le P\end{array},{\xi }_j\sim \mathcal{U}(0,1)$$

2. Token 级损失分位数过滤（Token-Level Loss Percentile Filtering）：计算批次内各运动 Token 的交叉熵损失 ${\ell }_j$，仅对处于第 $[Q_{\text{low}},Q_{\text{high}}]=[15\mathrm{\%},95\mathrm{\%}]$ 百分位数区间内的 Token 反传梯度：

$${\mathcal{L}}_{\text{motion}}=\frac{1}{|\tilde{\mathcal{L}}|}\sum _{{\ell }_j\in \tilde{\mathcal{L}}}{\ell }_j,\tilde{\mathcal{L}}=\{{\ell }_j\mid Q_{0.15}(\{\ell \})\le {\ell }_j\le Q_{0.95}(\{\ell \})\}$$

这一简洁设计同时砍掉了两端有害样本：底端 $<15\mathrm{\%}$ 对应几乎无信息量的手部静止帧，顶端 $>95\mathrm{\%}$ 则精准拦截了视觉追踪器失锁产生的非物理高频抖动离群点。

在推理评估阶段，Being-H0 支持三种灵活解码协议：Free-format（全词表自由生成，检验模型自主输出合法运动块长度与语法格式的能力）、Block-formatted（在 <MOT> 与 </MOT> 之间约束仅从运动词表采样并屏蔽过早终止符，保障定量评测 100% 结构对齐）以及面向 2–10 秒长时程评测的 Soft-formatted（每生成一秒运动块后将解码 MANO 参数与真值取均值融合再重新量化回上下文，抑制一对多任务开放性带来的开环累积漂移）。

3.4 物理空间对齐（Physical Space Alignment）

为彻底打破 11 个数据源在相机成像几何与拍摄习惯上的壁垒（挑战 C2），论文提出两项严格的几何不变性对齐变换：

1. 弱透视投影相机内参统一（Weak-Perspective Projection Alignment）：首先将 Aria / VR 设备中的鱼眼镜头统一去畸变重投影至标准 ${90}^{\circ }$ 视场角针孔模型；随后选定统一虚拟目标相机内参 $K^{\prime }=\{f_x^{\prime },f_y^{\prime },c_x^{\prime },c_y^{\prime }\}$，保持三维相机系手部真值坐标不变，对源相机内参 $K=\{f_x,f_y,c_x,c_y\}$ 下的二维图像像素 $(u,v)$ 施加仿射重采样与裁剪/填充至标准分辨率 $(W,H)$：

$$s_x=\frac{f_x^{\prime }}{f_x},s_y=\frac{f_y^{\prime }}{f_y},\mathrm{\Delta }x=c_x^{\prime }-s_x{c}_x,\mathrm{\Delta }y=c_y^{\prime }-s_y{c}_y,(u^{\prime },v^{\prime })=(s_{x}u+\mathrm{\Delta }x,s_{y}v+\mathrm{\Delta }y)$$

该变换从射影几何上严格保证了：经过重采样后的像素 $(u^{\prime },v^{\prime })$ 与同一三维空间点 $(X_c,Y_c,Z_c)$ 在所有数据集上完全服从同一组针孔透视方程 $u^{\prime }=f_x^{\prime }{X}_c/Z_c+c_x^{\prime }$。

2. 视角不变三维运动分布均衡（View-Invariant Motion Distribution Balancing）：针对小规模数据源在三维深度与视角平面内分布狭窄、易被大型库淹没的问题，同步对图像与三维相机系手部轨迹 $({\tau }_c,R_c)$ 施加两类几何自洽增强——（a）深度-尺度耦合缩放：采样缩放因子 ${\lambda }_s$，令三维手腕深度 ${\tau }_c^{z^{\prime }}={\lambda }_s{\tau }_c^z$，同时将图像按倒数比例缩放至 $(W/{\lambda }_s,H/{\lambda }_s)$ 后中心裁剪/填充，严格保持弱透视投影一致性；（b）光轴平面内同步旋转：绕相机光轴 $Z_c$ 采样旋转角 $\varphi$，令图像平面同步旋转 $\varphi$，同时更新三维手部平移与朝向：

$${\tau }_c^{\prime }=R_z(\varphi ){\tau }_c,R_c^{\prime }=R_z(\varphi )R_c$$

3.5 面向灵巧手真机的非自回归动作查询后训练

迁移至具体机器人硬件（如机械臂 + 多指灵巧手）时，为规避自回归逐 Token 解码的高延迟，Being-H0 在预训练好的多模态上下文表征 $\text{ctx}$ 末端引入本体感知多层感知机 $f_p(p_t)$ 以及 $N_a$ 个可学习动作查询向量（Learnable Action Queries）$\{q_1,\dots ,q_{N_a}\}$，经主干单次前向并行交互后由轻量回归头 $f_r$ 一次性输出未来 $N_a$ 步连续机器人末端与灵巧手关节动作块，并以 ${\ell }_1$ 损失端到端微调全部参数 ${\mathrm{\Theta }}_a$：

$$a_i=f_r(\mathrm{\Theta }(q_i,\text{ctx}\oplus f_p(p_t))),\mathcal{L}({\mathrm{\Theta }}_a)=\frac{1}{N_a}\sum _{i=1}^{N_a}\parallel a_i-a_i^{\ast }{\parallel }_1$$

四、实验结果

4.1 规模扩展律与三维手部运动生成基准评测

论文将评测集划分为头部主分布集（Head：EgoDex 测试集）与长尾跨分布集（Tail：TACO、HOI4D、H2O、OakInk2 保留测试集），采用平均关节位置误差 MPJPE (cm) $\downarrow$、手腕平移误差 MWTE (cm) $\downarrow$、Procrustes 刚体对齐后局部手指姿态误差 PA-MPJPE (cm) $\downarrow$、跨模态检索召回率 M2T / T2M R@3 (%) $\uparrow$ 与分布距离 FID $\downarrow$ 进行全面检验，并将 NVIDIA GR00T N1.5 微调至同一三维手部运动空间作为强基线。

1. 模型规模扩展、自由生成合法率与长程稳定性（Table 2 & Table 4）：

   • 在无任何解码掩码约束的 Free-format 模式下（Table 2），1B 模型仅能以 64.8% 的比例输出结构合法的运动块；扩展至 8B（99.8%）与 14B（100.0%）后语法合法率近乎完美，同时反向运动语义理解（Motion Translation T2M R@3，Head / Tail 真值上限为 33.5% / 42.7%）随参数规模从 12.5% / 14.3%（1B）单调跃升至 18.4% / 19.7%（8B）与 19.0% / 22.1%（14B）。
   • 在 Soft-formatted 多秒长程评测中（Table 4），Being-H0-14B 在 2–5 秒短程与 6–10 秒长程视觉驱动生成上的 Head / Tail MPJPE 分别稳定在 7.43 / 8.39 cm 与 7.98 / 9.72 cm（显著优于 1B 的 8.97 / 9.96 cm 与 9.12 / 11.24 cm），展现出极强的长时程抗漂移能力。

2. 纯视觉驱动与上下文续写单秒三维手部运动生成（Table 3，Head / Tail）：

评测任务模式	对比模型	MPJPE (cm) $\downarrow$	MWTE (cm) $\downarrow$	PA-MPJPE (cm) $\downarrow$	M2T R@3 (%) $\uparrow$	FID $\downarrow$
Visual-Grounded	GR00T N1.5	9.82 / 15.35	8.51 / 11.20	1.33 / 1.41	13.1 / 14.8	11.7 / 14.4
（仅首帧图像 + 指令）	Being-H0-1B	9.71 / 17.21	8.25 / 12.04	1.50 / 1.55	12.1 / 15.3	12.2 / 13.1
	Being-H0-8B	7.20 / 9.02	5.69 / 8.11	1.09 / 1.32	15.9 / 18.7	11.5 / 13.4
	Being-H0-14B	6.87 / 8.11	5.19 / 7.41	1.03 / 1.20	17.2 / 20.5	10.3 / 11.8
Contextualized	GR00T N1.5	7.14 / 8.55	6.65 / 7.93	1.11 / 1.25	16.1 / 20.5	11.2 / 13.3
（含前序历史运动）	Being-H0-1B	8.73 / 11.34	7.88 / 10.67	1.17 / 1.38	15.4 / 20.6	14.7 / 15.6
	Being-H0-8B	6.67 / 7.98	5.03 / 6.93	0.90 / 1.03	19.7 / 21.4	10.1 / 11.7
	Being-H0-14B	6.21 / 7.33	4.89 / 6.52	0.92 / 1.04	20.1 / 23.5	9.8 / 10.1

结果清晰表明：Being-H0-8B 与 14B 在所有几何精度与语义对齐指标上全面超越采用连续流匹配动作头的 GR00T N1.5，尤其在相机内参最多样的 Tail 长尾集上，Being-H0-14B 将视觉条件 MPJPE 从 GR00T N1.5 的 15.35 cm 大幅压缩 47.2% 至 8.11 cm，印证了物理空间内参对齐与运动分布均衡对跨数据集泛化的决定性作用。

4.2 分词器架构与预训练配方消融（Table 5 & Table 6）

1. 五种 MANO 特征与三种 GRQ 拓扑的重建精度对比（Table 5，单位 cm）：在固定每秒 128 Token 与总码本大小 8,192 预算下，对比部位解耦 Part-Level、整体 4 通道组 4-Groups（$n=4$）与整体 16 层残差 16-Layers（$L=16$）：

运动特征空间	Part-Level (MPJPE / PA-MPJPE $\downarrow$)	4-Groups (MPJPE / PA-MPJPE $\downarrow$)	16-Layers (MPJPE / PA-MPJPE $\downarrow$)	核心发现
MANO-D51（轴角）	0.556 / 0.209	1.165 / 0.184	1.466 / 0.243	部位解耦将全局 MPJPE 直接降低逾一半
MANO-D99（6D 旋转）	0.584 / 0.149	1.093 / 0.148	1.510 / 0.170	6D 连续旋转显著改善手指局部姿态 PA-MPJPE
MANO-D109（+ 手型 $\beta$）	0.592 / 0.160	1.107 / 0.140	1.602 / 0.201	动态编码静态手型 $\beta$ 反而挤占码本容量劣化重建
MANO-D114（轴角 + 关节 $j$）	0.523 / 0.167	0.810 / 0.202	0.996 / 0.253	显式三维关节点 $j$ 强力约束全局与局部欧氏几何
MANO-D162（6D + 关节 $j$）	0.573 / 0.129	0.704 / 0.138	1.054 / 0.226	实现 1.29 mm 最优亚毫米级局部手指几何保真度

2. 8B 模型端到端生成与预训练配方消融（Table 6，Visual-Grounded Head / Tail）：

8B 消融变体	MPJPE (cm) $\downarrow$	MWTE (cm) $\downarrow$	PA-MPJPE (cm) $\downarrow$	M2T R@3 (%) $\uparrow$	FID $\downarrow$
Being-H0-8B（MANO-D162 + Part-Level 默认）	7.20 / 9.02	5.69 / 8.11	1.09 / 1.32	15.9 / 18.7	11.5 / 13.4
MANO-D114 + 4-Groups	8.31 / 10.35	6.52 / 9.11	1.14 / 1.35	13.1 / 14.7	13.7 / 15.6
MANO-D162 + 4-Groups	7.98 / 9.71	5.58 / 8.98	1.09 / 1.38	15.4 / 17.1	11.9 / 14.3
MANO-D114 + Part-Level	7.74 / 9.92	6.11 / 8.83	1.16 / 1.41	12.3 / 16.1	13.1 / 12.3
w/o Translate（移除运动转文本理解）	7.22 / 9.11	5.51 / 8.12	1.27 / 1.46	13.2 / 11.6	13.1 / 15.7
w/o Context（移除上下文运动续写）	8.01 / 10.97	6.34 / 9.03	1.11 / 1.52	13.7 / 15.2	11.1 / 14.9
w/o Balance（移除视角不变分布均衡）	8.54 / 12.13	7.74 / 10.04	1.24 / 1.57	11.3 / 10.3	15.8 / 16.3

值得注意的一个精妙现象是：虽然 MANO-D114 + Part-Level 在纯自编码器重建 MPJPE 上略低于 MANO-D162（0.523 vs. 0.573 cm），但在 VLM 自回归生成（Table 6）中 MANO-D162 + Part-Level 全面胜出（7.20 / 9.02 vs. 7.74 / 9.92 cm，M2T R@3 高出 +3.6 / +2.6 pp），证明连续无奇异的 6D 旋转流形更契合离散码本的时序自回归预测；同时移除 Balance 会导致长尾集 MPJPE 暴涨 +3.11 cm、语义召回率骤降 -8.4 pp。

4.3 真机多指灵巧手操作与样本效率验证（Table 7 & Figure 13）

真机平台采用 7-DoF Franka Research 3 机械臂 + 6-DoF Inspire 灵巧手，配备固定第三视角 RealSense L515 相机（遥操作采集由 Gello 外骨骼控制机械臂、RealSense D435i 视觉追踪人手映射至灵巧手完成，每任务采集 50–100 条演示，每项评测独立执行 20 次试验）。对比基线包括同尺寸无人类视频 PIT 预训练而直接按式（15）微调的 InternVL3 以及 GR00T N1.5：

真机灵巧操作任务（20 Trials/Task, SR %）	Pick-Place-Toy (Seen / Unseen / Clutter)	Close-Toolbox	Close-Lid	Pour-Cup	Unfold-Clothes	7 项平均成功率
InternVL3（无 PIT 预训练基线）	55% / 55% / 50%	50%	25%	55%	45%	47.9%
GR00T N1.5	75% / 40% / 50%	80%	50%	90%	60%	63.6%
Being-H0（完整 PIT 预训练）	75% / 65% / 60%	85%	60%	100%	75%	74.3%

同时，论文在 25%、50% 与 100% 演示数据比例下系统测绘了 Being-H0 对比无 PIT 基线 InternVL3 的数据效率曲线（Figure 13）：

演示数据比例（Being-H0 vs. InternVL3）	Pick-Place-Toy	Close-Toolbox	Close-Lid	Pour-Cup	Unfold-Clothes
25% 极少样本演示	40% vs. 5%	20% vs. 15%	15% vs. 0%	45% vs. 40%	30% vs. 15%
50% 半量样本演示	55% vs. 45%	45% vs. 15%	30% vs. 5%	70% vs. 50%	65% vs. 30%
100% 全量样本演示	75% vs. 55%	85% vs. 50%	60% vs. 25%	100% vs. 55%	75% vs. 45%

真机结果揭示了两点核心优势：（1）人类三维手部先验直接转化为少样本灵巧技能效率——仅用 50% 真机演示，Being-H0 在全部五个任务上的成功率就已追平或大幅超越使用 100% 全量演示的 InternVL3（例如 Unfold-Clothes 半量即达 65% vs. 全量基线 45%，Close-Lid 半量 30% vs. 全量基线 25%）；（2）在需要五指精细姿态协同与抗干扰定位的 Unseen / Clutter 抓取、Close-Lid 对准扣盖与柔性织物 Unfold-Clothes 上，Being-H0 较 GR00T N1.5 分别拉开了 +10 至 +25 个百分点的显著差距。

五、局限性与未来方向

1. 数据源仍以实验室与头戴 VR/MR 为主，真实开放世界覆盖受限：UniHand 中超过 86% 的时长来自背景相对干净的 VR/MR 数据（EgoDex + HoloAssist），野外自然视频仅引入了单目静态视角为主的 Taste-Rob（130h），尚未系统解决任意移动第一视角日常视频（如 Ego4D、EPIC-KITCHENS）的度量级世界系三维相机与手部联合追踪问题；
2. 预训练离散自回归与后训练连续回归头之间的接口断层：预训练阶段投入大量算力训练的离散运动码本输出头在下游真机微调时被替换为新初始化的非自回归连续查询回归头，未能像统一流匹配那样实现“预训练动作生成头到真机控制头的零断层参数继承”；
3. 单一目标构型独立微调，尚未打通跨具身统一单权重泛化：本文后训练仅在单一固定第三视角 Franka + Inspire 平台上验证了“预训练底座 + 专有回归头微调”，尚未将多构型机器人轨迹与人类三维手部轨迹纳入同一跨具身共享动作空间联合预训练。

六、个人思考

1. 显式三维人手锚点 vs. 隐式像素潜动作的路线分水岭：把 Being-H0 与同期的 UniVLA 放在一起对比非常清晰——UniVLA 通过 DINO 特征空间的逆动力学量化从无标签视频中自监督挖掘任务中心潜动作（Latent Action），优势是无需三维手部检测器，但在多指灵巧手场景下难以编码精细指间关节几何；Being-H0 则坚定选择 3D MANO 作为显式物理中间语言，并通过 Part-Level GRQ-VAE 把单手 1 秒 162 维高频轨迹压缩成 128 个离散 Token 且保持 1.29 mm 的局部精度。后续同团队在 Being-H0.5 中进一步把这套离散运动码本升级为“连续流匹配 + 掩码离散运动 Token 联合监督”，恰好印证了离散运动分词作为结构化正则表征塑形器的长期生命力（这与 FAST 用 DCT+BPE 提升自回归高频动作分词效率的思路在频域与部位域上异曲同工）。
2. 几何内参对齐是跨源三维视觉动作学习的“隐形基础设施”：Table 6 中移除物理空间分布均衡（w/o Balance）导致长尾集 MPJPE 瞬间恶化超过 3.1 cm、语义召回率跌近一半。许多跨数据集 VLA 工作往往忽视了“单目 RGB 预测三维相机系动作本质上是一个与焦距内参强绑定的病态逆问题”——如果不做弱透视内参重投影或显式注入 FoV 条件，大模型只能死记硬背每个数据集的背景纹理来猜测焦距，一旦遇到未见相机或新场景便会出现系统性的深度与尺度偏移。
3. 从实验室 VR 数据走向野外真实人类活动视频的演进脉络：Being-H0 构建的 UniHand 虽然达到千小时级，但主力 EgoDex 仍是受控桌面采集——这也解释了为何在后续 VITRA 的 47 个真实家庭杂乱场景零样本抓取评测中，Being-H0-8B 出现了明显的域外性能退化（手物距离 19.1 cm vs. VITRA 的 8.8 cm）。这一对比直接催生了两条互补的演进路径：一条是 VITRA、EgoVLA、H-RDT、EgoScale 与 HumanScale 致力于用度量级 SLAM + 手部追踪攻克野外无脚本第一视角视频的规模化清洗；另一条则是 Wh0 与 EgoWAM 从权重空间插值与非像素世界动力学层面规避人机形态失配。而 BeingBeyond 团队自身则在半年后的 Being-H0.5 中吸纳了 HaWoR 世界系追踪并将规模一举推升 30 倍至 3.5 万小时。

参考

• Being-H0.5（Luo et al., CoRL 2026 Oral）：Being-H0 的直接续作，将数据扩展至 3.5 万小时 UniHand-2.0（含 1.6 万小时人类视频与 30 种机器人构型），并以 MoT + Mixture-of-Flow + 离散掩码混合监督消除了预训练与连续控制的接口断层
• VITRA（Li et al., ICRA 2026）：针对无脚本野外日常人类视频提出度量级世界系相机-手部联合追踪、三维腕速极小值原子切分与轨迹叠加标注管线，在真实生活杂乱场景泛化上与本文形成鲜明对照
• UniVLA（Bu et al., RSS 2025）：基于 DINO 特征空间学习任务中心隐式潜动作的无标签视频 VLA 预训练代表作，代表“隐式潜动作”对照路线
• FAST（Pertsch et al., RSS 2025）：基于离散余弦变换（DCT）与 BPE 压缩的高频机器人动作分词器，与本文面向多关节手部几何解耦的部位级 GRQ-VAE 形成频域 vs. 运动学部位域分词对照
• EgoVLA / H-RDT / EgoScale / HumanScale：同样以第一视角人类三维手部轨迹为核心预训练信号的灵巧操作 VLA 系列工作
• InternVL3（Zhu et al., 2025）& MANO（Romero et al., SIGGRAPH Asia 2017）& HaMeR（Pavlakos et al., CVPR 2024）：本文多模态视觉语言底座、参数化三维手部网格模型与单目手部伪标注工具来源