Being-H0.5：面向跨具身泛化的人本中心机器人学习规模化扩展

论文：Being-H0.5: Scaling Human-Centric Robot Learning for Cross-Embodiment Generalization

作者：Hao Luo*、Ye Wang*、Wanpeng Zhang*、Sipeng Zheng*†、Ziheng Xi、Chaoyi Xu、Haiweng Xu、Haoqi Yuan、Chi Zhang、Yiqing Wang、Yicheng Feng、Zongqing Lu†（* 核心贡献者，按字母序；† 项目负责人）

机构：BeingBeyond（联合北京大学、中国人民大学研究团队）

发布时间：2026 年 1 月（arXiv 2601.12993，2026-01-19）

发表状态：CoRL 2026（Oral，已录用）

🔗 arXiv | PDF | 项目主页 | 代码 | 模型权重

分类标签：VLA 基础模型 跨具身泛化 人本中心学习 Mixture-of-Flow (MoF) 连续-离散混合监督 流形保持门控 (MPG) 通用异步动作块 (UAC)

一句话总结

针对现有跨具身 VLA 模型受困于机器人遥操作数据碎片化、多构型梯度冲突及异构延迟部署失稳的瓶颈，提出以人类交互轨迹为通用物理“母语（Mother Tongue）”的基础模型 Being-H0.5：首先构建迄今最大规模的 3.5 万小时（超 1,200 亿 Token、4 亿样本）UniHand-2.0 多模态语料（融合 1.6 万小时人类三维操作演示、覆盖 30 种机器人构型的 1.4 万小时操作轨迹与 5,000 等效小时图文空间推理数据，并研制多视角主动红外深度 + 脚踏接触标定采集系统 UniCraftor）；架构上基于 2B 规模 Mixture-of-Transformers（MoT） 将多模态理解专家与分层路由 Mixture-of-Flow（MoF） 动作专家通过共享注意力解耦耦合，设计保留原始物理量纲（摒弃 [-1, 1] 统计归一化）的统一状态-动作语义槽空间以及连续流匹配 + 掩码离散运动 Token 互不可见联合序列预训练目标；在后训练与实时部署阶段进一步提出槽位级具身特定适配（ESA）、基于切片 Wasserstein 距离的流形保持门控（MPG）与跨频率双线程环形缓冲通用异步动作块（UAC），以单一通用权重（Generalist Checkpoint）在横跨 6-DoF 夹爪臂至 31-DoF 双臂灵巧人形的 5 种真机平台上全面超越 ${\pi }_{0.5}$ 并首次展现具身级零样本技能迁移，同时仅凭 $224\times 224$ 纯 RGB 输入在 LIBERO（98.9%）与 RoboCasa（53.9%）双双刷新 SoTA。

一、问题与动机

1.1 机器人中心范式的碎片化困境与“人类动作母语”假说

主流通用机器人基础模型（如 OpenVLA、${\pi }_0$、${\pi }_{0.5}$ 等）遵循“机器人中心（Robot-Centric）”扩展路线，试图直接汇总不同实验室异构机械臂的遥操作数据学习通用策略。论文指出，该范式在进一步规模化时面临三重结构性死结：

1. 形态碎片化与独立投影头容量浪费：从 6-DoF 桌面夹爪臂到 30+ DoF 轮式/双足灵巧人形机器人，运动学链、控制频率（10 Hz–50 Hz）与旋转惯例千差万别；为每种机器人单独挂载独立 MLP 编解码头的传统做法割裂了末端几何共性，阻碍跨构型正迁移；
2. 多模态退化与 1000:1 视觉-文本严重失衡：机器人轨迹包含海量连续冗余图像帧而仅配有一句简短静态指令（视觉与文本 Token 比例高达 $1000:1$），极易引发多模态灾难性遗忘，使 VLM 退化为丧失开放世界空间推理能力的纯状态反射器；
3. 跨具身后训练与异构实时部署的“可塑性-稳定性”冲突：共享连续流匹配场在多构型微调时易因梯度方向冲突产生“平均化畸变动作”（Morphological Interference），且面对视觉分布偏移或异构推理延迟比时极易出现高频动作抖动与拼接断层。

为破除上述瓶颈，Being-H0.5 确立了人本中心学习范式（Human-Centric Learning）：将人类双手操作视作所有人工机械结构在进化与任务语义上的共同物理母语（海量开放世界人类视频提供跨场景高层物理意图与接触可供性先验），将多构型机器人数据视作绑定具体运动学约束的下游“方言”，再辅以大规模空间定位 VQA 数据锚定语义主干，从而在单一统一模型内打通“开放世界感知推理—跨具身物理原语—高频实时闭环控制”。

1.2 从 Being-H0 到 Being-H0.5 的关键跃迁

作为前作 Being-H0 的系统性跨越，Being-H0.5 解决了前作遗留的三大核心局限：

演进维度	前作 Being-H0（ICML 2026）	本作 Being-H0.5（CoRL 2026 Oral）
数据规模与生态	1,155 小时纯人手数据（UniHand-1.0，VR/实验室占主导）	35,000+ 小时 UniHand-2.0（16K 小时野外+实验室人类 + 14K 小时 30 种机器人 + 5K 小时空间 VQA）
动作空间与预训练接口	预训练仅输出离散 MANO Token，真机后训练需丢弃输出头换新 MLP	统一物理语义槽空间（人手即广义具身）+ 连续流匹配与掩码离散 Token 联合监督，预训练直通真机控制
多构型适配与实时架构	单一 VLM 稠密主干，单构型独立微调，同步阻塞推理	MoT 双专家 + 分层路由 MoF，配合 ESA + MPG + UAC 实现单权重跨 5 种异构真机异步零断层控制

二、UniHand-2.0 数据引擎与 UniCraftor 硬件采集系统

2.1 三大支柱构建 3.5 万小时 / 1,220 亿 Token 语料库

UniHand-2.0 总计包含约 34,800 小时（超 3.5 万小时口径）、1,220 亿（122B）多模态 Token 与超 4 亿条训练样本，由三大严格配比的支柱构成：

1. 第一视角人类三维操作演示（16,000 小时，1.34 亿样本）：在 UniHand-1.0 基础上大规模吸纳 Ego4D、EPIC-KITCHENS、Egocentric-10K 等真实野外第一视角日常视频及自采数据。针对野外移动相机视频，采用世界系手部与相机联合重建模型 HaWoR 统一提取度量级世界坐标系三维 MANO 手部姿态与相机外参轨迹，配合 Gemini-2.5 生成 10 秒上下文宏块与 1 秒精细动作双层指令标注，并执行四阶段严苛清洗：（a）LLM 多样化语义改写、（b）基于动态基线对齐（DBA）与置信度的抖动轨迹过滤、（c）Gemini 操作相关性筛查（剔除纯步行/交谈片段）、以及（d）左右镜像翻转与文本左右词同步互换的惯用手去偏增强（消除野外数据严重的右手主导偏置）。
2. 多构型机器人操作轨迹（13,817.4 $\approx$ 14,000 小时，约 15 亿帧，覆盖 30 种有效时长 $>10\text{ h}$ 的独立构型）：横跨五大硬件形态——单臂（Franka 2,196.4h、Google Robot 1,195.2h、Xarm7 594.4h、Kuka-iiwa 338.2h、WidowX 305.2h、Hello Stretch 270.3h、UR5E 208.3h 等）、双臂（Agilex Split ALOHA 1,099.1h、Piper 904.5h、Galaxea R1 Lite 630.5h、Cobot Magic 399.2h、RMC Aida L 325.7h）、便携桌面臂（SO-101 194.4h、BeingBeyond D1 100.0h）、轮式/半身人形（Agibot-G1 2,391.7h、Leju Kuavo 4 LB 1,198.2h、PND Adam-U 200.0h、Galbot G1 195.8h 等）与全尺寸双足人形（Tiankung 214.3h、Unitree G1edu-u3 135.7h）。为防止仿真动力学失真污染物理先验，严格将仿真数据占比封顶在 26.0%（3,592h 仿真 vs. 10,225h 真机；其中公开库 OXE 仅占 3.1%/424h，AgiBot 仅占 3.0%/420h）。
3. 视觉-文本空间推理与可供性语料（5,000 等效小时）：专门治愈机器人轨迹 $1000:1$ 视觉文本失衡，涵盖通用多帧 VQA（LLaVA-OneVision/Video、FineVision）、2D 空间指代与操作可供性点标注（RefCOCO、RefSpatial、RoboPoint、ShareRobot、MolmoAct、PixMo-Points）以及多步子目标规划推理（ShareRobot、EO1.5M-QA）。（注：原文 Figure 4b 内环图例与图注在三类数据的 Token 数值标签顺序上存在一处排版错位，正文 Section 3.3 明确核实机器人侧视觉 Token 总量为 45.7B，总规模为 122B。）

2.2 UniCraftor 低成本高保真便携人类演示采集系统

针对纯单目 RGB 野外视频在精细接触深度上的固有模糊性，团队自主研制了可穿戴多视角主动深度采集系统 UniCraftor（已采集 43 类精细任务超 200 小时数据）：采用头戴第一视角 + 多机位 RealSense D435（提供不受环境纹理干扰的原生主动双目红外深度），在桌面布设 5 枚 AprilTag 实时解算厘米级 PnP 相机外参（随后通过 Grounded-SAM2 + DiffuEraser 视频修复彻底抹除画面中的标定板以防视觉捷径泄漏），并创新引入硬件同步脚踏开关（Foot Pedal）让采集者在双手毫不受遮挡干扰的情况下精准打标“接触发生 / 抓取释放”关键帧时间戳，最终融合多视角深度优化的 HaWoR 三维手部轨迹与 Qwen2.5-VL 指令标注。

三、核心方法

3.1 统一物理状态-动作空间与 MoT + Mixture-of-Flow（MoF）架构

1. 摒弃统计归一化的统一状态-动作语义槽空间（Unified State-Action Space）： 设全局共享物理状态与动作向量维度为 $d$，每个具身构型 $e$ 通过稀疏语义槽映射函数 ${\mathrm{\Phi }}_e$ 投影至同一高维物理接口（未激活槽位置零）：

$$s={\mathrm{\Phi }}_e(s^{(e)})\in {\mathbb{R}}^d,a={\mathrm{\Phi }}_e(a^{(e)})\in {\mathbb{R}}^d$$

其中每个维度槽严格绑定明确的物理量（双臂末端位姿、机械臂关节角、平行夹爪开度、灵巧手各指屈伸角、移动底盘线速度与航向角）。关键设计在于将人手 MANO 直接视作广义具身构型：人手全局手腕位姿直接对齐至机器人双臂末端执行器（EEF）语义槽，15 个指间关节映射至精细灵巧操作预留槽。各子空间执行严格物理标准化：笛卡尔末端动作统一采用世界系相对位移 $\mathrm{\Delta }p$ 与无奇异轴角旋转（Axis-Angle），关节动作统一采用绝对弧度（rad），且彻底摒弃传统的 [-1, 1] 均值方差或分位数统计归一化（仅做传感器离群点滤波）——论文指出，“移动 $10\text{ cm}$ 或旋转 $1\text{ rad}$”具有跨具身普适的真实物理尺度意义，统计归一化反而会抹杀不同数据集之间的绝对空间量纲对应关系。

2. MoT 双专家主干与分层路由 Mixture-of-Flow（MoF）： 模型以 InternVL-3.5（2B） 初始化，采用 BAGEL 风格的 Mixture-of-Transformers（MoT） 双分支解耦拓扑：多模态理解专家（Und. Expert，负责视觉与文本自回归推理）与动作生成专家（Act. Expert，负责双向流匹配去噪）各自拥有独立的 FFN 与 QKV 投影参数，但在每一层通过共享自注意力机制（Shared Self-Attention）深度耦合。 为在不增加边缘端（如 NVIDIA Orin-NX）单步推理延迟的前提下支撑 30+ 种异构构型，动作专家进一步设计为两级 Mixture-of-Flow（MoF） 结构：底层基础专家层（Foundation Experts）由所有具身共享的稠密 Transformer 块组成，编码伸手逼近、抓取包络与避障等通用运动原语；顶层专有专家层（Specialized Experts）采用可学习路由器动态激活稀疏 Top-$K$ MoE 子专家，隔离异构构型与特定接触动力学梯度，实现总技能容量与推理激活计算量的彻底解耦。

3.2 预训练：连续流匹配与掩码离散运动 Token 互不可见联合监督

所有训练样本统一序列化为包含四类模态集合 $\mathcal{M}=\{\text{vision, text, state, action}\}$ 的问答流 $S=[S_Q;S_A]$，涵盖运动生成、运动语义描述（由视觉与动作轨迹反推文本）、历史上下文运动续写、机器人控制与通用 VQA 五大任务族，总目标为文本交叉熵与动作损失的加权和：

$$\mathcal{L}={\lambda }_{\text{text}}{\mathcal{L}}_{\text{text}}+{\lambda }_{\text{act}}{\mathcal{L}}_{\text{act}},{\mathcal{L}}_{\text{text}}=-\sum _{i\in {\mathrm{\Omega }}_{\text{text}}}\log p_{\theta }(y_i\mid S_{<i})$$

针对大规模野外人类手部轨迹既有丰富高层意图又伴随高频观测噪声的双重属性，Being-H0.5 提出了连续-离散混合人类运动表征监督（Hybrid Human Motion Representation）：对同一段人类动作块 $A=[a_1,\dots ,a_T]\in {\mathbb{R}}^{T\times d}$，一方面在统一连续空间施加线性插值路径 $x_t=(1-t)x_0+t{a}_i$（$x_0\sim \mathcal{N}(0,I)$）的连续条件流匹配损失 ${\mathcal{L}}_{\text{FM}}$；另一方面利用 Being-H0 预训练运动分词器将其量化为离散码本序列 $z\in \{1,\dots ,|\mathcal{C}|{\}}^{T_z}$，按掩码率 $\rho$ 随机替换为 `[MASK]` 后施加掩码运动 Token 预测损失 ${\mathcal{L}}_{\text{MASK}}$：

$${\mathcal{L}}_{\text{act}}={\lambda }_1{\mathcal{L}}_{\text{FM}}+{\lambda }_2{\mathcal{L}}_{\text{MASK}}={\lambda }_1\sum _{i\in {\mathrm{\Omega }}_{\text{FM}}}\parallel v_{\theta }(x_t,t,c)-(a_i-x_0){\parallel }_2^2-{\lambda }_2\sum _{i\in {\mathrm{\Omega }}_{\text{MASK}}}\log p_{\theta }(z_i\mid c)$$

为在单次前向中同时计算两项监督且严防连续分支与离散分支互相抄袭作弊（Information Leakage），论文将序列拼接为 $[S_Q;S_A^{\text{FM}};S_A^{\text{MASK}}]$，并施加分块下三角互不可见注意力门控矩阵 $G$ 与同源对齐位置编码 $\mathrm{PE}(j)$（设 $p_0=\underset{j\in S_Q}{max}(j+1)$，$r(j)$ 为段内相对下标）：

$$G=\left[\begin{array}{ccc}1& 0& 0\\ 1& 1& 0\\ 1& 0& 1\end{array}\right],\mathrm{PE}(j)=\{\begin{array}{ll}j,& j\in S_Q\\ p_0+r(j),& j\in S_A^{\text{FM}}\\ p_0+r(j),& j\in S_A^{\text{MASK}}\end{array}$$

用大白话说：这相当于让模型对着同一道视觉指令题 $S_Q$，同时在两张彼此用挡板隔开（$G_{23}=G_{32}=0$）、但页码起点完全对齐（均从 $p_0$ 开始编号）的答卷上作答——一张答卷写“毫米级连续速度场”，另一张答卷做“离散动作语法完形填空”。离散完形填空自动滤除了手部追踪高频毛刺，把稳健的“动作语法骨架”刻进共享上下文，而推理时只需运行连续流匹配分支即可零开销享受这层正则红利。

3.3 跨具身后训练与实时异步部署（ESA + MPG + UAC）

为在下游多机器人联合后训练与真机闭环控制中消除形态干扰、分布偏移抖动与推理延迟断层，论文设计了三项紧密咬合的机制：

1. 槽位级具身特定适配（Embodiment-Specific Adaptation, ESA）：不在主干外另建独立投影头，而是沿统一动作空间的 $K$ 个物理语义槽维护轻量级适配器库 $W_{\text{ESA}}\in {\mathbb{R}}^{K\times d_{\text{out}}\times d_{\text{in}}}$；当在具身 $e$（激活槽集合 ${\mathcal{I}}_e\subseteq \{1,\dots ,K\}$）上微调时，严格掩蔽非激活槽梯度：

$$W_{\text{ESA}}^{(e)}\triangleq \{W_{\text{ESA}}[k]:k\in {\mathcal{I}}_e\},\mathrm{\Delta }{W}_{\text{ESA}}[k]=0(\mathrm{\forall }k\notin {\mathcal{I}}_e)$$

由此，共用同一机械臂但搭载不同灵巧手/夹爪的平台可自动在手臂槽上共享动力学迁移，而在手部槽上互不干扰地共存于单一通用权重中。

2. 流形保持门控（Manifold-Preserving Gating, MPG）与两阶段推理精炼：在视觉光照变化或遮挡等分布偏移下，后缀上下文特征 $H$ 的退化会沿流匹配欧拉步

$$a^{(k+1)}=a^{(k)}+\mathrm{\Delta }t\cdot v_{\theta }(a^{(k)},t^{(k)}\mid H),\mathrm{\Delta }t=\frac{1}{K_{\text{step}}},t^{(k)}=\frac{k}{K_{\text{step}}}(K_{\text{step}}<10)$$

被放大为剧烈动作抖动（推理期静态视觉-语言前缀通过 KV-Cache 缓存，仅动态后缀状态与动作嵌入随 $k$ 演化）。MPG 以零噪声参考动作嵌入均值 $\overline{Z}=\mathrm{MeanPool}(Z_{\text{nf}})$（训练期取真值动作；推理期采用轻量两阶段精炼：第 1 阶段不开启 MPG 跑出初始预测 $a_{\text{pred}}^{(0)}$，第 2 阶段执行 $N_{\text{ref}}\in \{1,2,3\}$ 轮精炼并以 $a_{\text{pred}}^{(n-1)}$ 构造代理锚点）作为动作流形锚点，在归一化共享空间 $\hat{H}=\mathrm{LN}(E_{\text{obs}}(H))$、$\hat{Z}=\mathrm{LN}(E_{\text{act}}(\overline{Z}))$ 内通过 $M$ 个随机单位方向计算切片 Wasserstein 距离（SWD）并映射为带梯度截断的可靠性门控 $g\in (0,1]$：

$$D({\mu }_{\hat{H}},{\mu }_{\hat{Z}})\approx \frac{1}{M}\sum _{m=1}^M\Vert \mathrm{sort}({\theta }_m^{\mathrm{\top }}\hat{H})-\mathrm{sort}({\theta }_m^{\mathrm{\top }}\hat{Z}){\Vert }_2^2,g=\mathrm{stopgrad}(\exp (-D/\tau ))$$

不同于在投影输出端整体乘门控的传统做法（DiG-Flow），MPG 提出输入门控配合无门控先验偏置（Ungated Prior Offset）：

$$\tilde{H}=H+\lambda W_{\text{MPG}}(g\cdot E_{\text{obs}}(H))+\lambda b_{\text{MPG}},\frac{\partial \tilde{H}}{\partial H}\approx I+\lambda g{W}_{\text{MPG}}\frac{\partial E_{\text{obs}}(H)}{\partial H}$$

当门控 $g$ 因视觉闪烁发生瞬时波动时，输出门控会诱发正比于 $\parallel W{E}_{\text{obs}}(H)+b{\parallel }_2^2$ 的方差，而 MPG 仅缩放线性项，将波动方差严格压缩至 $\parallel W{E}_{\text{obs}}(H){\parallel }_2^2$；且雅可比矩阵表明当观测严重失真（$g\to 0$）时特征扰动灵敏度自动归零，平滑回退至稳健的默认先验修正 $H+\lambda b_{\text{MPG}}$。

3. 通用异步动作块（Universal Async Chunking, UAC）：将实时动作块训练（RTC）推广至异构控制周期 $\mathrm{\Delta }{t}^{(e)}$ 与推理延迟预算 $L^{(e)}$ 的多机器人统一框架。训练期按具身专属延迟分布采样已提交前缀步数 $d\sim {\pi }^{(e)}(d)\in \{0,\dots ,d_{max}^{(e)}-1\}$（满足 $d\ge \lceil L^{(e)}/\mathrm{\Delta }{t}^{(e)}\rceil +{ϵ}_{\text{safety}}$），对已执行前缀 $i<d$ 赋予干净无噪时间步 $t_i=1$、仅对未执行后缀 $i\ge d$ 采样带噪时间步并计入流匹配损失：

$$t_i=\mathbb{1}[i<d]+\mathbb{1}[i\ge d]\cdot t_{\text{base}},{\mathcal{L}}_{\text{UAC}}=\sum _{i\ge d}\parallel {\hat{v}}_i-v_i^{\ast }{\parallel }_2^2$$

真机部署时配合容量 $\ge 2\times$ 块长的双线程生产者-消费者环形缓冲区 $B$：每个欧拉去噪步强制执行硬前缀锁定（$a_i^{(k)}\leftarrow B_i,\mathrm{\forall }i<d$），去噪完成后执行硬拼接（$a_{\text{exec}}^{(n)}=a_{<d}^{(n-1)}\oplus a_{\ge d}^{(n)}$），在 10 Hz 桌面臂至 50 Hz 高频全身人形上同时实现零等待异步连续控制。

四、实验结果

4.1 跨五种异构真机平台的双盲黑盒评测与具身级零样本迁移

为杜绝人为评测偏见，团队搭建了统一黑盒双盲推理服务器（Unified Black-Box Blinded Server），在形态、自由度与相机视角跨度极大的 5 种真机平台、10 项复杂任务（每任务采集 30–60 分钟真机演示，每配置严格随机盲测 $K=20$ 次，Table 2 & Table 3）上展开系统对比：

形态分组	真机平台名称	自由度与末端执行器	视觉传感器配置	评测任务覆盖（所属能力套件）
上半身人形	PND Adam-U	31-DoF（双臂+头+腰 + 6-DoF 灵巧手）	ZED Mini（可动第一视角双目）	插花（Spatial）、双手递物装箱（Bimanual）、清台（Gen.）
上半身人形	Unitree G1 + LinkerBot O6	26-DoF（双臂 + 6-DoF 灵巧手）	D435（固定第一视角）	翻包裹扫码（Long-Horizon）、双手装盒合盖（Bimanual）
单臂灵巧手	FR3 + Inspire Hand	13-DoF（单臂 + 6-DoF 灵巧手）	$2\times \text{D435}$（固定第三视角）	浇花/叠碗（Spatial）、开关抽屉存物（Long）、擦白板（Gen.）
单臂灵巧手	BeingBeyond D1	14-DoF（单臂 + 6-DoF 灵巧手）	D435（随动第一视角）	按指定颜色顺序叠积木（Spatial）
单臂夹爪	LeRobot SO-101	6-DoF（轻量单臂 + 平行夹爪）	D435（固定第三视角）	桌面多物体清理入盘（Generalization）

四大能力套件双盲评测汇总结果（Figure 10）：

真机评测模型变体（5 种机器人双盲评测，SR %）	Spatial 空间推理	Long-Horizon 长时程	Bimanual 双臂协同	Generalization 开放泛化	四大套件宏平均
Being-H0.5-scratch (generalist)（无 UniHand-2.0 预训练单权重）	35%	25%	30%	50%	35.0%
Being-H0.5-scratch (specialist)（无预训练单构型专训）	50%	35%	25%	60%	42.5%
${\pi }_{0.5}$（单构型独立微调基线）	55%	45%	40%	65%	51.3%
Being-H0.5-generalist（单一通用权重同时控制 5 种机器人）	70%	60%	45%	80%	63.8%
Being-H0.5-specialist（单构型专训上限）	75%	60%	55%	75%	66.3%

核心真机发现：

1. 单一通用权重反超单机专训 ${\pi }_{0.5}$ 达 +12.5 个百分点：Being-H0.5-generalist 仅凭同一套模型权重同时驱动从 6-DoF 夹爪到 31-DoF 双臂灵巧人形的 5 种硬件，不仅全面击败为每台机器人单独微调的 ${\pi }_{0.5}$（长时程 60% vs. 45%，泛化 80% vs. 65%），更在 Generalization 套件（擦白板任意标记区、跨桌面清台）上以 80% 反超自身专训版（75%）；而对比无预训练 scratch-generalist（35.0% → 63.8%）则证实 UniHand-2.0 预训练是抑制跨构型负迁移的决定性基石。
2. 首次观测到真机“具身级零样本迁移（Embodiment-Level Zero-Shot Transfer）”涌现：将跨构型微调后的单一 Being-H0.5-generalist 部署至 31-DoF PND Adam-U 执行从未在 Adam-U 上采集过任何演示、仅在其他构型上见过的新任务时，Adam-U 成功涌现出多步结构化执行能力与非零成功率——包括复现仅在 Unitree G1 上演示过的“翻包裹找条码并用扫码枪扫描”、仅在单臂 FR3 上演示过的“拉开抽屉—放入物体—推合抽屉”以及仅在 D1 上演示过的“按序叠积木”。

4.2 标准仿真基准评测：LIBERO 与 RoboCasa 双料 SoTA（Table 4 & Table 5）

仅使用 $224\times 224$ 纯 RGB 图像与 2B 主干（无深度图或三维点云），同时报告单基准专训 specialist 与 LIBERO + RoboCasa 跨基准联合训练单一权重 generalist：

1. LIBERO 四大套件评测（Table 4，每套件 500 次试验，SR %）：

对比方法	L-Spatial	L-Object	L-Goal	L-Long（长程多步）	Average 平均
OpenVLA / SpatialVLA	84.7 / 88.2	88.4 / 89.9	79.2 / 78.6	53.7 / 55.5	76.5 / 78.1
${\pi }_0$-FAST / GR00T-N1 / ${\pi }_0$	96.4 / 94.4 / 98.0	96.8 / 97.6 / 96.8	88.6 / 93.0 / 94.4	60.2 / 90.6 / 88.4	85.5 / 93.9 / 94.4
${\pi }_{0.5}$ / OpenVLA-OFT	98.8 / 97.6	98.2 / 98.4	98.0 / 97.9	92.4 / 94.5	96.9 / 97.1
X-VLA / EO1	98.2 / 99.7	98.6 / 99.8	97.8 / 99.2	97.6 / 94.8	98.1 / 98.2
Being-H0.5 (generalist)（跨基准单权重）	97.0	98.2	99.0	96.2	97.6
Being-H0.5 (specialist)	99.2	99.6	99.4	97.4	98.9

2. RoboCasa 24 任务厨房长程评测（Table 5，Human-50 少样本设置，未见厨房风格与实例，SR %）：

输入模态	对比方法	Pick & Place	Doors / Drawers	Others	Total Avg.
3D 点云 / 多模态	3DA / DP3 / GWM	0.0 / 1.5 / 14.8	2.3 / 41.7 / 54.3	13.1 / 32.0 / 49.8	5.5 / 22.8 / 39.3
纯 RGB（$256\times 256$）	BC / GR00T-N1	4.3 / 18.6	47.0 / 50.2	42.2 / 39.1	28.9 / 36.0
纯 RGB（$256\times 256$）	${\pi }_{0.5}$ / ${\pi }_0$	21.5 / 14.0	57.8 / 53.1	44.9 / 58.5	41.4 / 42.4
纯 RGB（$224\times 224$）	Being-H0.5 (generalist)	40.0	73.0	52.0	53.3
纯 RGB（$224\times 224$）	Being-H0.5 (specialist)	36.0	71.7	57.6	53.9

在极具挑战的 RoboCasa 上，Being-H0.5 仅凭更低分辨率的纯 RGB 输入便以 53.9%（专训）和 53.3%（跨基准单权重）大幅刷新纪录，不仅超越 ${\pi }_0$（42.4%）与 ${\pi }_{0.5}$（41.4%）逾 +11 个百分点，甚至远超显式依赖三维点云输入的 GWM（39.3%）与 DP3（22.8%），且在最考验三维空间抓取定位的 Pick & Place 上将成功率翻倍推升至 40.0%。

4.3 深度机制消融：主干稳定性 vs. 动作专家可塑性、混合监督与 MPG+UAC

1. “语义主干求稳、动作专家求活”的微调黄金法则（Table 6, Table 7 & Figures 11–12）：在严苛的 LIBERO 5-shot（每任务仅 5 条演示、限制 10K 步）少样本适配实验中，系统冻结不同模块对比原生 InternVL-3.5 初始化（Native VLM）与人本中心预训练权重（Human-Centric，动作专家始终可训练）：

冻结主干模块	单套件 5-Shot 平均 SR（Native → Human-Centric / $\mathrm{\Delta }$）	单套件 L-Long SR（Native → Human-Centric / $\mathrm{\Delta }$）	四套件联合 5-Shot 平均 SR（Native → Human-Centric / $\mathrm{\Delta }$）
Und + Proj + ViT（全冻 MLLM）	57.9% → 69.0%（+11.1%）	29.8% → 46.2%（+16.4%）	60.7% → 72.4%（+11.7%）
Und + ViT（仅放开投影器与动作专家）	51.3% → 77.1%（+25.8%）	17.4% → 59.0%（+41.6%）	68.3% → 76.6%（+8.3%）
Und Only（仅冻语言理解专家）	68.6% → 75.1%（+6.5%）	49.2% → 63.6%（+14.4%）	72.8% → 82.1%（+9.3%）
Proj + ViT（冻视觉侧，放开语言）	78.2% → 81.0%（+2.8%）	58.0% → 66.8%（+8.8%）	80.9% → 83.5%（+2.6%）
None (Full FT)（全参数放开微调）	77.2% → 81.8%（+4.6%）	65.8% → 66.8%（+1.0%）	84.1% → 85.1%（+1.0%）

对照在冻结全部 MLLM 前提下逐层冻结 28 层动作专家（Figures 11–12）：冻结底层 0–7 层（即共享 Foundation Experts）几乎无损（维持 $>80\mathrm{\%}$），但一旦冻结超过 14 层性能急剧断崖下跌，全冻 28 层则跌破 <20%。这揭示了极富启发性的机制规律：长程时间连贯性与意图锚定几乎完全存储在预训练 Und + ViT 主干中（锁住主干防止小样本冲刷可获 +41.6% 巨幅长程增益），而顶层到底层执行器的精细速度场映射必须保持充分可塑性。

2. 掩码离散运动 Token 监督消融（Table 8）：在保留人类演示测试集的平均手腕位移余弦相似度（MWDS $\uparrow$）评测中，正文 Section 7.3.2 明确指出移除 ${\mathcal{L}}_{\text{MASK}}$ 会导致实验室集（Lab）与野外集（Wild）性能同步下滑，且在观测噪声更高的野外集上增益尤为显著（达 +0.08 MWDS，即 0.28 vs. 0.20，Lab 集为 0.35 vs. 0.33；注：原论文 Table 8 排版时将两行方法名称相对加粗最优值印反，阅读原文需以加粗值及正文文字分析为准）。

3. 真机部署 MPG 与 UAC 消融（Figure 13，Generalist 四大套件 SR %）：

真机部署机制消融（Spatial / Long-Horizon / Bimanual / Generalization）	四项成功率 (%)	宏平均 (%)	关键失效模式定位
完整 Being-H0.5-generalist（含 MPG + UAC）	70 / 60 / 45 / 80	63.8%	抗遮挡偏移且跨频率无缝拼接
w/o MPG（移除流形保持门控）	55 / 55 / 40 / 60	52.5%	OOD 光照/新物体分布偏移下显著抖动（泛化暴跌 -20 pp）
w/o UAC（移除通用异步动作块，退化为同步阻塞）	65 / 40 / 20 / 80	51.3%	推理停顿引发双臂协同失步与长程接触断层（双臂腰斩 -25 pp）
w/o MPG + UAC（两者同时移除）	50 / 35 / 20 / 55	40.0%	抖动与延迟断层叠加导致整体崩溃（平均暴跌 -23.8 pp）

五、局限性与未来方向

1. 具身级零样本迁移的精细度仍有较大提升空间：尽管在 Adam-U 上首次观测到跨构型未见任务的零样本结构化多步行为涌现，但其末端接触精度与绝对成功率仍显著低于域内微调任务，亟待进一步扩大跨构型共享末端反馈闭环；
2. 纯视觉无触觉/力控闭环限制高精密装配：当前统一状态-动作空间仅涵盖运动学位置/位姿与底盘指令，面对插拔紧配合或易碎物抓持等强力觉敏感场景，仍需将多指触觉与六维力矩纳入统一物理语义槽；
3. 两阶段 MPG 精炼引入的额外计算折中：开启 $N_{\text{ref}}$ 轮流形精炼虽复用了视觉语言前缀 KV-Cache，但仍成倍增加了动作后缀的欧拉积分轮数，如何在单次流匹配前向内内生集成分布偏移门控值得深入探索。

六、个人思考

1. “不归一化物理尺度 + 语义分槽”是对跨具身动作空间设计的一次拨乱反正：几乎所有早期 VLA（从 OpenVLA 到 ${\pi }_0$）都习惯性地把每个数据集的动作按各自统计分位数拉伸到 [-1, 1]。这种做法在单机器人上看似无害，但在跨 30 种机器人 + 人手共训时却制造了隐蔽的“尺度巴别塔”——A 数据集里的 0.5 代表推进 2 cm，B 数据集里的 0.5 却代表推进 15 cm，逼着网络靠死记背景来猜比例尺。Being-H0.5 坚持保留真实米制/弧度物理量纲并把人手 MANO 腕部与机器人 EEF 直接对齐到同一语义槽，配合 ESA 槽位掩码微调，才是真正让 31-DoF 人形零样本复现 7-DoF 单臂抽屉技能的底层物理根基。
2. 用“互不可见注意力门控”化解离散运动分词与连续流匹配的路线之争：在 VLA 社区，以 FAST、Being-H0 为代表的离散动作 Token 路线强于高层结构语法与抗噪，而以 ${\pi }_0$、VITRA、H-RDT 为代表的连续扩散/流匹配路线强于高频平滑控制。Being-H0.5 没有二选一，而是用分块门控矩阵 $G$（式 9）和同源位置编码（式 10）让同一个上下文同时孵化互不泄密的“连续流匹配分支”与“离散掩码重构分支”，测试时零成本卸掉离散头——这一“训练期辅助正则塑形、推理期零开销剥离”的设计哲学与世界动作模型 EgoWAM 和 Fast-WAM 形成了极妙的跨范式共鸣。
3. 从模型算法卷向“训练-部署全栈闭环基础设施”的分水岭：Figure 13 的真机消融极具警示意义——哪怕拥有 3.5 万小时预训练的最强权重，只要在部署时拿掉 MPG 和 UAC，跨具身通用策略的真机成功率就会从 63.8% 直接腰斩至 40.0%（双臂任务从 45% 跌至 20%）。把推理延迟预算 $L^{(e)}/\mathrm{\Delta }{t}^{(e)}$ 直接编码进训练时间步（UAC），并用 SWD 流形距离动态抑制 OOD 视觉抖动（MPG），标志着通用具身基础模型已经从单纯比拼离线架构正式迈入算法与实时系统协同设计的新阶段（亦可与 EgoScale、HumanScale 及权重融合路线 Wh0 互为参照）。

参考

• Being-H0（Luo et al., ICML 2026）：本文前作，提出物理指令微调与部位级 GRQ-VAE 三维手部运动分词器（本文 ${\mathcal{L}}_{\text{MASK}}$ 离散分支码本直接继承自该设计）
• ${\pi }_0$（Black et al., 2024）/ ${\pi }_{0.5}$（Physical Intelligence, 2025）：流匹配动作专家与开放世界泛化 VLA 旗舰基线，本文在五大真机与仿真基准上的核心对照对象
• VITRA（Li et al., ICRA 2026）：同期将野外日常人类视频转化为百万级显式三维手部动作片段的工作，与本文 UniHand-2.0 的 HaWoR 世界系人类数据处理管线高度呼应
• FAST（Pertsch et al., RSS 2025）：高频机器人动作离散分词代表作，与本文连续-离散混合监督讨论的纯离散控制范式相对照
• EgoWAM（Li et al., CoRL 2026）/ Wh0（2026）：分别从非像素世界动力学辅助塑形与权重空间插值视角探索人机跨具身迁移的互补范式
• BAGEL（Deng et al., 2025）& HaWoR（Zhang et al., CVPR 2025）& Training-Time RTC（Black et al., 2025）：本文 MoT 双专家架构、世界坐标系人手与相机追踪以及异步动作块延迟训练机制的核心技术来源