ABot-M0：基于动作流形学习与双流 3D 注入的通用机器人操作基础模型

论文信息：Yandan Yang, Shuang Zeng, Tong Lin, Xinyuan Chang, Junjin Xiao, Dekang Qi, Haoyun Liu, Ronghan Chen, Yuzhi Chen, Dongjie Huo, Feng Xiong, Zhiheng Ma, Xing Wei, Mu Xu (AMAP CV Lab, Alibaba) 发表期刊/会议：arXiv 2026 (arXiv:2602.11236)

1. 核心思想与三大创新支柱

构建实现“一脑多形（One-Brain, Many-Forms）”的通用机器人操作基础模型面临三道隐形高墙：多源异构机器人数据碎片化且质量参差不齐、高维扩散/流匹配生成中直接预测离流形（Off-Manifold）噪声或速度场的低效性、以及 2D 视觉-语言模型（VLM）缺乏精细 3D 几何空间感知。ABot-M0（4.2B） 从数据治理、生成目标重构与模块化 3D 注入三个维度提出了系统性解决方案：

1. UniACT-Dataset 大规模标准化数据集（>600 万条轨迹、9,500+ 小时、20+ 本体）：整合清洗六大主流开源数据集，通过“末端执行器相对位置 + 轴角旋转向量 + 单臂零填充对齐双臂（14-DoF）”的统一表示与任务级均匀采样（Task-Uniform Sampling），最大化跨本体技能覆盖率；
2. 动作流形学习（Action Manifold Learning, AML）：提出动作流形假说——合法的物理机器人动作序列位于低维平滑流形上，而传统扩散/流匹配直接预测的噪声 $ϵ$ 或速度 $v$ 散布在高维环境空间中。AML 让 DiT 动作专家直接预测去噪后的干净动作块 ${\hat{A}}_t$（$a$-pred），再导出瞬时速度并计算带自然雅可比权重 $w(\tau )=(1-\tau {)}^{-2}$ 的速度损失，大幅提升长动作块（Action Chunk）下的策略稳定性；
3. 双流 3D 几何先验注入（Dual-Stream 3D Injection）：在保持 Qwen3-VL 最后一层深层语义特征的基础上，通过单层交叉注意力（Cross-Attention）即插即用地融合 VGGT 单目 3D 几何特征与 Qwen-Image-Edit 合成的隐式多视角特征，在视角扰动与复杂空间操作任务上取得突破性增益。

2. UniACT-Dataset 与跨本体多粒度预训练采样

2.1 六大开源数据源治理与 14-DoF 统一动作表示

作者系统清洗了 OXE、OXE-AugE、AgiBot-Beta、RoboCOIN、RoboMind 与 Galaxea 六大开源数据集（剔除约 $16\mathrm{\%}$ 存在动作维度缺失、旋转定义不明或静止异常的低质轨迹），建成包含 600 万+ 轨迹、9,500+ 小时、覆盖 20+ 种单臂/双臂机器人本体 的 UniACT-dataset：

• 末端执行器相对位姿与旋转向量（Axis-Angle）：为消除不同机械臂运动学构型差异，统一采用末端执行器（EEF）相对增量表示。将所有四元数、欧拉角或旋转矩阵统一转化为紧凑连续的 3D 旋转向量 $\text{bm}r=\theta \text{bm}k\in {\mathbb{R}}^3$（其中 $\theta \in [0,\pi ]$ 为旋转角，$\parallel \text{bm}k\parallel =1$ 为单位旋转轴）；
• 单双臂零填充统一（Pad-to-Dual-Arm）：每步输出左右双臂共 14 维向量，单臂动作固定映射为右臂通道，左臂通道补零：

$$a_t=[\mathrm{\Delta }{x}_L,\mathrm{\Delta }{y}_L,\mathrm{\Delta }{z}_L,\text{bm}{r}_L,g_L,\mathrm{\Delta }{x}_R,\mathrm{\Delta }{y}_R,\mathrm{\Delta }{z}_R,\text{bm}{r}_R,g_R]\in {\mathbb{R}}^{14}$$

2.2 任务级均匀采样（Task-Uniform Sampling）

针对单臂数据占总数据量绝大多数（OXE-AugE 占 $67\mathrm{\%}$，四个双臂数据集仅占 $17.2\mathrm{\%}$）的严重失衡，作者在预训练阶段将单臂与双臂采样预算固定为 $1:1$，并在双臂数据内部对比了三种分层采样策略：

• Trajectory-Uniform（按轨迹均匀）：长尾技能严重欠采样，跨本体平均绝对误差（MAE）最高，迁移至 LIBERO-Plus 总分为 $71.3\mathrm{\%}$；
• Embodiment-Uniform（按本体均匀）：在单一本体大规模高质量数据（如 AgiBot-Beta）上欠拟合，LIBERO-Plus 总分为 $71.6\mathrm{\%}$；
• Task-Uniform（按任务/技能均匀）：对每个任务簇赋予均等采样概率，在单位步数内覆盖最多独特技能（Coverage@$T$ 最优），在 OXE、AgiBot-Beta 与 RoboCOIN 验证集上均取得最低动作预测 MAE，下游 LIBERO-Plus 总分提升至 72.4%。

3. 核心算法：动作流形学习（Action Manifold Learning）与 3D 注入

3.1 动作流形学习（AML）：从速度预测（$v$-pred）到动作预测（$a$-pred）

在标准流匹配（Flow Matching）中，给定长度为 $H$ 的真实动作块 $A_t=[a_t,a_{t+1},\dots ,a_{t+H-1}]$、流时间步 $\tau \in [0,1]$ 与标准高斯噪声 $ϵ\sim \mathcal{N}(0,\mathbf{I})$，线性插值构造加噪动作块：

$$A_t^{\tau }=\tau A_t+(1-\tau )ϵ$$

传统方法训练网络直接回归离流形的速度场 $v=A_t-ϵ$。动作流形学习（AML） 则令 DiT 动作生成器 $V_{\theta }$ 在给定 VLM 视觉-语言特征 ${\varphi }_t$、加噪动作 $A_t^{\tau }$ 与本体状态 $q_t$ 时，直接预测位于低维动作流形上的干净动作块 ${\hat{A}}_t$：

$${\hat{A}}_t=V_{\theta }({\varphi }_t,A_t^{\tau },q_t)$$

随后，利用流匹配的几何关系从预测动作 ${\hat{A}}_t$ 与真实动作 $A_t$ 分别导出估计速度 $\hat{v}$ 与目标速度 $v$：

$$\hat{v}=\frac{{\hat{A}}_t-A_t^{\tau }}{1-\tau },v=\frac{A_t-A_t^{\tau }}{1-\tau }$$

在速度空间计算均方误差（MSE）损失，等价于在动作空间施加由坐标变换雅可比行列式导出的自适应时间步重加权：

$${\mathcal{L}}_{\mathrm{AML}}(\theta )=\mathbb{E}[\parallel \hat{v}-v{\parallel }^2]=\mathbb{E}[w(\tau )\cdot {\Vert V_{\theta }({\varphi }_t,A_t^{\tau },q_t)-A_t\Vert }^2],w(\tau )=\frac{1}{(1-\tau {)}^2}$$

• 物理与优化意义：网络输出被严格约束在低维物理可达流形上（避免了高自由度机械臂预测高维噪声时的发散问题），而损失权重 $w(\tau )=(1-\tau {)}^{-2}$ 在 $\tau \to 1$（低噪微调阶段）自动放大梯度，迫使策略在轨迹末端执行毫米级精细修正。
• ODE 推理积分：推理时从 $A_t^0\sim \mathcal{N}(0,\mathbf{I})$ 出发，每步先由 $V_{\theta }$ 预测流形投影 ${\hat{A}}_t$，再折算为瞬时速度 $\hat{v}=({\hat{A}}_t-A_t^{\tau })/(1-\tau )$ 并执行欧拉步更新 $A_t^{\tau +\mathrm{\Delta }\tau }=A_t^{\tau }+\mathrm{\Delta }\tau \cdot \hat{v}$。

3.2 VLM 特征层选择与双流 3D 空间特征注入

1. VLM 特征交互规律：消融实验表明，经过大规模机器人预训练后，Qwen3-VL-4B 最后一层原始特征（Last-Layer Raw Features） 已经高度内化了动作空间语义（LIBERO-Plus 达 $71.0\mathrm{\%}$），直接注入 DiT 显著优于拼接额外可学习 Action Queries（$70.0\mathrm{\%}$）或聚合最后 16 层特征（$67.4\mathrm{\%}$）。
2. 双源即插即用 3D 先验注入：
   • 前馈单目 3D 几何流（VGGT）：从单张 RGB 图像直接提取显式 3D 几何结构特征；
   • 合成多视角隐式 3D 流（Qwen-Image-Edit）：仅用 50 对样本微调图像编辑模型，从单视角实时合成 2 个虚拟新视角，提供抗遮挡与视角不变性表征；
   • 单层 Cross-Attention 融合：以 VLM 最后一层特征作为 Query、3D 特征作为 Key/Value，在进入 DiT 动作专家前通过单层交叉注意力融合（优于直接拼接与 Q-Former）。

4. 实验评估与核心结果

4.1 四大权威基准全面对比（LIBERO / LIBERO-Plus / RoboTwin 2.0 / RoboCasa）

方法	参数量	LIBERO Spatial	LIBERO Object	LIBERO Goal	LIBERO Long	LIBERO Avg.	LIBERO-Plus (Zero-Shot 7-OOD)	RoboTwin 2.0 Clean / Rand.
OpenVLA	7.0B	84.7	88.4	79.2	53.7	76.5	15.6	-
GR00T-N1	2.2B	94.4	97.6	93.0	90.6	93.9	-	43.6 / 20.7
${\pi }_0$	3.3B	98.0	96.8	94.4	88.4	94.4	53.6	46.4 / 16.3
${\pi }_{0.5}$	3.3B	98.8	98.2	98.0	92.4	96.9	84.4	42.98 / 43.84
OpenVLA-OFT	7.0B	97.6	98.4	97.9	94.5	97.1	69.6	48.8 / 12.1
X-VLA	0.9B	98.2	98.6	97.8	97.6	98.1	-	72.80 / 72.84
ABot-M0 (Ours)	4.2B	98.8	99.8	99.0	96.6	98.6	80.5	86.06 / 85.08

注：在未进行大规模跨本体预训练的基础架构对比中，ABot-M0 在 RoboTwin 2.0 上亦可达 Clean $70.7\mathrm{\%}$ / Rand. $36.0\mathrm{\%}$（平均 $53.4\mathrm{\%}$）；而完整预训练版 ABot-M0 在 RoboTwin 2.0 的 50+ 任务上达到 Clean 86.06%、Randomized 85.08%，并在 RoboCasa 新物体抓取放置基准上以 58.3% 的平均成功率大幅领先。

4.2 关键模块消融验证

1. 动作流形学习（AML）在长时域动作块下的抗退化能力（LIBERO-Plus）：
   • 当动作块长度从 Chunk = 8 增至长时域 Chunk = 30 时，传统速度预测基线（Qwen3-VL-GR00T）由于高维离流形累积误差，总成功率从 $69.3\mathrm{\%}$ 断崖式暴跌至 45.7% （下降 $-23.6$ 个百分点）；
   • 而采用 AML（$a$-pred）的 ABot-M0 在 Chunk = 10 时取得最高分 72.4%，在 Chunk = 30 时依然保持 62.8% （仅下降 $-8.2$ 个百分点），充分证明了流形投影对长序列动作一致性的保护作用。
2. 3D 信息注入消融（SFT 阶段独立验证）：
   • 在 LIBERO 上，引入 VGGT (Cross-Attention) 将平均成功率从 $95.4\mathrm{\%}$ 提升至 97.6%，引入 Qwen-Image-Edit (2 views) 进一步提升至 98.2%；
   • 在 LIBERO-Plus 的相机视角扰动（Camera Perturbation）子集上，双合成视角将成功率从 $32.9\mathrm{\%}$ 提升至 46.7% （+$13.8$ 个百分点），单层 Cross-Attention 融合 VGGT 亦将总分从 $66.4\mathrm{\%}$ 提升至 71.1%。