X-VLA：基于异构软提示纯 Transformer 的可扩展跨本体视觉-语言-动作模型

论文信息：Jinliang Zheng, Jianxiong Li, Zhihao Wang, Dongxiu Liu, Xirui Kang, Yuchun Feng, Yinan Zheng, Jiayin Zou, Yilun Chen, Jia Zeng, Ya-Qin Zhang, Jiangmiao Pang, Jingjing Liu, Tai Wang, Xianyuan Zhan (Tsinghua AIR / Shanghai AI Lab / Peking University) 发表期刊/会议：arXiv 2025 (arXiv:2510.10274) 项目主页：thu-air-dream.github.io/X-VLA

1. 核心思想与研究动机

跨本体（Cross-Embodiment）预训练是构建通用机器人 VLA 基础模型的必由之路，但不同机器人平台在机械臂运动学、控制接口、相机机位以及动作分布上存在显著的异构性（Heterogeneity）。作者通过严谨的对照实验发现，现有处理跨本体异构性的三类主流方案均存在明显缺陷：

1. 仅使用域特定动作线性投影头（Domain-Specific Action Projection）：无法缓解视觉视角与高层状态空间的异构冲突，混合预训练后验证误差居高不下；
2. 中间层异构投影器（HPT-Style Stem/Trunk Projection）：在视觉-语言特征处理中途插入不同本体的投影层，极易破坏预训练 VLM 的特征分布，导致训练动态剧烈震荡甚至崩溃；
3. 手工编写硬件语言提示（Language Prompts）：依赖人工脚本化描述机械臂构型与相机参数，难以刻画连续物理动力学差异且扩展性差。

为此，本文提出 X-VLA（0.9B）：将参数高效微调中的软提示学习（Soft Prompt Learning） 引入跨本体机器人学习，为每个异构数据源分配一组独立的可学习软提示嵌入（Soft Prompts，仅占总参数量的 0.04%），吸收硬件与领域特定的异构方差；同时摒弃复杂的自定义扩散块，完全基于标准双向自注意力 Transformer Encoder 堆叠与解耦的高低维输入编码流构建流匹配（Flow-Matching）策略，以仅 0.9B 的轻量级参数规模在 6 大仿真基准与 3 类真机平台上刷新多项 SOTA。

2. 模型架构与流匹配训练机制

2.1 最优传输流匹配（Optimal Transport Flow Matching）目标

设专家演示数据集为 $\mathcal{D}=\{{\tau }_j{\}}_{j=1}^M$，策略在时间步 $n$ 根据多模态观测 $o_n$ 生成长度为 $T$ 的未来动作块 $A_n=[a_n,a_{n+1},\dots ,a_{n+T}{]}^{\mathrm{\top }}$。X-VLA 采用基于最优传输（OT）直线路径的流匹配目标：采样高斯噪声 $A^0\sim \mathcal{N}(0,I)$ 与连续流时间变量 $t\sim \mathcal{U}(0,1)$，构造插值动作块 $A^t=(1-t)A^0+tA$，训练神经网络速度场 $v_{\theta }(A^t,o,t)$ 逼近目标方向 $(A-A^0)$：

$${\mathcal{L}}_{\text{BC}}^{\text{FM}}(\theta )={\mathbb{E}}_{t\sim \mathcal{U}(0,1),(o,A)\sim \mathcal{D}}\left[{\Vert v_{\theta }(A^t,o,t)-(A-A^0)\Vert }^2\right]$$

推理时从 $A^0\sim \mathcal{N}(0,I)$ 出发，通过欧拉积分 $A^{t+\mathrm{\Delta }t}=A^t+v_{\theta }(A^t,o,t)\mathrm{\Delta }t$ 迭代生成目标动作块。

2.2 异构软提示（Heterogeneous Soft Prompts）与高低维双流编码管线

给定包含 $H$ 个异构硬件/数据源的混合数据集 ${\mathcal{D}}^H=\{{\mathcal{D}}_i{\}}_{i=1}^H$，X-VLA 的核心架构（X-VLA-0.9B：基于 Florence-Large 视觉-语言编码器 + 24 层、隐藏维度 1024 的标准 Transformer Encoder）通过三个关键机制实现高效多模态对齐：

1. 高维视觉-语言观测流（主视角与腕部视角解耦）：
   • 现有 VLA 常将所有相机视角一并送入 VLM，但预训练 VLM 缺乏多视角空间理解能力，且腕部相机（Wrist Camera）画面随机械臂剧烈晃动、语义噪声大；
   • X-VLA 仅将固定主视角（Fixed Main View）与语言指令 $L$ 送入完整的预训练 VLM（Florence-Large） 以提取高层任务推理表征；而将腕部等辅助视角仅送入共享的纯视觉骨干提取局部几何特征，避免破坏 VLM 的图文对齐先验。
2. 低维本体感知-动作流（Proprioceptive-Action Stream）：
   • 将低维本体状态 $R_t$（关节角/末端位姿）、加噪动作采样 $A_t^t$ 以及流匹配时间步嵌入 $T$ 直接拼接，通过特定于数据源的轻量级线性输入层投影为高维控制 Token，实现早期物理接地。
3. 数据源专属软提示与双向自注意力融合：
   • 为第 $i$ 个异构数据源分配专属的可学习软提示嵌入 $P_i\in {\mathbb{R}}^{k\times d}$。将多模态视觉-语言 Token、软提示 Token $P_i$ 以及控制 Token 一并送入 24 层标准双向自注意力 Transformer Encoder（验证集误差 $0.041$，显著优于标准 DiT 的 $0.077$、MM-DiT 的 $0.140$ 与 ${\pi }_0$-Style 的 $0.056$）；
   • 所有跨数据源非共享参数（软提示 + 输入/输出动作线性层）仅占模型总参数的 0.04%，其余 $99.96\mathrm{\%}$ 主干权重完全跨本体共享。

2.3 预训练数据处理与两阶段快速迁移配方

1. 跨本体预训练三大工程关键：
   • 动作空间统一与意图抽象（Intention Abstraction）：针对人类遥操作高频抖动噪声，对演示轨迹进行时间下采样，不预测每毫秒的底层位姿，而是生成概括未来 4 秒内运动意图的 30 个锚点（30 Anchor Points）；统一采用末端执行器笛卡尔位置 + 6D 连续旋转表示（6D Rotation） + 夹爪开合度；
   • 跨数据源与跨轨迹双重混洗（Balanced Shuffling）：摒弃轮询（Round-Robin）采样，在每个 Batch 内同时跨 7 个数据源（涵盖 AgiBot-Beta、RoboMind、DROID 等共 290K 条轨迹、5 种机器人 7 种硬件配置）与轨迹内部均匀混洗；
   • 分层定制学习率（Custom LR）：对预训练 VLM 模块与软提示设置显著低于 Transformer 主干的学习率，防止预训练视觉表征发生灾难性漂移（仅此一项即在无预训练基线上带来 $+35.5\mathrm{\%}$ 成功率提升）。
2. 面向新本体的两步自适应微调（Two-Step Adaptation）：
   • 第一步（Prompt Warm-up）：冻结预训练主干 ${\pi }_{\theta }$，为新本体 $h_{\text{new}}$ 随机初始化新软提示 $p_{\text{new}}$ 并单独预热训练，使其快速对齐主干的跨本体通用表征空间；
   • 第二步（Joint Policy Adaptation）：解冻主干与预热后的软提示 $p_{\text{new}}$ 进行联合微调（相比单阶段直接微调在 Simpler-WidowX 上进一步提升 $+6.2\mathrm{\%}$，达到 95.8%）。

3. 实验评估与核心结果

3.1 从基线到 X-VLA-0.9B 的完整消融演进路径（Simpler-WidowX）

演进阶段	关键改进项	预训练验证集 $L_1$ 误差 $\downarrow$	Simpler-WidowX 迁移成功率 (%) $\uparrow$
Baseline (w/o PT)	Florence-Base + 标准 DiT-Base	-	4.1
训练策略	+ 分层定制学习率（Custom LR, w/o PT）	-	39.6（$+35.5$）
朴素混合预训练	+ 直接在异构数据上混合预训练	0.110	25.0（$-14.6$，异构冲突退化）
数据工程	+ 动作对齐 + 意图抽象 + 均衡混洗	0.077（$-0.033$）	50.0（$+25.0$）
架构革新	+ 标准 Transformer Encoder 替代 DiT	0.071（$-0.006$）	47.9（$-2.1$）
架构革新	+ 高低维解耦编码管线（主视角/腕部解耦）	0.053（$-0.018$）	64.6（$+16.7$）
核心创新	+ 异构软提示（Soft-Prompt）	0.041（$-0.012$）	73.8（$+9.2$）
模型扩展	+ 扩展至 X-VLA-0.9B（24 层，dim=1024）	0.032（$-0.009$）	89.6（$+15.8$）
迁移策略	+ 两步自适应微调（Two-Step Adaptation）	0.032	95.8（$+6.2$）

3.2 六大仿真基准全面对比

方法	参数量	Simpler Google-VM	Simpler Google-VA	Simpler WidowX	LIBERO Spatial	LIBERO Object	LIBERO Goal	LIBERO Long	LIBERO Avg.	CALVIN Avg. Len	RoboTwin 2.0 Clean / Rand.	VLABench	NAVSIM
${\pi }_0$	3.3B	58.8	56.8	27.8	96.8	98.8	95.8	85.2	94.1	-	46.4 / 16.4	37.8	-
${\pi }_0$-FAST	3.3B	61.9	60.5	39.5	96.4	96.8	88.6	60.2	85.5	-	-	34.1	-
OpenVLA	7.0B	-	-	8.3	84.7	88.4	79.2	53.7	76.5	-	-	-	-
OpenVLA-OFT	7.0B	63.0	54.3	31.3	97.6	98.4	97.9	94.5	97.1	-	48.8 / 12.1	-	-
UniVLA	9.0B	-	-	69.8	95.4	98.8	93.6	94.0	95.4	4.41	-	-	81.7
X-VLA (Ours)	0.9B	80.4	75.7	95.8	98.2	98.6	97.8	97.6	98.1	4.43	70.0 / 39.0	51.1	87.3

注：在未加载跨本体预训练权重的单基准从头训练设置（X-VLA (Base)，0h PT）下，X-VLA 在 RoboTwin 2.0 上取得 Clean $68.0\mathrm{\%}$ / Rand. $21.0\mathrm{\%}$（平均 $44.5\mathrm{\%}$），在 LIBERO 上取得 $98.1\mathrm{\%}$；而经完整跨本体预训练后，RoboTwin 2.0 进一步提升至 Clean $70.0\mathrm{\%}$ / Rand. $39.0\mathrm{\%}$。

3.3 参数高效微调（PEFT）与真机灵巧叠衣实验

1. 1% 参数 LoRA 微调媲美 3B 全量微调：仅需训练 9M 参数（占 0.9B 模型的 $1\mathrm{\%}$），X-VLA-LoRA 在 LIBERO 四大子集上取得 $95.4\mathrm{\%}/96.6\mathrm{\%}/96.0\mathrm{\%}/84.2\mathrm{\%}$（平均 $93.1\mathrm{\%}$），在 Simpler-WidowX 上取得 $54.2\mathrm{\%}$，与全量微调 3B 参数的 ${\pi }_0$（$94.2\mathrm{\%}$ 与 $55.7\mathrm{\%}$）持平；
2. 软提示 T-SNE 可解释性：可视化显示，7 个数据源的软提示自动聚类为與硬件构型严格对应的流形簇，且同属 Franka 机械臂但主视角一左一右的两个 DROID 子集自然交织在一起，证明软提示学到了真实的跨本体物理相似性而非死记数据集标签；
3. Soft-Fold 真机双臂灵巧叠衣：在 AgileX 双臂平台上开源了包含 1,200 条高质量轨迹的 Soft-Fold 数据集，X-VLA-0.9B 实现了接近 100% 成功率 与 33 件/小时 的叠衣吞吐率，媲美闭源 ${\pi }_0$-folding 系统。