CLAP：面向无标注人类视频的对比潜在动作预训练与双形态 VLA 框架

论文：CLAP: Contrastive Latent Action Pretraining for Learning Vision-Language-Action Models from Human Videos

作者：Chubin Zhang*、Jianan Wang*、Zifeng Gao、Yue Su、Tianru Dai、Cai Zhou、Jiwen Lu、Yansong Tang（* 共同一作，通讯作者：Yansong Tang）

机构：清华大学、星尘智能（Astribot）、香港大学（HKU）、麻省理工学院（MIT）

发布时间：2026 年 1 月（arXiv 2601.04061，v2 修订于 2026 年 6 月）

发表状态：未录用（arXiv 预印本）

🔗 arXiv | PDF | 项目主页 | 代码 (OpenCLAP) | 模型权重

分类标签：VLA 基础模型 无标注人类视频 对比潜在动作预训练 Act-VAE / VD-VAE 自回归与流匹配双形态 知识匹配 (KM) 跨模态解耦

一句话总结

针对传统潜在动作模型（LAM，如 LAPA、UniVLA）仅靠帧间视觉重建从无标签视频提取潜动作时不可避免地陷入视觉纠缠（编码背景漂移与外观噪声而非物理控制技能）的核心缺陷，提出对比潜在动作预训练框架 CLAP：先通过 Act-VAE 在机器人轨迹上建立物理可执行的离散动作词表（经率失真分析选定 $N_q=16,K=256$），再设计双流解耦的 VD-VAE 在 DINOv3 特征空间借助 SigLIP 对比学习 + EMA 伪正例 + 环境干扰流 $L_1$ 稀疏约束将无标注人类视频状态跳变显式对齐到该冻结可执行码本；在此基础上构建基于 Qwen3-VL-4B 的双形态策略——自回归规划器 CLAP-NTP（联合吸收机器人动作 Token 与人类伪动作 Token 实现零样本物体语义泛化）与挂载早/中层多尺度特征的 Rectified Flow 连续动作专家 CLAP-RF（单卡 H100 推理延迟从 $382.0\text{ ms}$ 压缩 5.4 倍至 $70.1\text{ ms}$），并提出反向 KL 正则化知识匹配（Knowledge Matching, KM）防止微调期灾难性遗忘；在 Astribot S1 五大双臂真机任务（平均成功率 62.7%，环境扰动鲁棒性 70.0% vs. UniVLA 16.7%，引入无标签人类视频将 OOD 插花成功率从 10% 拉升至 45% 且选错目标语义失败降至 0 次）与 LIBERO 单一通用模型基准（平均 97.2%）上全面超越 ${\pi }_0$、${\pi }_{0.5}$ 与 UniVLA。

一、问题与动机

1.1 显式手部姿态路线 vs. 无标注视频潜在动作路线的根本矛盾

为突破机器人遥操作数据的规模天花板，以 H-RDT、EgoVLA、Being-H0 为代表的路线依赖穿戴式动捕或头显提供的高精度三维手部姿态标注；然而互联网上真正海量的野外人类操作视频（如 Ego4D、YouTube）既无机械臂动力学状态，也无标定三维手部真值（若强行用单目手部姿态估计器如 WiLoR 回归并映射夹爪，严重的深度与定位噪声甚至会反噬策略性能，见后文 Figure 11）。

为此，以 LAPA、UniVLA、Moto 为代表的潜在动作模型（Latent Action Models, LAMs）尝试通过自监督逆动力学（Inverse Dynamics）从相邻视频帧 $(o_t,o_{t+H})$ 推断潜在动作并重建未来画面。但现有 LAM 存在一道致命硬伤——缺乏物理动作空间的显式锚定：

• 视觉纠缠（Visual Entanglement）：完全由视觉重建驱动的潜变量极易被背景移动、光照闪烁、非受控物体形变等无关视觉因子绑架，学到的是“画面外观怎么变”而非“末端执行器怎么动”；
• 与物理控制非同构：由于视觉潜空间与机器人本体动作流形之间不存在结构同构性（isomorphism），下游不得不依赖繁重的后验映射训练，导致无标签人类视频中的操作技能难以直接转化为可执行的机械臂控制指令（例如在更换背景桌布或光照时，UniVLA 真机成功率暴跌至 16.7%）。

1.2 CLAP 的破局思路：先建“物理词典”，再做对比对齐，最后离散-连续协同

CLAP 的核心哲学是将对齐顺序彻底倒置：不是从混乱的视频像素里盲目聚类潜动作再猜它对应什么物理指令，而是先用机器人真实轨迹锻造一本纯净、可解码执行的“物理动作词典”（Act-VAE），再通过跨模态对比学习强迫视频逆动力学编码器（VD-VAE）把人类视觉跳变“查表翻译”到同一本物理词典上，同时用一条受 $L_1$ 稀疏惩罚的独立旁路吸纳背景干扰。随后，利用自回归 CLAP-NTP 吃透人类视频的开放物体与指令语义，再通过 CLAP-RF + 知识匹配（KM） 在不丢失预训练语义的前提下转化为低延迟连续动作块输出。

二、核心方法

2.1 问题形式化与异构数据源定义

目标是联合利用带精确动作标注的双臂机器人轨迹集 ${\mathcal{D}}_{\text{rob}}=\{({\tau }_i,I_i){\}}_{i=1}^{N_{\text{rob}}}$ 与纯视觉无动作标签的人类演示视频集 ${\mathcal{D}}_{\text{hum}}=\{(V_j,I_j){\}}_{j=1}^{N_{\text{hum}}}$（其中 $V=\{o_1,\dots ,o_T\}$，$I$ 为自然语言指令），学习通用双臂策略 $\pi (a_t\mid o_t,I)$。双臂机器人动作空间 $\mathcal{A}\subseteq {\mathbb{R}}^{14}$ 由左（$L$）、右（$R$）两臂的末端操作空间三维位置 $p\in {\mathbb{R}}^3$、欧拉角姿态 $\theta \in {\mathbb{R}}^3$ 及夹爪开合度 $g\in {\mathbb{R}}^1$ 拼接而成（论文公式 1）：

$$a_t=[p_t^L,{\theta }_t^L,g_t^L,p_t^R,{\theta }_t^R,g_t^R{]}^{\mathrm{\top }}\in {\mathbb{R}}^{14}$$

整个框架由三个递进阶段组成：（1）CLAP 跨模态潜在动作对齐（Act-VAE + VD-VAE）；（2）CLAP-NTP 离散 Token 空间策略预训练；（3）CLAP-RF + Knowledge Matching 连续控制后训练（Figure 3）。

2.2 Stage 1：对比潜在动作预训练（Act-VAE 与 VD-VAE）

（1）语义动作量化器 Act-VAE 与率失真肘部选型

为构建物理可执行的离散动作词表，Act-VAE（15 层 Transformer 编码器 $E_{\varphi }$ + 15 层解码器 $D_{\psi }$，共 150M 参数）对长度为 $H=32$ 的连续动作块 $a_{t:t+H-1}\in {\mathbb{R}}^{H\times D_a}$ 进行矢量量化建模：编码器将动作序列特征与 $N_q$ 个可学习寄存器 Token（Register Tokens）拼接后执行全局自注意力，读取更新后的寄存器隐向量 $z_e=[z_{e,1},\dots ,z_{e,N_q}]$，并在可学习动作码本 ${\mathcal{C}}_{\text{act}}=\{e_k{\}}_{k=1}^K$ 中按最近邻查表量化为 $z_q$（对应离散索引序列 $z_a$）。训练损失由轨迹重建项、码本更新项与承诺项（$\beta =1.0$）组成（论文公式 2）：

$${\mathcal{L}}_{\text{Act}}=\Vert a-D_{\psi }(z_q){\Vert }_2^2+\Vert \mathrm{sg}(E_{\varphi }(a))-z_q{\Vert }_2^2+\beta \Vert E_{\varphi }(a)-\mathrm{sg}(z_q){\Vert }_2^2$$

其中 $\mathrm{sg}(\cdot )$ 为停止梯度算子。训练收敛后冻结编码器（记为 $E_{\text{act}}$）与物理动作码本 ${\mathcal{C}}_{\text{act}}$。

信息论率失真权衡（Rate-Distortion Analysis）：增大 $N_q$ 或 $K$ 能提高轨迹重建保真度，但会拉长下游 VLM 自回归序列或扩大分类词表、稀释注意力。论文定义无量纲信息压缩率 $r$ 与峰值信噪比 $\mathrm{PSNR}$（动作归一化至 $[-1,1]$，动态范围 $R=2$，论文公式 8）：

$$r=\frac{N_q\cdot {\log }_2(K)}{N_a\cdot D_a\cdot {\log }_2(R/\sqrt{\mathrm{MSE}})},\mathrm{PSNR}=20{\log }_{10}\left(\frac{R}{\sqrt{\mathrm{MSE}}}\right)$$

通过在率失真曲线上寻找肘部拐点（Figure 6 & Table V），最终选定 $N_q=16$（每臂 8 个码）、$K=256$，在极紧凑压缩率（$r=0.086$）下实现 $40.00\text{ dB}$ 高保真轨迹重建。

（2）跨模态动力学对比对齐器 VD-VAE

为在不依赖任何手部姿态标签的前提下把人类视频帧间跳变映射到上述物理词典 ${\mathcal{C}}_{\text{act}}$，视觉动力学 VQ-VAE（VD-VAE，12 层时空分解逆动力学编码器 $E_{\text{inv}}$ + 12 层空间注意力前向解码器 $D_{\text{fwd}}$，共 200M 参数）在冻结 DINOv3 Patch 语义特征空间（规避像素级高频噪声）执行双流解耦与对比对齐（Algorithm 2）：

1. 双流解耦与冻结物理码本强制共享：对混合批次中的视觉转移 $(o_t,o_{t+H})$，提取干净特征 $(f_t,f_{t+H})$ 与数据增强特征 $(f_t^{\prime },f_{t+H}^{\prime })$。在线逆动力学编码器将增强特征分解为两路正交潜序列：$(z_{v,a},z_{v,i})=E_{\text{inv}}(f_t^{\prime },f_{t+H}^{\prime })$。其中动作相关流 $z_{v,a}$ 强制使用冻结的 Act-VAE 物理码本 ${\mathcal{C}}_{\text{act}}$ 量化为 $z_{q,a}$；动作无关干扰流 $z_{v,i}$（仅设 2 个 Token、码本大小 128）使用独立可学习环境码本 ${\mathcal{C}}_{\text{env}}$ 量化为 $z_{q,i}$ 以吸收背景与光照波动，前向解码器在特征空间重建 ${\hat{f}}_{t+H}=D_{\text{fwd}}(f_t,z_{q,a},z_{q,i})$。
2. 分源正例构造（真值物理锚定 + EMA 人类伪正例）：
   • 若样本来自机器人集 $s\in {\mathcal{D}}_{\text{rob}}$，直接以冻结 Act-VAE 对真实动作块的编码作为物理锚定正例：$z_a^{+}=\mathrm{sg}(E_{\text{act}}(a_{\text{gt}}))$；
   • 若样本来自无标签人类视频 $s\in {\mathcal{D}}_{\text{hum}}$，利用指数滑动平均（EMA）更新的教师编码器 $E_{\text{inv}}^{\text{tea}}$ 在未增强干净特征上生成停止梯度伪正例：$z_a^{+}=\mathrm{sg}(E_{\text{inv}}^{\text{tea}}(f_t,f_{t+H}{)}_a)$，避免在线分支自对比坍缩。
3. SigLIP 成对对比损失与干扰流 $L_1$ 稀疏惩罚：对正例对 $(z_{v,a},z_a^{+})$ 与批次内其余 $M$ 个负例 $\{z_{a,j}^{-}{\}}_{j=1}^M$，采用无需全局 Softmax 同步的 SigLIP 二元分类对比损失（论文公式 3）：

$${\mathcal{L}}_{\text{contrastive}}=-\log \sigma \left(\frac{s_p-b}{{\tau }_c}\right)-\sum _{j=1}^M\log (1-\sigma \left(\frac{s_{n,j}-b}{{\tau }_c}\right))$$

其中 $s_p=\mathrm{sim}(z_{v,a},z_a^{+})$、$s_{n,j}=\mathrm{sim}(z_{v,a},z_{a,j}^{-})$ 为余弦相似度，${\tau }_c$ 为温度，$b$ 为可学习偏置。同时对环境干扰流施加 $L_1$ 稀疏正则 ${\mathcal{L}}_{\text{reg}}=\Vert z_{v,i}{\Vert }_1$，防止前向解码器偷懒把动作信息塞进干扰通道。VD-VAE 总目标为（论文公式 4，${\lambda }_{\text{con}}=0.1,{\lambda }_{\text{reg}}=0.5$）：

$${\mathcal{L}}_{\text{VD}}=\Vert f_{t+H}-{\hat{f}}_{t+H}{\Vert }_2^2+{\lambda }_{\text{vq}}{\mathcal{L}}_{\text{VQ}}+{\lambda }_{\text{con}}{\mathcal{L}}_{\text{contrastive}}+{\lambda }_{\text{reg}}\Vert z_{v,i}{\Vert }_1$$

用大白话说：传统 LAM 就像让两个人在没有共同语言的情况下看默片编暗语，极易把“窗帘动了一下”也编成动作码；而 VD-VAE 一边用机器人真值动作把暗语死死钉在 256 个可执行物理运动原语上，一边给背景杂波只留了 2 个带 $L_1$ 罚款的“垃圾桶槽位”，从而把无标签人类视频精准翻译成机器人能直接听懂的伪动作序列 ${\hat{z}}_a$（Figure 1 中同一聚类簇同时检索出 Ego4D 人手、AgiBot 与 Astribot 机械臂一致的“右移/放下/抓取”动作，且经 $D_{\psi }$ 解码重投影的三维箭头与真实轨迹严丝合缝）。

2.3 Stage 2 & 3：双形态 VLA（CLAP-NTP / CLAP-RF）与知识匹配（KM）

1. CLAP-NTP（离散 Token 空间自回归规划器，4.5B 参数）： 以 Qwen3-VL-4B 为基座，将 ${\mathcal{C}}_{\text{act}}$ 的 $K=256$ 个动作码扩充进词表，把复杂指令分解为中间子目标文本与离散动作索引的联合序列 $Y=[y_{\text{sub}},z_a]$（机器人样本取真值 $z_a$，人类视频取 VD-VAE 伪标签 ${\hat{z}}_a$），通过标准下一 Token 预测预训练 150,000 步（论文公式 5）：

$${\mathcal{L}}_{\text{NTP}}=-\sum _{\ell =1}^{L_y}\log P_{\theta }(y_{\ell }\mid y_{1:\ell -1},o_t,I)$$

2. CLAP-RF（多尺度特征驱动的 Rectified Flow 连续动作专家，总计 6.0B 参数）： 自回归逐 Token 解码在真机高频控制下延迟偏高（$382.0\text{ ms}$）。为此在预训练好的 NTP 主干上挂载基于浅层 DiT 的 Rectified Flow 动作头 $f^a$：不取纯高层语义尾层，而是融合 VLM 早层与中层（early + mid-level）KV 缓存特征构成条件表征 $h_t$（兼顾底层几何边缘细节与中层语义抽象）；按 ${\pi }_0$ 的偏置 Beta 分布采样流时间 $\rho \in [0,1]$，构造插值动作块 $a_{t:t+H-1}^{\rho }=\rho a_{t:t+H-1}+(1-\rho )ϵ$（$ϵ\sim \mathcal{N}(0,I)$），仅在具有连续真值的机器人轨迹上回归直线速度场（论文公式 6）：

$${\mathcal{L}}_{\text{RF}}={\mathbb{E}}_{{\mathcal{D}}_{\text{rob}},\rho ,ϵ}[\Vert (a_{t:t+H-1}-ϵ)-f^a(a_{t:t+H-1}^{\rho },\rho ,h_t){\Vert }^2]$$

3. Knowledge Matching（KM，防灾难性遗忘的两阶段正则化后训练，Algorithm 4）： 若在仅含机器人轨迹的 Stage 2 直接无约束微调 VLM 主干，从海量人类视频学到的开放物体语义会被迅速洗掉；反之若采用知识绝缘（Knowledge Insulation, KI）完全阻断动作头对主干的梯度，又会因主干无法适应目标域运动学而严重欠拟合。CLAP 提出两步目标域后训练：
   • Step 1（全数据 Token 空间适配）：先在目标域机器人 Token 与目标域人类伪动作 Token（${\mathcal{D}}_{\text{rob}}^{\text{new}}\cup {\mathcal{D}}_{\text{hum}}^{\text{new}}$）上将 NTP 微调 3 epochs，随后冻结该模型作为可信语义锚点 ${\varphi }_{\text{ref}}$；
   • Step 2（带反向 KL 知识匹配的连续动作微调）：用 ${\varphi }_{\text{ref}}$ 初始化可训练主干分支 ${\varphi }_{\text{policy}}$，在机器人连续轨迹上联合优化 $f^a$ 与 ${\varphi }_{\text{policy}}$（5 epochs），并对离散子任务/动作 Token 分布（上下文 $c_{\ell }=(y_{1:\ell -1},o_t,I)$）施加反向 KL 散度信任域约束（论文公式 7）：

$${\mathcal{L}}_{\text{KL}}=\sum _{\ell =1}^{L_y}{D}_{\mathrm{KL}}(p_{{\varphi }_{\text{policy}}}(y_{\ell }\mid c_{\ell })\Vert p_{{\varphi }_{\text{ref}}}(y_{\ell }\mid c_{\ell })),{\mathcal{L}}_{\text{post}}={\mathcal{L}}_{\text{RF}}+\alpha {\mathcal{L}}_{\text{KL}}$$

由此，人类视频虽无连续动作真值，仍能通过 Step 1 塑造 ${\varphi }_{\text{ref}}$ 并在 Step 2 经由 ${\mathcal{L}}_{\text{KL}}$ 持续向连续控制器 CLAP-RF 注入开放世界语义约束。

四阶段完整模型规模与训练超参数汇总如下（论文 Table IX，单卡 NVIDIA A100 80G 等效耗时）：

模块 / 阶段	核心架构与参数规模	码本与动作块配置	学习率与调度策略	批大小 / 训练步数（轮数）	等效单卡 A100 耗时
Stage 1a: Act-VAE	15 / 15 层 Transformer（150M）	动作块 $H=32$；码本 $K=256$，每臂 8 码（$N_q=16$）	VAE $2\times {10}^{-5}$，码本 $1\times {10}^{-3}$（$\beta =1.0$）	4,096 / 100,000 步	~190 h
Stage 1b: VD-VAE	12 / 12 层时空分解注意力 + DINOv3（200M）	共享冻结 ${\mathcal{C}}_{\text{act}}$；环境码本 $K_{\text{env}}=128$（2 个干扰码）	VAE $2\times {10}^{-4}$，码本 $1\times {10}^{-4}$（${\lambda }_{\text{con}}=0.1,{\lambda }_{\text{reg}}=0.5$）	256 / 100,000 步	~380 h
Stage 2: CLAP-NTP	Qwen3-VL-4B 扩充动作词表（4.5B）	联合预测 [subtask, action_tokens]	峰值 $5\times {10}^{-5}\to 5\times {10}^{-6}$（100k 步后余弦衰减）	512 / 150,000 步	~3,800 h
Stage 3: RF + KM	NTP 主干 + 早/中层特征浅层 DiT（6.0B）	Step 1 全数据 NTP $\to$ Step 2 机器人 RF + 反向 KL	Step 1: $2\times {10}^{-5}$（恒定）；Step 2: $1\times {10}^{-4}$（余弦）	128 / 3 轮 + 5 轮	视下游任务而定

四、实验结果

4.1 预训练四源数据配方与实验平台

预训练阶段整合四大异构数据源（共计 1,900 小时机器人数据 + 90 小时无标签人类视频）：（1）AgiBot World Beta 精选子集（滤除移动、协作与语义歧义任务后保留 100,000 条高质量双臂轨迹，约 1,500 h）；（2）自采 Astribot S1 双臂数据集（双 7-DoF 机械臂 + 平行夹爪，配头/躯干/双腕相机，Meta Quest 3S 遥操作采集 90 种物体的 27,000 条抓放轨迹，约 50 h @ 30 Hz）；（3）DROID（76,000 条野外单臂轨迹，约 350 h，映射为右臂并将左臂通道置零以兼容 14 维格式）；（4）Ego4D 人类操作子集（沿用 UniVLA 清洗的 90 h 日常第一视角无标签视频）。

4.2 Astribot S1 真机主实验、无标签人类视频 OOD 泛化与环境鲁棒性

（1）五大双臂真机任务综合性能（Table I）

锁定 Astribot S1 底盘与躯干（控制 14-DoF 双臂 + 头相机与双腕 RGB），在 5 项涵盖刚体、长程精密几何（Pack the Doll 装娃娃入盒并严密合盖，200 条微调演示）、柔性变形织物（Fold T-shirt 双臂协同叠衣，200 条演示）与自然语言多目标语义组合（Make Bouquets 从 5 种毛线花中按语言指令挑选指定 2 朵插瓶，两种组合各 100 条演示）的任务上对比强基线：

方法	Pick & Place (Seen) Pick / Place	PnP (OOD 未见物体) Pick / Place	Pack the Doll P&P / Close	Fold T-shirt Succ.	Make Bouquets C-1 / C-2	五任务总均值（Task Mean）
${\pi }_0$	85% / 75%	65% / 60%	80% / 60%	40%	40% / 30%	54.0%
${\pi }_{0.5}$	90% / 80%	80% / 75%	80% / 60%	50%	30% / 40%	60.0%
UniVLA	75% / 60%	65% / 50%	70% / 30%	10%	30% / 20%	35.0%
CLAP-NTP（离散自回归）	90% / 80%	85% / 85%	80% / 70%	30%	30% / 40%	58.7%
CLAP-RF（连续流匹配 + KM）	95% / 85%	85% / 70%	90% / 70%	40%	40% / 50%	62.7%

CLAP-RF 取得全场最高平均成功率 62.7%（超越 ${\pi }_{0.5}$ 的 60.0% 并大幅抛离同样使用潜动作的 UniVLA 35.0%）；同时离散与连续双形态展现出清晰互补——CLAP-NTP 在零样本未见物体 PnP (OOD) 上抓与放均高达 85%（零衰减），而 CLAP-RF 在需要连续平滑双臂轨迹的 Fold T-shirt（30% $\to$ 40%）与高精度 Pack the Doll（80% $\to$ 90%）上优势明显。

（2）仅靠头戴 GoPro 无标签人类视频解锁新物体组合泛化（Figure 8 & Table III）

在 Make Bouquets 中，仅用 2 种花束组合遥操作数据训练的所有模型对未见花束组合（如“橙色郁金香 + 红玫瑰”）均严重过拟合（成功率 $\le 10\mathrm{\%}$）。作者让操作员头戴 GoPro 9 以模仿夹爪开合的手势补采了纯无标签人类视频（插花 3 组共 300 段，OOD 抓放每物体 20 段），经 VD-VAE 自动打上伪动作标签后微调：

OOD 泛化评测与失败模式拆解（每组 20 次试验）	${\pi }_{0.5}$（纯遥操作）	UniVLA（微调前 → +人类视频）	CLAP-RF（微调前 → +人类视频）	CLAP 无人类 → 有人类：选错目标语义失败（Attempt Failures）
Make Bouquets (OOD)（未见花束语言组合）	10%	5% → 10%（+5 pp）	10% → 45%（+35 pp，4.5 倍）	8 / 20 次 → 0 / 20 次（语义错选彻底清零）
PnP (OOD)（10 种全新几何/纹理物体）	75%	50% → 55%（+5 pp）	70% → 85%（+15 pp）	4 / 20 次 → 1 / 20 次（抓错目标减少 75%）

失败归因表（Table III）直接揭示了人类视频究竟教会了机器人什么：加入无标签人类视频后，Make Bouquets (OOD) 中伸手去抓错误花朵的 Attempt 语义失败从 8 次直接降为 0 次，剩余失败主要集中在最后一步将柔软花梗插入窄花瓶口的物理放置容差（Place 失败 9 次），完美印证了对比对齐能将无标签视频中的语言-物体指代知识无损迁移至物理执行器。

（3）环境扰动鲁棒性压力测试（Table II，基于 Pack the Doll）

在更换花纹桌布背景、改变光照强度与色温、替换新目标物体及加入干扰物三项压力测试下：

方法	原始设置 P&P / Close	背景桌布更换 P&P / Close	光照与色温剧变 P&P / Close	新物体与干扰物 P&P / Close	扰动总均值（Mean）
${\pi }_0$	80% / 60%	70% / 50%	60% / 40%	60% / 50%	46.7%
${\pi }_{0.5}$	80% / 60%	80% / 60%	80% / 50%	70% / 60%	56.7%
UniVLA（视觉重建潜动作）	70% / 30%	60% / 20%	50% / 10%	50% / 20%	16.7%
CLAP-RF（对比解耦潜动作）	90% / 70%	80% / 70%	70% / 70%	80% / 70%	70.0%

依赖视觉重建学习潜动作的 UniVLA 在背景与光照变化下几乎崩溃（合盖子任务跌至 10%–20%，均值仅 16.7%），而通过 $z_{v,i}$ 剥离环境杂波并与物理动作对比对齐的 CLAP-RF 在全部四种条件下合盖成功率恒定维持在 70%，总均值高达 70.0%（领先 ${\pi }_{0.5}$ +13.3 pp）。

4.3 LIBERO 仿真通用策略评测与推理延迟基准（Table IV & Table VIII）

在 LIBERO 四大任务套件（共 40 项任务，每套件 500 次评估）上训练单一跨套件通用 CLAP-RF 策略（30k 步，Batch Size 128），并在单张 NVIDIA H100（单帧 $224\times 224$ 输入）上实测推理速度与显存：

方法（标注 * 为逐套件分开训练的专家模型）	Spatial	Object	Goal	Long	LIBERO 四套件均值	参数量 / H100 延迟 / 显存
LAPA* / UniVLA* / OpenVLA-OFT*	73.8 / 96.5 / 97.6	74.6 / 96.8 / 98.4	58.8 / 95.6 / 97.9	55.4 / 92.0 / 94.5	65.7% / 95.2% / 97.1%	OpenVLA 7.5B / 219.8 ms / 14.8 G
FAST / SmolVLA / FLOWER	— / 93.0 / 97.5	— / 94.0 / 99.1	— / 91.0 / 96.1	— / 77.0 / 94.9	— / 88.8% / 96.9%	FAST 3.0B / 412.8 ms / 7.5 G
${\pi }_0$ / ${\pi }_{0.5}$ / X-VLA（单一通用模型）	90.0 / 98.8 / 98.2	86.0 / 98.2 / 98.6	95.0 / 98.0 / 97.8	73.0 / 92.4 / 97.6	86.0% / 96.9% / 98.1%	${\pi }_0$ 3.5B / 45.8 ms / 7.6 G
CLAP-NTP / CLAP-RF（单一通用模型）	— / 98.6	— / 99.2	— / 98.0	— / 93.0	— / 97.2%	NTP 4.5B (382.0 ms) → RF 6.0B (70.1 ms, 12.1 G)

单一通用 CLAP-RF 模型以 97.2% 超越了分套件独立训练的 UniVLA（95.2%）与 OpenVLA-OFT（97.1%），并在 Object（99.2%）与 Goal（98.0%）上取得最高分，同时将自回归解码延迟从 $382.0\text{ ms}$ 压缩至 $70.1\text{ ms}$（~14.3 Hz 动作块更新）。

4.4 核心组件深度消融（Tables V–VII & Figure 11）

1. Act-VAE 率失真全量消融（Table V）：系统扫描潜码序列长度 $N_q$ 与码本容量 $K$ 对重建均方误差（MSE）、PSNR 及无量纲压缩率 $r$ 的影响：

潜码长度 $N_q$	码本大小 $K$	重建 MSE $\downarrow$	重建 PSNR (dB) $\uparrow$	信息压缩率 $r$	率失真权衡状态
4 / 8	256 / 256	$0.1022$ / $0.0041$	$15.93$ / $29.89$	$0.054$ / $0.058$	欠拟合严重，高频末端轨迹细节丢失
12	128 / 256 / 512	$0.0023$ / $0.0010$ / $0.0007$	$32.40$ / $36.02$ / $37.57$	$0.070$ / $0.072$ / $0.077$	随 $K$ 增长稳步提升，但序列表达粒度仍受限
16（本文选定）	256	$0.0004$	$40.00$	$0.086$	率失真曲线肘部最优拐点（兼顾高保真与短序列）
20 / 36	256 / 256	$0.0003$ / $0.0002$	$41.25$ / $43.01$	$0.104$ / $0.175$	保真度边际收益饱和，自回归序列过长稀释 VLM 注意力

2. 主干、数据配方与对比对齐逐项剥离消融（Table VII，在 CLAP-NTP 真机任务上评测）：

消融变体	PnP ID / OOD	Make Bouquets ID / OOD	四项均值（相对变化）	关键归因结论
UniVLA baseline → + Qwen3VL → + Our Data Recipe	60/50 → 65/60 → 75/65	25/10 → 25/10 → 30/10	36.3% → 40.0% → 45.8%	换新主干与数据仅提升至 45.8%，OOD 插花仍卡死在 10%
CLAP-NTP (Full) / w/ Prismatic-7B（换回旧主干）	90/80 vs. 90/75	35/35 vs. 35/25	60.0% / 56.3%（-3.7）	即便换回与 UniVLA 相同的 Prismatic-7B，CLAP 仍高出 +20.0 pp
w/o Pseudo Positive / w/o Contrastive / w/o Human Data	85/80 / 85/75 / 80/75	35/35 / 35/20 / 30/5	58.8% / 53.8% / 47.5%（-12.5）	去掉对比损失或人类数据均令 OOD 插花从 35% 暴跌至 20% / 5%

3. 后训练特征层级与 KM vs. KI 定量消融（Table VI）：

后训练特征与正则配置	LIBERO Spatial / Object / Goal / Long	LIBERO 均值	真机 PnP ID / OOD	机制诊断
w/ high-level feats（仅取 VLM 高层特征）	94.8 / 97.5 / 91.3 / 89.9	93.4%	70% / 65%	高层语义抽象丢失连续控制所需的局部空间几何细节
w/ low-level feats（仅取 VLM 底层特征）	97.2 / 98.8 / 97.6 / 90.6	96.1%	75% / 60%	几何控制增强，但缺乏中层语义导致真机 OOD 回落
w/ KI（知识绝缘，阻断动作头对主干梯度）	90.4 / 97.4 / 85.6 / 79.8	88.3%	75% / 65%	约束过强，主干无法适应目标域运动学（Long 仅 79.8%）
ft. VLM（无 KL 正则直接全量微调 VLM）	97.9 / 99.2 / 97.6 / 90.0	96.2%	85% / 60%	域内拟合强，但灾难性遗忘导致真机 OOD 暴跌 10 pp
Full: low+mid-level feats + KM（本文）	98.6 / 99.2 / 98.0 / 93.0	97.2%	85% / 70%	多尺度特征兼顾几何与语义，KM 完美平衡适配与防遗忘

4. 对比潜动作 vs. 单目三维手部姿态估计（WiLoR）受控实验（Figure 11）：固定 Make Bouquets 总预算为 500 条轨迹，将 60% 替换为人类视频时，CLAP 的语义选花失败仅 2 次（0% 人类数据时为 3 次，100% 纯人类数据无机器人动力学锚定时则因灵巧失败飙升至 15 次而无法闭环）；若改用 SOTA 单目手部重建模型 WiLoR 提取掌心位置与拇食指间距直接映射末端动作（60% + Est. Pose），单目深度与姿态噪声导致语义失败反增至 5 次、灵巧失败增至 11 次，有力证实了在无硬件标定的普通视频上，对比潜在动作是比强行估计 3D 手部坐标更稳健的可扩展接口。

五、局限性与未来方向

1. 擅长已知技能框架下的跨物体语义泛化，尚难仅凭人类视频零样本习得全新动作原语：当前人类视频主要通过降低语义选物错误（Semantic Failures）贡献增益；若面对机器人数据集中从未出现过的全新物理接触技能，缺乏机器人真值锚定的潜码仍难以推断精确局部接触动力学（100% 人类数据时灵巧失败高达 15/20）。
2. 灵巧五指手势与平行夹爪之间的形态歧义：当人手执行复杂多指灵巧搓转时，与二指平行夹爪不存在一一对应的潜码同构映射（本文自采 GoPro 插花人类视频时，演示者刻意模仿了平行夹爪的简单开合动作以降低歧义）。
3. 四阶段串行训练管线工程复杂度高：需依次独立训练 Act-VAE（~190 A100h）、VD-VAE（~380 A100h）、CLAP-NTP（~3,800 A100h）及两步 RF+KM 后训练，未来亟待探索端到端联合对齐范式。

六、个人思考

1. 精准刺破了第一代潜在动作模型（LAM）的“皇帝新衣”：以 LAPA 和 UniVLA 为代表的第一代 LAM 假设“只要在视频特征空间做逆动力学重建，涌现出的离散瓶颈码就是通用动作”，但 CLAP 的环境扰动实验（Table II：UniVLA 换块花桌布合盖成功率就从 30% 掉到 20%、改个灯光掉到 10%，而 CLAP 稳在 70%）一针见血地证明了无物理锚定的视觉逆动力学本质上仍是视觉差分编码。CLAP 用“先由纯本体轨迹锁定 ${\mathcal{C}}_{\text{act}}$ 物理坐标系，再逼视觉跳变向物理坐标看齐，同时给环境噪声单开一条带 $L_1$ 惩罚的排污管 $z_{v,i}$”，为整个 LAM 赛道提供了一个教科书级的去纠缠范式。
2. Figure 11 给整个人类视频具身学习领域划出了一条清晰的分水岭：何时该用显式 3D 手部姿态（如 H-RDT、EgoVLA、Being-H0、EgoScale），何时该用隐式对比潜动作（CLAP）或非像素世界模型（EgoWAM）？Figure 11 用受控实验给出了定量答案：取决于数据源有无多目/SLAM 硬件级三维标定。若有 Vision Pro / Project Aria 硬件追踪（如 EgoDex），显式 3D 手部轨迹能直接传递精细几何控制；但一旦面对无标定的海量互联网单目视频（如 Ego4D、GoPro），强行跑 WiLoR 等单目 3D 手部估计器做显式重定向反而成为噪声毒药，此时 CLAP 的物理锚定潜动作与 EgoWAM 的 DINO 语义动力学才是正确的打开方式。
3. Knowledge Matching（KM）对“离散推理 + 连续流匹配”双系统 VLA 的普适价值：在 ${\pi }_{0.5}$、GR-3 等混合架构中，如何让连续流匹配专家既改得动主干底层几何特征、又不洗掉 VLM 宝贵的开放语义一直是个两难（KI 太死板，全量微调易遗忘）。CLAP 先在包含人类伪标签的离散 Token 空间把 VLM 变成领域语义教师 ${\varphi }_{\text{ref}}$，再用反向 KL 锁住离散输出分布的同时放开底层/中层特征供 Rectified Flow 微调，这一“离散空间锁语义、连续空间调动力学”的解耦后训练策略完全可以迁移到任何双系统 VLA 基座中。

参考

• UniVLA（Bu et al., RSS 2025）/ LAPA（Ye et al., ICLR 2025）：CLAP 重点对标并解决其视觉纠缠缺陷的视觉重建类潜在动作预训练代表作
• ${\pi }_0$（Black et al., 2024）/ ${\pi }_{0.5}$（Physical Intelligence, 2025）/ Knowledge Insulation (KI)（Driess et al., 2025）：本文连续流匹配时间步采样、通用真机基线与知识匹配（KM）后训练的核心参照
• FAST（Pertsch et al., RSS 2025）：Act-VAE 率失真曲线（Figure 6）与 H100 推理延迟基准（Table VIII）所对比的频域动作 Tokenizer
• H-RDT（Bi et al., AAAI 2026）/ EgoVLA（Yang et al., IROS 2026）/ Being-H0（Luo et al., 2025）：依赖穿戴设备显式 3D 手部姿态标注学习人到机器人迁移的对照技术路线
• EgoWAM（Li et al., CoRL 2026）/ Qwen-RobotManip（Qwen Team, 2026）：分别从辅助非像素世界模型塑形与显式相机系对齐/重渲染角度利用第一视角人类视频的互补范式
• Qwen3-VL（Bai et al., 2025）/ DINOv3（Siméoni et al., 2025）/ SigLIP（Zhai et al., ICCV 2023）：支撑 CLAP-NTP 多模态推理主干与 VD-VAE 特征空间对比对齐的基础模型