HumanScale：第一视角人类视频在具身预训练中可以超越真机遥操作数据

论文：HumanScale: Egocentric Human Video Can Outperform Real-Robot Data for Embodied Pretraining

作者：Juncheng Ma*、Jianxin Bi*、Yufan Deng、Xuanran Zhai、Kewei Zhang、Ye Huang、Bo Liang、Shukai Gong、Jiankai Tu、Xiaotian Tang、Jiaxin Li、Kaiqi Chen、Duomin Wang、Yuqi Wang、Bingyi Kang、Eric Huang、Zhiyang Dou、Zhen Dong、Enze Xie、Wojciech Matusik、Tat-Seng Chua、Daquan Zhou†（* 共同一作，† 通讯作者）

机构：北京大学（PKU）、新加坡国立大学（NUS）、麻省理工学院（MIT）、加州大学圣塔芭芭拉分校（UCSB）、NVIDIA

发布时间：2026 年 6 月（arXiv 2606.20521v1）

发表状态：未录用（arXiv 预印本）

🔗 arXiv | PDF | 代码 (HumanNet)

分类标签：具身预训练 第一视角人类视频 World Action Model Mixture-of-Transformers 同规模受控对比 数据缩放定律 OOD 泛化

一句话总结

针对具身基础模型长期默认“真机遥操作轨迹是黄金预训练源、人类视频仅是廉价退而求其次替代品”的固有认知，开展首次严格锁定模型架构（基于 Wan 2.2 初始化的自回归 Mixture-of-Transformers 世界动作模型）、预训练时长规模（100h 至 5,000h）、下游后训练数据（AgiBot 15 任务 1,500 条轨迹）与评测协议的头对头（head-to-head）同规模受控实验：从百万小时级 HumanNet 中清洗并赋以人手重定向伪动作标签的 5,000 小时第一视角人类视频，不仅在数据获取成本与运动质量（抖动度、静止空闲率）上全面占优，更在同采样时长下展现出 25.6 倍的交互动词-物体对多样性（2,744 vs. 107）与 5.6 倍的单小时有效轨迹密度（4.5 万条/100h vs. 0.8 万条/100h）；实验证明，随着预训练规模增至 5,000 小时，第一视角人类预训练在分布内（Seen）与分布外（Unseen 25 项全新任务）均遵循清晰的对数线性缩放定律（$R^2=0.86$ 与 $0.94$，较无具身预训练基线损失分别降低 35% 与 24%），而同规模多构型真机预训练在未见任务上彻底停滞（5,000 小时下人类预训练 OOD 动作损失较真机预训练低约 20%，甚至超越 20,000 小时真机训练的 LingBot-VA）；在 AgiBot 双臂真机闭环评测中，人类视频预训练将域内成功率从 40.0% 提升至 92.5%（+52.5 个百分点），并在无预训练基线完全崩溃（0.0%）的未见物体 OOD 测试中保持 90.0%（+90.0 个百分点） 的极高稳健性。

一、问题与动机

1.1 具身基础模型预训练的核心张力：“运动学对齐”与“开放世界覆盖度”不可兼得

大语言模型与视觉-语言基础模型的成功建立在“被动采集的互联网级异构语料（提供广泛覆盖度）+ 经验缩放定律（保证算力与数据投入产出可预测）”之上。然而，当具身智能（包括 VLA 与新兴的世界动作模型 WAM）试图复制这一配方时，其主流数据源——真机遥操作轨迹（teleoperated real-robot trajectories）——却陷入了结构性死锁：

• 最契合下游部署对齐的数据，恰恰最缺乏预训练所需的开放世界覆盖度：遥操作数据虽拥有精确的末端/关节动作真值与天然的具身对齐（embodiment alignment），但必须依赖物理机器人、专职操作员、受控实验台与预设脚本主动生产（即便低成本 ALOHA 单工位硬件也需约 \$20k），导致总规模随预算和机器集群仅呈缓慢线性增长，且场景、物体与交互模式高度同质化。
• 既有第一视角人类视频研究尚未回答最根本的“同规模正面PK”问题：尽管近期工作（如 EgoMimic、Being-H0、EgoScale、EgoVerse 等）证实了人类视频可提供有益的具身先验，但社区始终缺乏一场在相同预训练时长、相同网络主干与相同后训练协议下，第一视角人类视频 vs. 多构型真机遥操作数据的严格控制变量对决——即：人类视频的覆盖度与信息密度红利，究竟能否在下游机器人策略中压倒真机数据的运动学精确对齐优势？

1.2 四维数据属性剖析与“预训练—后训练分工律”

论文沿着可获取规模（Accessible Scale）、采集成本与难度、运动质量以及单位时长多样性四个维度，对两类数据源进行了系统定量审计（Table 1 & Figure 2，在各自的 5,000 小时数据池中随机抽取约 2 小时子集进行受控统计）：

对比维度	具体量化指标	第一视角人类视频（HumanNet 子集）	多构型真机遥操作数据	结构性差异根因
全球供给量级	公开数据集聚合上限 / 单源上限	百万小时级（HumanNet 1,000,000 h，含 >800k h 第一视角；Egocentric-100K 达 100,405 h）	全部纯真机公开集总和仅 $\sim 2\times {10}^4$ h（DROID 350h，OXE 2k–3k h，AgiBot World 2,976h）	被动穿戴/网络汇聚（近零边际采集成本）vs. 硬件与人工线性绑定
信息密度	每 100 小时包含的有效轨迹条数	~45,000 条	~8,000 条（人类密度高 5.6 倍）	遥操作机械臂运动缓慢且夹杂大量停顿重置时间
运动平滑度	${\log }_{10}$ 归一化加加速度（Normalized Jerk $\downarrow$）	中位数 $\approx 7.3$（分布区间 $6.3$–$9.3$）	中位数 $\approx 11.0$（分布区间 $9.7$–$13.2$）	人类自然手眼协调平滑，遥操作存在控制延迟与微调抖动
动作有效率	静止空闲帧占比（Idle Fraction $\downarrow$）	$\approx 0\mathrm{\%}\text{–}1\mathrm{\%}$	中位数 $\approx 23\mathrm{\%}$（最高达 40%）	遥操作频繁出现操作员思考、视角确认与悬停等待
空间覆盖度	$XZ$ 工作空间分布与跨轮次位置离散度（$\uparrow$）	$X\in [-0.1,0.45]\text{ m},Z\in [-0.25,0.5]\text{ m}$；全程平均离散度 19–22 cm	局限于固定工位紧凑区；离散度仅 5–12 cm	日常自由移动交互 vs. 固定底座狭窄可达空间重复轨迹
语义与视觉覆盖	唯一动词-物体对 / 唯一场景语义词（$\uparrow$）	2,744 对交互词组 / 361 类场景词	107 对交互词组（差 25.6 倍）/ 156 类场景词	开放世界长尾自然行为 vs. 实验室预设脚本重复采集

下表进一步整理了论文 Table 1 对全球公开具身数据集供给格局的横向盘点（按规模排序，† 表示多源聚合数据集，‡ 表示含仿真轨迹）：

数据集类别	代表语料库	公开时长（Hours）	采集方式与硬件形态	场景与技能覆盖范围
第一视角人类视频	EgoDex	829	消费级头显（Vision Pro），原生手部追踪	194 项桌面精细操作任务
第一视角人类视频	Ego4D	3,670	931 名穿戴采集者，日常生活记录	全球 9 个国家、74 个地区
第一视角人类视频	Sekai	5,000+	互联网第一视角（POV）视频挖掘	全球户外步行与开放环境探索
第一视角人类视频	Xperience-10M	10,000	可穿戴设备采集，1,000 万次交互并带 3D/4D 标注	开放世界日常交互体验
第一视角人类视频	EgoScale†	20,854	多源第一视角聚合 + 22-DoF 手部运动学重定向	6,015 项长尾灵巧操作任务
第一视角人类视频	Egocentric-100K	100,405	14,228 名产业工人佩戴头戴智能眼镜	真实工厂车间与工业流水线作业
真机遥操作数据	DROID	350	50 名采集员历时 12 个月实地推车采集	564 个真实室内场景、84 项任务
真机遥操作数据	Galaxea Open-World	500	单一双臂轮式构型，真实生活空间采集	家庭、厨房、商超零售与办公环境
真机遥操作数据	MolmoAct2 BimanualYAM	720+	双臂 YAM 机械臂遥操作	目前最大规模开源纯双臂真机单集
真机遥操作数据	RoboMIND 2.0	1,000+	双臂移动操作遥操作，逾 31 万条轨迹	双臂协同与移动操作任务
真机遥操作数据	Open X-Embodiment†	~2,000–3,000	联邦聚合 60 个公开子集，逾 100 万条轨迹	22 种机器人构型、527 项操作技能
真机遥操作数据	AgiBot World	2,976	100 台双臂机器人集群采集，逾 100 万条轨迹	217 项任务、106 个场景、5 大行业域
真机遥操作数据	RoVid-X†‡	10,000+	开源机器人视频聚合（400 万段，含仿真）	1,300+ 项细粒度机器人技能
真机遥操作数据	Being-H0.5†‡	~35,000	聚合 OXE + AgiBot + RoboMIND + 仿真语料等	30 种机器人构型（含仿真轨迹）
闭源/百万级参照点	${\pi }_0$ 内部语料 / HumanNet	>10,000 / 1,000,000	7 类平台私有真机集群 / 互联网全量汇聚（>800k h 第一视角）	闭源不可获取 / 本文 5,000h 子集的母库

由此导出清晰的具身训练分工律（Division of Labor）：预训练阶段奖励的是开放世界覆盖度与非冗余信息密度（第一视角人类视频全面统治该象限），而其主要短板（具身与动作空间鸿沟）恰恰是后训练阶段擅长用少量高对齐真机数据修正的目标；反之，真机遥操作数据最强于后训练所需的精确对齐，却因结构性同质化而在预训练阶段过早饱和。

二、预备知识

2.1 世界动作模型（WAM）谱系与 Mixture-of-Transformers（MoT）自回归架构

具身基础模型主要分为两大架构家族：一类是在预训练 VLM 上直接挂载动作头的 VLA 模型（如 RT-2、${\pi }_0$、GR00T N1）；另一类是联合建模“未来世界视觉状态演化”与“控制动作生成”的世界动作模型（World-Action Models, WAMs，详见 WAM Survey）。在 WAM 家族内部：

• 联合去噪范式（如 DreamZero）：在单一扩散过程中同时去噪未来视频帧与动作序列；
• 训练时动力学塑形范式（如 Fast-WAM、EgoWAM）：训练期共训视频/世界预测与动作预测，推理期跳过未来生成以消除测试延迟；
• 因果自回归视频-动作范式（如 LingBot-VA，Li et al., 2026）：采用 Mixture-of-Transformers（MoT） 双专家架构，将负责视觉物理动力学预测的视频生成专家（Video Expert）与负责连续控制解码的动作推理专家（Action Expert）通过跨模态自注意力深度耦合，先自回归预测未来视频观测潜变量 ${\hat{\mathbf{v}}}_{t+1:t+K}$，再因果解码对应控制动作块 ${\hat{\mathbf{a}}}_{t:t+H}$。

本文选择以 Wan 2.2 开源大规模视频生成基座初始化的因果自回归 MoT WAM 作为统一实验载体。下表总结了论文第 5 节对比的三大具身架构范式在视觉动力学监督方式与推理特性上的核心差异：

架构家族与子范式	代表性模型	训练期视觉与动作耦合方式	推理期执行模式	对第一视角人类视频的吸收特性
纯 VLA 家族	RT-2、${\pi }_0$、GR00T N1、LingBot-VLA	VLM 编码当前帧，仅对动作头计算离散交叉熵或流匹配损失	直接解码动作块（低延迟）	仅能利用伪动作标签，未直接利用未来帧像素状态转移信号
联合去噪 WAM	DreamZero	在单一扩散过程中同时联合去噪未来视频潜变量与动作块	同步生成未来画面与动作	稠密吸收视觉演化，但测试时迭代视频去噪带来显著延迟
仅训练塑形 WAM	Fast-WAM、EgoWAM	训练期共享主干并列预测未来表征与动作	推理期跳过视频生成直接出动作	证明视频建模的核心收益在于训练期塑形物理表征
因果自回归 MoT WAM	LingBot-VA、HumanScale（本文）	MoT 视频专家与动作专家跨层注意力耦合，先生成未来视频再因果解码动作	因果想象未来观测并引导动作推理	视频专家提供极强的开放世界物理动力学先验，最大化释放人类视频红利

2.2 轨迹运动质量与跨轮次空间多样性度量（HumanEgo 审计协议）

为在同等采样时长下客观量化“人类视频 vs. 真机遥操作”的单轨迹信息质量与集合非冗余度，本文沿用 HumanEgo（Wang et al., 2025）定义的三类核心物理统计量（设单条末端三维位置轨迹为 $\mathbf{p}(t)\in {\mathbb{R}}^3,t\in [0,T]$，路径总弧长为 $L={\int }_0^T\parallel \dot{\mathbf{p}}(t){\parallel }_2\mathrm{d}t$）：

1. 无量纲归一化加加速度（Normalized Jerk，衡量运动平滑度）：消除轨迹总时长 $T$ 与移动幅度 $L$ 的量纲干扰，积分三阶导数（加加速度）能量并取常用对数，数值越低代表运动越平滑自然、越少高频控制震颤：

$$\mathrm{NJ}={\log }_{10}(\frac{T^5}{2L^2}{\int }_0^T\Vert \stackrel{⃛}{\mathbf{p}}(t){\Vert }_2^2\mathrm{d}t)$$

2. 动作静止空闲率（Action Idle Fraction）：统计轨迹中瞬时线速度与角速度低于运动阈值的静止帧占比 $\frac{1}{N}\sum _{t=1}^N\mathbb{I}(\parallel \mathrm{\Delta }{\mathbf{p}}_t{\parallel }_2\le {ϵ}_v)$。遥操作数据因操作员观察确认与主从延迟，高达约 23% 的帧处于零信息悬停状态。
3. 跨轮次归一化时间位置离散度（Inter-Session Positional Spread）：将 $M$ 条不同演示重参数化至归一化进度时间 $\tilde{t}\in [0,1]$，计算各进度点上的三维空间标准差 $\sigma (\tilde{t})=\sqrt{\frac{1}{M}\sum _{m=1}^M\parallel {\mathbf{p}}_m(\tilde{t})-\overline{\mathbf{p}}(\tilde{t}){\parallel }_2^2}$。人类数据在 $\tilde{t}\in [0,1]$ 全程维持 19–22 cm 的宽广散布，而真机数据在起止点附近坍缩至不足 5 cm，暴露出窄流形重复采样的结构性瓶颈。

三、核心方法

3.1 基于 Wan 2.2 的自回归 MoT 世界动作模型

HumanScale 采用统一的自回归 MoT 世界动作模型 ${\mathcal{M}}_{\theta }=({\mathcal{E}}_{\text{video}},{\mathcal{E}}_{\text{action}})$ 处理第一视角人类视频与多构型机器人轨迹。给定截至当前步的视觉观测历史 ${\mathbf{o}}_{\le t}$ 与文本指令 $l$，模型按因果顺序先由视频专家预测未来视频潜变量序列 ${\mathbf{v}}_{t+1:t+K}$，再由动作专家条件化推断后续动作块 ${\mathbf{a}}_{t:t+H}$：

$$p_{\theta }({\mathbf{v}}_{t+1:t+K},{\mathbf{a}}_{t:t+H}\mid {\mathbf{o}}_{\le t},l)=p_{\theta }({\mathbf{v}}_{t+1:t+K}\mid {\mathbf{o}}_{\le t},l)p_{\theta }({\mathbf{a}}_{t:t+H}\mid {\mathbf{v}}_{t+1:t+K},{\mathbf{o}}_{\le t},l)$$

1. 双专家初始化策略：
   • 视频专家（Video Expert ${\mathcal{E}}_{\text{video}}$）：直接继承预训练 Wan 2.2 视频扩散生成模型的权重，提供强大的开放世界视觉表征与时空运动生成起点；
   • 动作专家（Action Expert ${\mathcal{E}}_{\text{action}}$）：通过参数插值（interpolation）策略初始化，与视频专家在共享注意力层交互，读取历史视觉上下文、语言任务指令及预测的视频动力学状态。
2. 统一流匹配动作与视频联合训练目标：在预训练与后训练阶段，模型联合优化未来视频潜变量的流匹配/扩散重建 $L_2$ 损失 ${\mathcal{L}}_{\text{video}}$ 与连续末端动作块的流匹配速度场 $L_2$ 损失 ${\mathcal{L}}_{\text{action}}$：

$${\mathcal{L}}_{\text{WAM}}(\theta )={\mathcal{L}}_{\text{video}}(\theta )+\lambda {\mathcal{L}}_{\text{action}}(\theta ),{\mathcal{L}}_{\text{action}}(\theta )={\mathbb{E}}_{\tau ,\mathit{ϵ}}[\Vert {\mathbf{u}}_{\theta }({\mathbf{a}}^{\tau },\tau ,{\mathbf{c}}_t)-(\mathbf{a}-\mathit{ϵ}){\Vert }_2^2]$$

其中 ${\mathbf{a}}^{\tau }=(1-\tau )\mathit{ϵ}+\tau \mathbf{a}$ 为加噪动作序列，${\mathbf{c}}_t$ 为融合文本指令与视觉观测的 MoT 上下文表征。

用大白话说：为什么用带视频预测专家的 WAM 来吃人类视频效果特别猛？因为从单目人类视频里重定向算出来的“伪机械臂末端位姿 + 伪夹爪开合”不可避免带有几何近似误差；如果只训纯动作头，模型只能硬拟合这些带噪伪标签。但 MoT WAM 同时逼着模型去预测“手伸过去之后杯子和果蔬在画面里怎么动”（${\mathcal{L}}_{\text{video}}$），这就把成千上万种真实物体的物理交互规律完完整整灌进了共享主干，到了后训练阶段再用 1,500 条干净真机轨迹把动作专家“校准”一下，泛化威力就彻底爆发了。

3.2 严格隔离分布偏移的两阶段受控实验设计

为确保下游表现差异 100% 归因于预训练数据源本身的质量，论文围绕“逐阶段受控分布偏移 + 严格任务隔离防泄漏”原则设计了完整管线：

1. Stage 1：同规模（100h / 500h / 1,000h / 2,000h / 5,000h）平行预训练

   • 第一视角人类预训练池（Egocentric，5,000 h）：从 HumanNet 逾 80 万小时第一视角语料中按物体、技能与环境多样性最大化原则清洗筛选出 5,000 小时高质量操作片段；通过手部姿态追踪与运动学重定向提取逐片段末端执行器 6-DoF 位姿与二值夹爪状态作为伪动作标签（pseudo-action labels），使其与真机数据处于完全一致的动作空间。
   • 多构型真机预训练池（Real-Robot，5,000 h）：聚合多个公开真机遥操作数据集，包含精确的末端位姿与夹爪真值标签。核心防泄漏控制：从 100 小时扩展至 5,000 小时的全过程中，严格保证真机预训练任务集合与 Stage-2 后训练任务及下游 OOD 评测任务完全不相交（strictly disjoint），彻底杜绝因任务重叠带来的捷径分数。

2. Stage 2：完全锁定的下游真机后训练（Fixed Post-Training）

   • 从 AgiBot World 中精选背景与物体实例更丰富的 15 项双臂操作任务，每项任务固定 100 条专家遥操作演示（总计 1,500 条真机轨迹）；对所有预训练检查点及无预训练基线施加完全相同的后训练数据、计算预算与超参数。

3. 双拆分验证协议（Seen vs. Unseen Splits）与强基线参照

   • Seen 拆分（分布内泛化，15 项任务）：取自上述 15 项后训练任务的保留测试轨迹，包含后训练未见过的物体实例与位置变化；
   • Unseen 拆分（分布外外推，25 项全新任务）：取自 AgiBot World 中从未在 Stage-1 或 Stage-2 出现过的 25 项全新操作任务，直接检验预训练习得的开放世界先验向新技能场景的外推能力；
   • 双参照基线：① Wan 2.2（无具身预训练）：直接从 Wan 2.2 初始化进入 Stage-2 后训练；② LingBot-VA（4 倍规模真机强基线）：在 20,000 小时真机数据上微调 Wan 2.2 得到的具身预训练模型。

3.3 从采集瓶颈到算力清洗：第一视角语料治理与伪标签管线

如第 2.2 节所述，用第一视角人类视频替代遥操作预训练并非“零成本”，而是将成本结构从随小时数线性递增的硬件折旧与人工遥操作劳动，转化为一次性、可全自动批处理的离线算力治理管线（HumanNet 数据引擎）：

• （1）多维质量过滤（Filtering）：剔除镜头严重模糊、无手物交互、纯步行或视角剧烈失稳的低信息量片段，保留手部清晰可见且存在明确物体状态改变的操作区间；

• （2）语义与视觉去重（Deduplication）：基于场景与动词-物体交互描述进行覆盖度导向采样，避免单一高频日常动作挤占 5,000 小时预算，确保边际每小时持续引入新场景与新交互；

• （3）隐私合规审查（Privacy Review）：针对网络汇聚与日常穿戴画面执行自动化脱敏与合规筛查；

• （4）手部姿态重定向伪动作标注（Pseudo-Action Labeling via Hand-Pose Retargeting）：对筛选出的片段运行三维手部姿态估计器，并将手腕轨迹与指间闭合状态重定向至与机器人一致的“6-DoF 末端位姿 + 夹爪状态”伪动作空间，使 Stage-1 人类视频与真机轨迹共享完全相同的输入输出张量签名。

四、实验结果

4.1 人类视频预训练的对数线性缩放定律 vs. 真机预训练的 OOD 停滞（Q1 & Q2）

在后训练全程评估检查点并记录各模型在 Seen（15 任务）与 Unseen（25 任务）验证集上达到的最低流匹配动作 $L_2$ 损失（Figure 3 & Figure 4）：

预训练数据源与规模	Seen Tasks（15 项域内任务）最优动作损失 $L_2\downarrow$	相对 Wan 2.2 降幅	Unseen Tasks（25 项未见 OOD 任务）最优动作损失 $L_2\downarrow$	相对 Wan 2.2 降幅	缩放行为诊断
Wan 2.2（0 h，无具身预训练基线）	$\approx 0.0103$	—	$\approx 0.0269$	—	无具身先验参照线
LingBot-VA（20,000 h 真机预训练参照）	$\approx 0.0098$	~5%	$\approx 0.0232$	~14%	4 倍真机时长仍受限于场景同质化
Real-Robot Pretrain（100 h）	$\approx 0.0094$	~9%	$\approx 0.0259$	~4%	域内起步尚可，OOD 几乎无增益
Real-Robot Pretrain（1,000 h）	$\approx 0.0078$	~24%	$\approx 0.0275$	-2%	域内继续下降，OOD 损失反升停滞
Real-Robot Pretrain（5,000 h）	$0.0071$	~31%	$0.0254$	~6%	OOD 彻底卡死在 $\approx 0.025$ 平台
Egocentric Pretrain（100 h）	$0.0080$	~22%	$0.0234$	~13%	仅 100h 即逼平 20k h 的 LingBot-VA
Egocentric Pretrain（500 h / 1,000 h / 2,000 h）	$\approx 0.0077$ / $0.0076$ / $0.0074$	~25%–28%	$\approx 0.0227$ / $0.0223$ / $0.0212$	~16%–21%	随数据扩增稳定单调下降
Egocentric Pretrain（5,000 h，HumanScale）	$0.0067$	-35%	$0.0204$	-24%（较同规模真机低 ~20%）	全量程对数线性下降，未现饱和

拟合 100 小时至 5,000 小时区间内第一视角人类预训练的最优后训练动作损失曲线（Figure 3），得到两条斜率显著为负的对数线性缩放方程：

$${\mathcal{L}}_{\text{seen}}(D)=0.0094-0.0003\ln (D)(R^2=0.86),{\mathcal{L}}_{\text{unseen}}(D)=0.0273-0.0008\ln (D)(R^2=0.94)$$

这组对照实验揭示了极具冲击力的核心发现：

1. 域内迁移两者旗鼓相当，人类数据略胜一筹：在 15 项已见任务上，真机预训练随规模从 100h 增至 5,000h 能稳步降至 $0.0071$，证明运动学对齐先验对分布内微调确实有效；但人类预训练凭借更通用的底层表征初始化，在所有规模点上依然压制真机曲线并达到最低损失 $0.0067$。

2. 分布外（OOD）泛化出现本质分野：即便真机数据量扩大 50 倍（100h → 5,000h），其在 25 项未见任务上的验证损失始终在 $0.025$–$0.027$ 之间原地踏步（5,000h 为 $0.0254$）；反观第一视角人类预训练以 $R^2=0.94$ 的高拟合度单调下探至 $0.0204$，在 5,000 小时同规模下较真机预训练降低 19.7%（约 20%），甚至仅用 500 小时人类视频就超越了 20,000 小时真机训练的 LingBot-VA！这直接证明真机数据的泛化瓶颈并非“采集量还不够大”，而是实验室受限环境与脚本化任务带来的结构性冗余。

3. 后训练全程验证曲线动态剖析（Figure 4）：观察 100h、1,000h 与 5,000h 预训练模型在 Stage-2 后训练全过程的完整验证损失轨迹可以发现：

   • 在 Seen（分布内）验证曲线上，Wan 2.2 无预训练基线起步损失极高且收敛缓慢；人类与真机预训练均在后训练早期迅速下探，其中 5,000h Egocentric 全程位于所有曲线最下方，未出现窄域预训练常见的早期过拟合反弹。
   • 在 Unseen（分布外 25 任务）验证曲线上，100h / 1,000h / 5,000h Real-Robot 三条橘色曲线在整个后训练周期内彼此纠缠在 $\approx 0.025\text{–}0.028$ 高位带，几乎与无预训练 Wan 2.2 重合；而 100h $\to$ 1,000h $\to$ 5,000h Egocentric 三条蓝色曲线则形成清晰的阶梯式整体下移，从后训练第一步起就把开放世界先验优势保持到了收敛终点。

用大白话说：为什么 500 小时人类视频在未见任务上就能打赢 20,000 小时真机数据训出来的 LingBot-VA？算一笔有效信息账就明白了：100 小时人类视频里有 4.5 万条丝滑连贯的交互轨迹（几乎 0% 发呆），2 小时里就涵盖了 2,744 种“动词-物体”组合；而真机遥操作不仅慢了 5.6 倍（100 小时仅 8,000 条轨迹、近四分之一时间在悬停发呆），还翻来覆去在几十张固定实验桌上摆弄同一批道具（仅 107 种交互组合）。预训练拼的不是“伪标签有多准”，而是“见过的物理世界有多宽”！

4.2 AgiBot 双臂真机闭环评测与后训练收敛动力学

为验证离线流匹配验证损失的下降能否真正转化为物理世界闭环执行优势，论文在 AgiBot 双臂机器人平台上围绕三项代表性操作任务开展真机 Rollout（Figure 5 & Table 2）：

• Place Cups（放杯入杯垫）、Pick Up / Sort Fruits & Vegetables（果蔬抓取分拣） 与 Apply Stamps（印章盖印）；
• 每项任务均分别在 In-Distribution（ID，后训练已见物体）与 Out-of-Distribution（OOD，颜色、材质与几何尺寸发生显著变化的全新未见物体实例，Figure 5）两种设置下对比 Wan 2.2 无具身预训练基线与 5,000h Egocentric 预训练模型（两者经历完全相同的 10k 步后训练）：

后训练收敛与真机指标（Figure 6 & Table 2）	Wan 2.2（无具身预训练基线）	Egocentric（5,000 h 人类视频预训练）	相对增益 / 变化率
果蔬分拣后训练收敛动作损失（Training Action $L_2\downarrow$）	高位平台（$\sim {10}^{-2}$ 量级）	全程压制，收敛值低约 $2.4\times$	下游动作空间拟合难度大幅降低
果蔬分拣后训练收敛视频损失（Training Video $L_2\downarrow$）	$\approx 0.12\text{–}0.22$	起步更低，稳定收敛至 $\approx 0.105$	开放世界物理视觉动力学先验直接迁移
三任务平均域内真机成功率（In-Distribution SR $\uparrow$）	40.0%	92.5%	+52.5 个百分点（相对提升 2.31×）
三任务平均未见物体成功率（Out-of-Distribution SR $\uparrow$）	0.0%（-40.0 pp 崩溃）	90.0%（仅较 ID 微降 -2.5 pp）	+90.0 个百分点（彻底克服窄域视觉过拟合）

无具身预训练的 Wan 2.2 严重过拟合后训练窄域视觉分布，一旦更换未见物体实例即跌至 0.0%；而经 5,000 小时野外人类视频塑形的模型在未见物体上依然维持 90.0% 的成功率，证明开放世界视觉-交互先验成功跨越了具身鸿沟并落地为物理鲁棒性。

定性 Rollout 轨迹对比（Figure 5）清晰展示了上述崩溃与鲁棒性的物理成因：

• 无预训练基线的典型失效：在未见形状与颜色的果蔬、杯具或印章面前，由于缺乏开放世界物体可供性先验，基线模型频繁出现视觉定位漂移、悬空漏抓（missed grasp）或在放置阶段偏离目标杯垫/容器边缘；
• 人类预训练策略的跨实例稳定性：经 5,000 小时日常手物交互塑形后，策略不仅能准确识别未见果蔬与器皿的几何抓取部位，还能在双臂协同定位与印章垂直按压过程中保持极高的轨迹一致性。

五、局限性与未来方向

1. 受限于真机对照集供给，匹配规模上限暂停留在 5,000 小时：为维持严格的 1:1 同规模公平对比，实验天花板被公开非重叠真机数据的可用总量卡在 5,000 小时；而 HumanNet 本身拥有超 80 万小时第一视角视频，向十万小时级扩展的缩放曲线尚待测绘。
2. 真机闭环评测尚未覆盖“5,000h 真机预训练”同台真机打榜：Section 4.2 在 40 项 AgiBot 任务（15 Seen + 25 Unseen）的离线动作验证损失上完成了 Ego vs. Robot 全量对比，但 Section 4.3 的物理真机上机仅对比了 Egocentric 与 Wan 2.2 无预训练基线，未来补充 5,000h 真机预训练检查点的物理 OOD 上机率将使证据链更加无懈可击。
3. 结论目前基于自回归 MoT WAM 架构，待向纯 VLA 家族平行验证：WAM 的稠密视频生成损失天然擅长从人类视频中榨取物理状态转移信号；不带视频预测头的纯 VLA 架构在同等受控条件下是否具备同样幅度的对真机数据反超能力，作者已列为正在推进的后续工作。

六、个人思考

1. 打破“真机数据至上论”的里程碑式受控实证：长期以来，机器人社区潜意识里把数据分成三六九等——目标真机遥操作是“一等公民”，跨构型真机数据是“二等公民”，人类第一视角视频只是因为买不起几百台机器人而凑合用的“三等代餐”。HumanScale 用最硬核的同规模控制变量实验直接掀翻了这套鄙视链：在预训练阶段，1 小时人类日常视频的信息含金量（450 条平滑无空闲轨迹、25 倍交互语义组合）远高于 1 小时实验室遥操作（80 条慢速多停顿重复轨迹），以至于 500 小时人类视频在未见任务上的先验质量就能击败 20,000 小时真机数据训出的 LingBot-VA。
2. 为什么 HumanScale 里的像素级视频专家（Wan 2.2）在人类视频上极其成功，而 EgoWAM 里的 Pixel-PT 却表现不佳？ 将两篇同年工作对比阅读能看清一个极关键的架构边界：EgoWAM 是在单任务从头共训阶段把 10:1 人类数据与目标机器人数据混在一起联合训练单主干，此时人手皮肤与头部晃动会通过像素重建梯度干扰当前策略；而 HumanScale 走的是“大规模异构预训练（5,000h 人类视频全量塑形 MoT）$\to$ 纯真机后训练（1,500 条 AgiBot 轨迹专门做具身对齐）”的两阶段解耦路线！在预训练阶段允许 Wan 2.2 视频专家充分吸收数千种场景和物体的物理动力学，到了后训练阶段已不再混入人手像素，从而完美规避了人机外观纠缠。这也与 EgoScale“先 20k 小时人类预训练、再轻量对齐”的哲学殊途同归。
3. 对构建下一代具身数据引擎的直接工程指导：HumanScale 给出的四维数据体检指标（归一化 Jerk、空闲帧率、跨轮次空间离散度、唯一动词-物体对与场景词增速）完全可以作为采集前的数据质量准入探针。与其斥巨资扩建几百个同质化实验室桌面工位反复刷已有任务时长（只会导致 OOD 损失像 Fig. 3 右图橘线那样彻底躺平），不如把真机预算集中用于打造高精度的后训练/中期对齐锚点集（如 EgoScale 的 Stage II 或 Qwen-RobotManip / Emergence-H2R 的对齐混合配方），而把开放世界泛化的重任交给十万小时级精筛第一视角人类视频。

参考

• HumanNet（Deng & Zhou, 2026, arXiv:2605.06747）：本文筛选 5,000 小时高多样性第一视角预训练子集所依托的百万小时级人类活动视频语料库
• Wan 2.2（Team Wan, 2025）/ LingBot-VA（Li et al., 2026）：本文自回归 MoT 世界动作模型所基于的视频生成基座及 20k 小时真机预训练因果 WAM 对照强基线
• AgiBot World（AgiBot World Contributors, 2025）：本文用于构建 15 项后训练任务（Seen）与 25 项未见评测任务（Unseen）的大规模双臂真机数据集与硬件平台
• EgoScale（Zheng et al., CoRL 2026）：在 20,854 小时人类视频上验证 22-DoF 灵巧手 VLA 对数线性缩放定律与中期对齐配方的互补代表作
• Emergence-H2R（Kareer et al., RSS 2026）：从预训练多样性阈值角度揭示 VLA 模型（${\pi }_{0.5}$）涌现人机迁移能力的机理研究
• Being-H0 / Being-H0.5 / EgoVerse：利用大规模人类视频蒸馏手部运动先验与构建开放世界具身语料的平行探索
• Fast-WAM / EgoWAM / WAM Survey：关于世界动作模型训练期表征塑形机制与跨具身世界预测空间选择的深入分析