GR00T N1：面向通用人形机器人的开源双系统 VLA 基础模型与数据金字塔

论文：GR00T N1: An Open Foundation Model for Generalist Humanoid Robots

作者：NVIDIA（Johan Bjorck, Fernando Castañeda, Nikita Cherniadev, Xingye Da, Runyu Ding, Linxi "Jim" Fan, Yu Fang, Dieter Fox, Fengyuan Hu, Spencer Huang, Joel Jang, Zhenyu Jiang, Jan Kautz, Kaushil Kundalia, Lawrence Lao, Zhiqi Li,宗 Zherong Liu, Soroush Nasiriany, Scott Reed, Guanzhi Wang, Zhenjia Xu, Yuke Zhu 等 43 位核心贡献者）

机构：NVIDIA Research & GEAR Lab

发布时间：2025 年 3 月（arXiv:2503.14734）

发表状态：arXiv Preprint（NVIDIA 官方开源人形机器人基础模型技术报告）

链接：arXiv | PDF | 代码

分类标签：Humanoid VLA Dual-System Architecture Flow Matching DiT Data Pyramid Latent Actions (LAPA) Neural Trajectories DexMimicGen

一句话总结

提出首个面向通用人形机器人的开源视觉-语言-动作基础模型 GR00T-N1-2B（2.2B 参数）：在架构上采用端到端联合训练的快慢双系统设计——以 NVIDIA Eagle-2 VLM（1.34B，提取第 12 层中间特征） 作为慢思考语义感知模块（System 2），以交替交叉/自注意力的流匹配扩散 Transformer（DiT） 作为快思考高频动作生成模块（System 1，4 步欧拉积分仅需 63.9 ms）；在数据上构建总计 8,375.7 小时（5.93 亿帧） 的三层异构数据金字塔（底层 2,517 小时无标签人类第一视角视频经 VQ-VAE 提取跨本体潜在动作 + 中层 1,743 小时 DexMimicGen 仿真轨迹与 827 小时 Wan2.1 神经生成反事实视频轨迹 + 顶层 3,289 小时多本体真机遥操作数据），在三大仿真基准及 Fourier GR-1 真机双臂灵巧操作（含多机协同）上以 10% 极少样本（42.6% vs 10.2%） 和全量样本（76.8% vs 46.4%）大幅超越 Diffusion Policy。

核心贡献

1. 中间层特征耦合的双系统流匹配 VLA 架构（Eagle-2 + Flow-Matching DiT）：将负责多模态理解的 Eagle-2 VLM（SmolLM2 + SigLIP-2） 与负责连续动作分块生成的 DiT 紧耦合端到端训练；发现提取 VLM 第 12 层（中间层） 而非最后一层嵌入作为 DiT 交叉注意力条件，既能显著加快推理速度（单张 L40 GPU 生成 16 步动作仅需 63.9 ms），又能提升下游操作成功率，并辅以基于 OWL-v2 伪标签的 2D 目标中心检测辅助损失强化空间定位。
2. 构建 8,376 小时三层“数据金字塔（Data Pyramid）”与统一伪动作标注管线：打破真机遥操作数据随人力线性增长的瓶颈，将异构数据源统一纳入同一流匹配训练框架：
   • 跨本体 VQ-VAE 潜在动作（Latent Actions, LAPA）：在全部人类视频与机器人视频帧对 $(x_t,x_{t+H})$ 上联合训练 VQ-VAE 逆动力学编码器，提取量化前连续潜在向量作为无动作人类视频的伪动作标签（视为虚拟的 "LAPA" 本体）；
   • 10$\times$ 视频生成神经轨迹扩增（Neural Trajectories）：在 88.4 小时自采 GR-1 真机数据上用 LoRA 微调 Wan2.1-I2V-14B，生成 827.3 小时 覆盖新指令与反事实场景的合成机器人视频，经多模态大模型（MLLM）过滤重标注后，由流匹配逆动力学模型（IDM） 与 LAPA 自动补全动作标签；
   • DexMimicGen 大规模仿真扩增：仅用 11 小时自动合成 78 万条（相当于 6,500 小时连续人类演示）双臂与五指灵巧手仿真轨迹。
3. 跨本体统一数据规范（扩展 LeRobot 格式）与真机多机协同验证：提出基于 6D 旋转状态 + 轴角动作 + modality.json 语义字段切分的跨本体标准化规范，在 Fourier GR-1 真机上实现了零样本双手交接（Handover，成功率 76.6%）与双人形机器人接力倾倒协同（成功率 82.5%）。

1. 模型架构：System 2 + System 1 双系统流匹配设计

1.1 视觉-语言感知模块（System 2：NVIDIA Eagle-2 VLM）

GR00T-N1-2B 总参数量为 2.2B，其中 System 2 选用预训练的 NVIDIA Eagle-2（1.34B） 视觉-语言模型（由 SigLIP-2 视觉编码器与 SmolLM2 语言模型对齐构成）：

• 视觉 Token 压缩（Pixel Shuffle）：输入图像统一缩放至 $224\times 224$ 分辨率，经 SigLIP-2 编码后执行 Pixel Shuffle 下采样，使每帧图像仅生成 $64$ 个视觉 Token，大幅降低多视角或历史帧输入的序列长度；
• 中间层（第 12 层）特征截断提取：将图像 Token 与任务语言指令按对话格式送入 Eagle-2 的 LLM 中。作者通过消融发现，直接截取 LLM 第 12 层（中间层） 输出的多模态隐藏表征 ${\varphi }_t\in {\mathbb{R}}^{B\times S\times d}$，比使用最后一层表征具有更保留底层空间几何细节的优势，且省去了后半部分 LLM 层的计算开销。
• 辅助 2D 目标检测损失（Auxiliary Object Detection Loss，附录第 5 节）：为强化视觉-语言表征的空间接地能力，训练期利用开放词汇检测器 OWL-v2 自动标注指令目标物体的边界框归一化中心坐标 ${\mathbf{x}}_{\text{gt}}\in [0,1{]}^2$，在 ${\varphi }_t$ 顶部附加线性层预测 ${\mathbf{x}}_{\text{pred}}$，施加均方误差辅助监督：

$${\mathcal{L}}_{\text{det}}(\theta )={\Vert {\mathbf{x}}_{\text{pred}}-{\mathbf{x}}_{\text{gt}}\Vert }_2^2$$

1.2 动作流匹配生成模块（System 1：Diffusion Transformer）

为了同时适配单臂夹爪、双臂夹爪、双臂灵巧手以及全身人形机器人（手臂 + 五指灵巧手 + 腰部 + 颈部）等维度迥异的本体，System 1 采用 本体感知编码器/解码器 + 共享 DiT 主干 的模块化架构：

1. 本体专属状态与动作编码器（Embodiment-Specific State & Action Encoders）：针对第 $m$ 种机器人本体，分别使用独立的 MLP 将本体状态 $q_t$ 映射为状态嵌入，并将加噪动作分块 $A_t^{\tau }=[a_t^{\tau },\dots ,a_{t+H-1}^{\tau }]$（分块长度 $H=16$）与流匹配时间步 $\tau \in [0,1]$ 共同映射为动作 Token 嵌入；
2. 交替自注意力与交叉注意力 DiT 主干：DiT 网络 $V_{\theta }$ 由交替堆叠的自注意力块（Self-Attention） 与交叉注意力块（Cross-Attention） 组成（通过自适应层归一化 AdaLN 注入时间步 $\tau$）：
   • 自注意力块在拼接后的 [状态嵌入 $q_t$, 加噪动作嵌入 $A_t^{\tau }]$ 序列内部交互；
   • 交叉注意力块以状态-动作序列为 Query，以 Eagle-2 第 12 层输出的视觉-语言特征 ${\varphi }_t$ 为 Key / Value 进行条件注入；
   • 最终输出的 $H$ 个动作 Token 经本体专属的 Action Decoder MLP 还原为目标本体的动作维度。
3. 动作流匹配（Action Flow Matching）训练与 4 步快速采样：
   • 给定真实动作分块 $A_t$、高斯噪声 $ϵ\sim \mathcal{N}(\mathbf{0},\mathbf{I})$ 以及从偏置 Beta 分布 $p(\tau )=\mathrm{Beta}(\frac{s-\tau }{s};1.5,1)$（$s=0.999$，同 ${\pi }_0$）采样的流时间步 $\tau \in [0,1]$，构造线性插值加噪动作 $A_t^{\tau }=\tau A_t+(1-\tau )ϵ$，训练 $V_{\theta }$ 预测去噪速度场 $(ϵ-A_t)$（总损失 $\mathcal{L}={\mathcal{L}}_{\text{fm}}+{\mathcal{L}}_{\text{det}}$）：

$${\mathcal{L}}_{\text{fm}}(\theta )={\mathbb{E}}_{\tau ,ϵ\sim \mathcal{N}(\mathbf{0},\mathbf{I})}\left[{\Vert V_{\theta }({\varphi }_t,A_t^{\tau },q_t)-(ϵ-A_t)\Vert }_2^2\right]$$

• 推理期前向欧拉积分（$K=4$ 步）：从 $A_t^0\sim \mathcal{N}(\mathbf{0},\mathbf{I})$ 出发，仅需执行 $K=4$ 步 前向欧拉更新即可生成平滑的 16 步动作分块（在 L40 GPU bf16 下耗时仅 63.9 ms）：

$$A_t^{\tau +1/K}=A_t^{\tau }+\frac{1}{K}{V}_{\theta }({\varphi }_t,A_t^{\tau },q_t),K=4$$

2. 三层异构数据金字塔与无动作视频伪标注管线

GR00T N1 的预训练语料库总规模达 5.929 亿帧（8,375.7 小时）（附录表 6），按金字塔结构自底向上分为三层：

金字塔层级	数据类别与核心数据集构成	总帧数	总时长 (小时)	动作监督信号来源
底层（Base）	人类第一视角视频（7 大数据集）：Ego4D (2,144.7h)、HoloAssist (169.6h)、Ego-Exo4D (123.0h)、EPIC-KITCHENS (31.7h)、Assembly-101 (19.3h)、RH20T-Human (16.3h)、HOI4D (12.4h)	181.3M	2,517.0 h	VQ-VAE 跨本体潜在动作（LAPA）
中层（Middle）	物理仿真轨迹：基于 DexMimicGen 自动扩增的 GR-1 桌面操作（54 种容器组合 $\times$ 1 万条 = 54 万条预训练轨迹）	125.5M	1,742.6 h	仿真器精确关节/末端动作 + LAPA
中层（Middle）	神经生成视频轨迹（Neural Trajectories）：微调 Wan2.1-I2V-14B 将 88.4h 真机数据扩增近 $10\times$（消耗 10.5 万 L40 GPU 小时）	23.8M	827.3 h	流匹配逆动力学模型（IDM） + LAPA
顶层（Peak）	多本体真机遥操作数据：AgiBot-Alpha (1,979.4h)、OpenX 子集（DROID 428.3h、RT-1 338.4h、Language Table 195.7h、Bridge-v2 111.1h、RoboSet 78.9h、RH20T 62.5h）、自采 Fourier GR-1 真机遥操作（88.4h，20Hz）	262.3M	3,288.8 h	真机真实动作标签 + LAPA
总计	横跨人类、仿真、神经生成与多构型真机的统一预训练语料	592.9M	8,375.7 h	统一流匹配目标 ${\mathcal{L}}_{\text{fm}}$

2.1 跨本体统一潜在动作提取（VQ-VAE Latent Actions / LAPA）

为了从没有动作标签的 2,517 小时人类视频和 827 小时神经生成视频中提取运动控制先验，作者在所有数据（人类 + 机器人）上联合训练了一个基于 VQ-VAE 的逆动力学自编码器（遵循 LAPA 范式）：

• 编码器（Inverse Dynamics Encoder）：输入同一视频中相隔固定窗口 $H$ 的当前帧 $x_t$ 与未来帧 $x_{t+H}$，输出连续潜在表征并映射至码本（Codebook）最近邻得到潜在动作 $z_t$；
• 解码器（Forward Dynamics Decoder）：给定当前帧 $x_t$ 与潜在动作 $z_t$ 重建未来帧 $x_{t+H}$；
• 作为虚拟 "LAPA" 本体参与预训练：VQ-VAE 训练完成后，固定编码器，对任意视频帧对 $(x_t,x_{t+H})$ 提取量化前的连续潜在向量（Pre-quantized Continuous Embedding） 作为伪动作标签，将其视为一个名为 "LAPA" 的独立本体，分配专属的 Action Encoder / Decoder MLP，与真机动作一起通过同一个流匹配损失 ${\mathcal{L}}_{\text{fm}}$ 训练 DiT。可视化（图 3）证实，相近的潜在动作向量在人类手臂、单臂 Panda 与双臂 GR-1 人形机器人上对应着完全一致的物理运动方向（如“右臂向左平移”）。

2.2 视频生成神经轨迹（Neural Trajectories）与流匹配 IDM 伪标注

为解决真机长尾场景与新指令数据匮乏问题，作者提出了一套全自动 “视频世界模型想象 + MLLM 质检 + IDM 逆动力学反解” 数据合成管线：

1. 反事实指令生成與视频合成：给定自采真机轨迹的初始帧 $x_0$，先用商用多模态大模型（MLLM）识别桌面物体并组合出物理可行的新指令（"pick up {object} from {location A} to {location B}"），随后驱动经 LoRA 微调的 Wan2.1-I2V-14B（480P，81 帧）合成全新的机器人执行视频；对于多视角任务，还将 4 个相机视角拼接成 $2\times 2$ 网格视频进行联合生成；
2. MLLM 视觉裁判过滤与重标注：从生成视频中均匀采样 8 帧交由 MLLM 裁判检验是否严格遵循指令；对未通过检验但动作合理的视频，下采样至 16 帧（256P）由 MLLM 重新生成匹配的语言描述（Re-captioning）；
3. 流匹配逆动力学模型（IDM）打标：在目标本体的真实少量数据上，利用与 System 1 相同的 SigLIP-2 + DiT 架构训练一个条件于首尾两帧 $(x_t,x_{t+H})$ 的流匹配逆动力学模型 $\mathrm{IDM}(a_{t:t+H}\mid x_t,x_{t+H})$，直接为合成的神经视频打上目标机器人本体的关节动作伪标签，在后训练（Post-training）阶段按 $1:1$ 比例与真机数据混合共训。

3. 实验结果与定量分析

3.1 三大仿真基准评测（RoboCasa、DexMimicGen、GR-1 Tabletop）

在涵盖单臂厨房操作（RoboCasa，24 项原子任务）、跨本体双臂灵巧操作（DexMimicGen / DexMG，9 项任务，涵盖双臂 Panda 夹爪、双臂 Panda 灵巧手、GR-1 人形灵巧手三类本体）以及人形桌面操作（GR-1 Tabletop，24 项任务）共 57 项仿真任务上，对比从头训练的 BC-Transformer 与 Diffusion Policy 在不同样本量（每任务 30 / 100 / 300 条演示）下的平均成功率（表 2、附录表 4）：

方法	RoboCasa (30 / 100 / 300)	DexMG (30 / 100 / 300)	GR-1 Tabletop (30 / 100 / 300)	100 Demos 三基准总平均 $\uparrow$
BC-Transformer	— / 26.3% / —	— / 53.9% / —	— / 16.1% / —	26.4%
Diffusion Policy	14.7% / 25.6% / 43.2%	23.7% / 56.1% / 68.4%	21.3% / 32.7% / 40.4%	33.4%
GR00T-N1-2B（本文）	17.4% / 32.1% / 49.6%	29.6% / 66.5% / 74.2%	43.2% / 50.0% / 49.3%	45.0% (+11.6%)

在仅提供 30 条演示的极少样本设定下，GR00T-N1-2B 在高自由度 GR-1 Tabletop 上的成功率（43.2%）甚至超过了使用 10 倍数据量（300 条演示）训练的 Diffusion Policy（40.4%）！

3.2 Fourier GR-1 真机双臂与五指灵巧手评测

1. 预训练模型零样本涌现双手协同（Pre-training Evaluations）：直接测试未经下游微调的预训练权重，当把苹果故意放在机器人左手更左侧（单靠右手无法触及）并要求放入右侧篮子时，预训练模型自主涌现出 “左手抓取 $\to$ 递交给右手（Left-to-Right Handover）$\to$ 右手放入底层货架/篮子” 的双手接力行为，成功率达 76.6%（11.5/15）；在未见物体与未见容器抓取放置上达 73.3%（11/15）。
2. 四大真机任务类别后训练对比（10% 数据 vs 全量数据，表 3 & 附录表 5）：在 Fourier GR-1 真机上评测 13 项任务，分为物体抓取放置（Pick-and-Place，含已见与未见物体）、铰接物体操作（Articulated：开抽屉/柜门/木箱放物并关门）、工业精细操作（Industrial：零件装箱、网杯倾倒螺丝螺母、圆柱体双手交接）以及双人形机器人多机协同（Multi-Agent Coordination）：

方法与数据量设定	Pick-and-Place (5 任务)	Articulated (3 任务)	Industrial (3 任务)	Coordination (2 任务)	真机总平均成功率 $\uparrow$
Diffusion Policy (10% Data)	3.0%	14.3%	6.7%	27.5%	10.2%
GR00T-N1-2B (10% Data)	35.0%	62.0%	31.0%	50.0%	42.6% (+32.4%)
Diffusion Policy (Full Data)	36.0%	38.6%	61.0%	62.5%	46.4%
GR00T-N1-2B (Full Data)	82.0%	70.9%	70.0%	82.5%	76.8% (+30.4%)

• 惊人的小样本效率：仅用 10% 真机演示数据微调的 GR00T-N1-2B（平均成功率 42.6%）几乎追平了使用 100% 全量数据训练的 Diffusion Policy（46.4%）；全量微调后平均成功率高达 76.8%（其中 Seen Pick-and-Place 达 92.0%，双机接力协同达 82.5%）。
• 神经轨迹（Neural Trajectories）后训练共训增益（图 7）：在 RoboCasa 的 30 / 100 / 300 样本设定下，混入由视频模型生成的 3,000 条神经轨迹共训，使 GR00T-N1 平均成功率进一步提升 +4.2% / +8.8% / +6.8%；在真机 10% 少样本设定下混入 100 条 IDM 标注的神经轨迹，平均成功率再提升 +5.8%。对比发现：在 30 条极少样本下 LAPA 潜在动作略优于 IDM（因 IDM 训练样本不足），而在 $\ge 100$ 条样本下 IDM 伪动作标签与真实物理动作空间完全对齐，带来显著更大的正向迁移。

4. 局限性与深层启示

1. 后训练导致的“灾难性行为遗忘”现象：论文第 4.4 节记录了一个极具启发性的现象——预训练模型在面对左侧苹果时能够自然使出“左手抓 $\to$ 交接给右手”的协同策略；然而一旦在仅包含右手单手操作的下游数据集上进行后训练（Post-training），模型虽然右手动作变得极其平滑精准，却彻底遗忘了双手交接能力。如何在下游微调时保留预训练阶段习得的跨手协同先验，仍是开放难题。
2. 局限性：当前 GR00T N1 仍聚焦于固定站姿的桌面双臂操作（Tabletop Manipulation），尚未实现全身移动操作（Whole-Body Loco-Manipulation）；且视频生成模型在复杂刚体碰撞与流体物理规律上仍存在幻觉，需要 MLLM 裁判过滤。