GO-3 / GE-Act 2.0：面向机器人操作全链路规模化学习的世界推理动作模型

论文：GE-Act 2.0: Pretraining and Scaling a World-Action Model for Robotic Manipulation（智元 GO-3 Preview 预训练核心架构 WRAM；配套后训练论文 CEL arXiv:2610.25736 与 Rollback arXiv:2610.36068）

作者：Renhang Liu, Wenzhi Zhao, Zhuo Yang, Liliang Chen, Pengfei Zhou, Shengcong Chen, Guanghui Ren, Maoqing Yao 等（AgiBot Research Team）

机构：智元机器人（AgiBot）、南洋理工大学（NTU）、西安交通大学、北京航空航天大学、清华大学、新加坡国立大学（NUS）

发布时间：2026 年 9 月首发，2026 年 10 月 24–29 日更新并发布 GO-3 Preview（arXiv:2609.05588v3）

🔗 arXiv (GE-Act 2.0 / WRAM) | 项目主页 | arXiv (CEL 群智进化) | arXiv (Rollback 世界模型回溯) | GO-3 官方发布

发表状态：未录用

分类标签：World Action Model GO-3 WRAM CoAE MeanFlow 单步视觉规划 KASO 全链路 Scaling 跨具身泛化

一句话总结

智元 GO-3 Preview 以 WRAM（World Reasoning Action Model，学术论文对应 GE-Act 2.0）为预训练底座，通过 CoAE 控制向自编码器（$64\times$ 空间压缩至每帧 24 个 token，多教师对齐 SigLIP 2 / V-JEPA 2.1 / DINOv3）、SVP 基于条件 MeanFlow 的单步可微视觉规划器、以及 KASO 动作空间高噪探测的择优联合优化（4 选 1 消除多模态未来与真实动作的相容性鸿沟），在近 4 万小时异构数据上实现 100 项真机零样本 OOD 任务的持续对数线性扩展（RoboTwin 平均成功率 85.0% 登顶第一），并进一步结合 Genie Evolver（百机 CEL 群体经验学习 + Rollback 世界模型反事实回溯）与 Genie Master（EEP 具身执行协议）打通“预训练 → 后训练 → 部署后自进化（Physical RSI）”的全生命周期规模化学习。

一、问题与动机

1.1 GO-3 产品体系与学术论文的精确映射

2026 年 10 月 29 日智元创新日发布的 GO-3 Preview（Genie Operator-3，登顶 RoboDojo、RoboTwin、RoboColiseum 三大榜单）并非单一静态权重，而是一套覆盖预训练、后训练与部署后持续学习 的全生命周期具身基座体系，其核心模块与智元研究团队同期公开的 arXiv 论文形成严格的一一对应关系：

生命周期阶段	GO-3 官方模块名称	对应学术论文 / 协议	核心解决的问题与关键指标
预训练（Pre-Training）	WRAM（CoAE + SVP + KASO）	GE-Act 2.0（arXiv:2609.05588v3）	解决级联式 WAM 的表征压缩、多步去噪反传爆炸与多模态动作失配；RoboTwin 均值 85.0%（88.54% c2c / 81.48% c2r）即榜单第一的 GO-3 Nano Preview
后训练-真机集群	Genie Evolver — CEL	Collective Experience Learning（arXiv:2610.25736v2）	无需人工遥操作接管，利用失败上下文检索群体成功轨迹（FERT）在 96 台真机 异步进化（FATS），手机包装成功率 79.2% → 98.3%
后训练-世界模型	Genie Evolver — Rollback	Rollback（arXiv:2610.36068v1）+ GE-Sim 2.0	将世界模型变为可回退的反事实树搜索引擎（MCTS + LoRA/DMD 测试时物理校准），桌面冰壶与投球 4–8 小时超越人类平均水平
后训练-物理仿真	Genie Evolver — Genie Sim	Genie Sim 3.0（arXiv:2601.02078）	刚柔耦合多物理求解器 + Real2Sim 系统辨识 + RLinf 并行强化学习后训练
部署后（Post-Deployment）	Genie Master + EEP	具身执行协议 EEP（Harness RSI + Policy RSI）	统一能力/引导/反馈/连续性四类接口，精灵 G2 便利店无人值守 5 天全流程成功率 28.6% → 85.7%，验证真实商业场景 Physical RSI

1.2 级联式世界动作模型（WAM）的三大核心矛盾

在具身操作中，主流端到端 VLA 直接学习 $\pi (a\mid o,s,c)$，只能依赖带动作标注的真机轨迹，难以直接吸收海量无动作的人类第一视角视频与跨构型视频中的物理交互动力学。级联式世界动作模型（Cascaded WAM）将其拆解为两阶段——先由视觉规划器预测任务条件下的未来视觉状态 $\hat{z}\sim p_{\theta }(z\mid o,c)$，再由逆动力学模型（IDM）预测抵达该未来的动作 $a\sim {\pi }_{\varphi }(a\mid o,s,\hat{z})$——从而天然支持在无动作视频上独立预训练视觉世界模型。然而，将这一范式推向数万小时规模化训练时面临三大结构性瓶颈：

1. 视觉表征的“重建 vs. 控制 vs. 效率”三难困境：标准像素 VAE / DC-AE 擅长图像重建但丢失高层语义且对控制不敏感；冻结自监督编码器（SigLIP 2、DINOv3、V-JEPA 2.1）虽具强语义或几何先验，但在 $256\times 384$ 分辨率下 $16\times 16$ patch 会产生每帧 384 个 token（多视角多帧序列达上千 token），且缺乏像素解码器无法直观诊断未来生成质量。
2. 解耦预训练的流形偏移（Off-Manifold Shift）与多步扩散 BPTT 显存爆炸：若视觉规划器与 IDM 仅各自在真实数据上解耦训练，推理时视觉规划器生成的微小“离流形伪影”会导致只见过真实未来的 IDM 输出崩溃；但若要端到端联合微调（将 IDM 的动作梯度回传给视觉规划器），传统扩散/流匹配视频模型需 $K$ 步迭代去噪（10–50 步），跨 $K$ 步反向传播（BPTT）会导致显存与算力开销爆炸且梯度退化。
3. 联合训练中的“有效性鸿沟”（Validity Gap）与动作模态坍缩：这是本文最深刻的洞察。同一指令（如“绕过障碍抓取水杯”或对称多目标抓取）往往对应多个物理上完全合法的未来模态。真实数据对 $(z,a)\sim p_{\text{data}}(z,a\mid o,s,c)$ 共享同一次演示的随机模态选择；但端到端联合训练时，视觉规划器独立采样出的未来 $\hat{z}\sim p_{\theta }(z\mid o,c)$ 与数据集记录的真实动作 $a$ 在给定 $(o,s,c)$ 下条件独立（$\hat{z}\perp a\mid o,s,c$）。当 $\hat{z}$ 合法地落入模态 A（如从左侧绕行），而监督标签 $a$ 却属于模态 B（从右侧绕行）时，强行用 $a$ 监督 ${\pi }_{\varphi }(a\mid o,s,\hat{z})$ 会迫使 IDM 无视预测未来并退化为多模态均值（模态模糊/坍缩），甚至反向污染视觉规划器。

二、核心方法：WRAM（GE-Act 2.0）架构详解

2.1 整体架构与信息流解耦

WRAM 由四个模块串联组成（训练参数共 3.07B + 冻结 VLM 2.72B + 冻结 CoAE）：

1. 视觉与语言双路输入：当前时刻包含三路 $256\times 384$ 相机观测 $o=(o_{\text{head}},o_{\text{left}},o_{\text{right}})$、本体状态 $s\in {\mathbb{R}}^{32}$ 与语言指令 $c$。CoAE 将每帧独立编码为 $4\times 6\times 512$（仅 24 个潜空间 token）；冻结的 Qwen3.5-2B VLM 接收头部视角 $o_{\text{head}}$ 与指令 $c$，提取场景锚定的语言条件表征 $c_{\text{vlm}}$。
2. 单步视觉规划器（SVP，2.51B DiT）：以三视角当前帧 CoAE 潜变量和 $c_{\text{vlm}}$ 为条件，通过单次前向传播（1-NFE）直接生成多尺度未来帧潜变量 $\hat{z}$。
3. 逆动力学模型（IDM，0.56B Flow-Matching DiT）：仅接收当前帧潜变量、预测未来潜变量 $\hat{z}$ 与本体状态 $s$，完全不接收语言指令 $c$ 或 $c_{\text{vlm}}$。这一“语言信息瓶颈”设计迫使所有任务语义必须通过 SVP 生成的未来视觉状态显式表达，同时使 IDM 能在完全无语言标注的轨迹（如失败回放、纯控制轨迹）上独立预训练。

2.2 CoAE：面向控制的多教师对齐自编码器

为在极致压缩 token 数量的同时兼顾语义理解与精细几何控制，CoAE（Control-Oriented Autoencoder）采用帧级 2D 深度压缩自编码器（基于 128 通道 DC-AE 扩展至 512 通道），执行 $64\times 64$ 空间下采样，将 $256\times 384$ 图像映射为 $4\times 6$ 网格（每帧 24 个 token，仅为 DINOv3 / V-JEPA 2.1 的 $1/16$）。

训练目标同时包含像素级重建损失与三教师特征对齐损失。重建项结合 $L_2$、LPIPS 感知损失与对抗损失：

$${\mathcal{L}}_{\text{rec}}=\Vert \hat{o}-o{\Vert }_2^2+{\lambda }_{\text{perc}}{\mathcal{L}}_{\text{perc}}(\hat{o},o)+{\lambda }_{\text{gan}}{\mathcal{L}}_{\text{gan}}(\hat{o})$$

在此基础上，引入轻量级上采样投影头 $g_k(z)$，将压缩潜变量 $z=E_{\text{CoAE}}(o)$ 同时对齐至三个互补的冻结视觉教师 $G_k(o)$——SigLIP 2（源自 Qwen3.5 视觉编码器，提供图文对齐语义）、V-JEPA 2.1（提供视频自监督时空运动结构）与 DINOv3（提供稠密局部几何与物体边界）：

$${\mathcal{L}}_{\text{align}}=\sum _{k\in \{\text{SigLIP2},\text{V-JEPA2.1},\text{DINOv3}\}}{\lambda }_k(1-\cos (g_k(z),G_k(o))),{\mathcal{L}}_{\text{CoAE}}={\mathcal{L}}_{\text{rec}}+{\mathcal{L}}_{\text{align}}$$

用大白话说：普通高压缩 VAE 把图像压成 24 个 token 时，很容易只保留背景颜色和大致轮廓，把机械臂夹爪开合、小物体边缘等控制关键信息丢掉；CoAE 用三位“专科老师”联合蒸馏，硬生生把语言语义、运动趋势和几何边缘塞进了 512 维的 24 个超紧凑 token 里，同时还保留了像素解码器用于可视化排查。

2.3 SVP：基于条件 MeanFlow 的单步可微视觉规划器

多尺度时间规划（Act2Goal 调度）：操作既需要高频局部控制细节，又需要长程目标锚定。设当前帧索引为 $f_0$，动作块跨度为 $H=52$ 帧（30 Hz 下约 1.73 s），子任务片段总长为 $T$。SVP 同时预测动作窗口内的 $N_d=4$ 帧稠密近期帧 与延伸至片段末尾的 $N_s=2$ 帧稀疏远期目标帧：

$${\mathcal{T}}_{\text{pred}}=\underset{\text{近期稠密帧（引导局部运动）}}{\underbrace{{\{f_0+\lfloor \frac{mH}{N_d}\rfloor \}}_{m=1}^{N_d}}}\cup \underset{\text{远期稀疏帧（锚定子任务终点）}}{\underbrace{{\{f_0+H+\lfloor \frac{n(T-H)}{N_s}\rfloor \}}_{n=1}^{N_s}}}$$

每个视角输入 1 帧当前条件帧 + 6 帧待预测帧，仅需 $7\times 24=168$ 个 token（三视角合计 504 个 token）。

场景锚定的层级门控语言条件：冻结的 Qwen3.5-2B（共 $L=25$ 层）联合编码 $(o_{\text{head}},c)$ 后，不直接取最后一层特征，而是提取每一层在纯文本区间 $T_{\text{txt}}$ 上的隐状态 $h_{\ell }[T_{\text{txt}}]$（因其已通过因果注意力融合了头部图像上下文，故既有视觉接地的指代信息又免去大量视觉 token 开销），并通过输入自适应的 softmax 门控融合全层特征：

$${\alpha }_{\ell }={\mathrm{softmax}}_{\ell }(g(\mathrm{Pool}(h_{\ell }[T_{\text{txt}}]))),c_{\text{vlm}}=\mathrm{LN}(\sum _{\ell =0}^L{\alpha }_{\ell }{h}_{\ell }[T_{\text{txt}}])$$

条件 MeanFlow 单步生成机制：为彻底消除多步迭代去噪的推理延迟与端到端反传的 BPTT 显存爆炸，SVP 基于 MeanFlow（Geng et al., 2025/2026）直接建模流轨迹区间 $[r,t]\subseteq [0,1]$ 上的平均速度场 $u_{\theta }(z_t,r,t)$。采用掩码条件多视角序列公式：令 $m_i\in \{0,1\}$ 为二进制掩码（当前条件帧 $m_i=0$ 保持干净潜变量不变，未来预测帧 $m_i=1$ 参与加噪插值 $z_t^{(i)}=(1-m_{i}t)z_0^{(i)}+m_{i}t{\epsilon }^{(i)}$，其中 $t=0$ 为干净数据，$t=1$ 为高斯噪声 $\epsilon \sim \mathcal{N}(0,I)$）。

由恒等式 $(t-r)u(z_t,r,t)={\int }_r^{t}v(z_{\tau },\tau )\mathrm{d}\tau$ 两端对 $t$ 求全导数，可得平均速度 $u_{\theta }$ 与瞬时速度 $v$ 之间的微分自洽关系。SVP 采用 36 层 DiT（宽度 2048）：前 20 层共享主干，后接两个并行的 8 层预测头，分别输出平均速度 $u_{\theta }(z_t,r,t)$ 与辅助瞬时速度 $v_{\theta }(z_t,t)$。通过前向自动微分（JVP）沿切向量 $(v_{\theta },0,1)$ 计算全导数 $\frac{\mathrm{d}}{\mathrm{d}t}{u}_{\theta }(z_t,r,t)$，构造复合回归目标 $V_{\theta }$：

$$V_{\theta }(z_t,r,t)=u_{\theta }(z_t,r,t)+(t-r)\mathrm{sg}[{\partial }_z{u}_{\theta }(z_t,r,t)\cdot (m\odot v_{\theta }(z_t,t))+{\partial }_t{u}_{\theta }(z_t,r,t)]$$

在所有 $m_i=1$ 的预测帧 token 上同时最小化瞬时流匹配损失与复合 MeanFlow 损失（训练中 75% 样本取 $r=t$ 退化为标准流匹配以稳定切向量，25% 样本训练区间 $[r,t]$）：

$${\mathcal{L}}_{\text{SVP}}={\mathbb{E}}_{r,t,z_0,\epsilon }[\Vert m\odot (v_{\theta }(z_t,t)-(\epsilon -z_0)){\Vert }_2^2+\Vert m\odot (V_{\theta }(z_t,r,t)-(\epsilon -z_0)){\Vert }_2^2]$$

推理与端到端联合训练时，直接令 $(r,t)=(0,1)$，仅需单次可微前向传播 即可一步从高斯噪声 $z_1=\epsilon$ 生成全部多视角未来潜变量：

$${\hat{z}}^{(i)}=z_1^{(i)}-m_i{u}_{\theta }^{(i)}(z_1,r=0,t=1;c_{\text{vlm}})$$

由此，IDM 的动作监督梯度可以穿过单次前向的 $u_{\theta }$ 无损、低显存地直接回传至 SVP！

2.4 IDM 与 KASO：知识对齐的选择性联合优化

流匹配逆动力学模型（IDM，0.56B）：IDM 为 28 层 Transformer（宽度 1152），输入当前观测潜变量 $o$、本体状态 $s$ 与未来视觉潜变量 $z$，通过流匹配生成 54 个动作 token（52 步稠密控制动作 + 2 步远期稀疏锚点动作，动作空间为 32 维统一关节位置向量，推理时仅用 5 步 Euler 积分并执行前 30 步）。在真实记录对 $(z,a)$ 上，插值 $a_t=t{\epsilon }_a+(1-t)a$，IDM 预训练损失为：

$${\mathcal{L}}_{\text{IDM}}(z,a)={\mathbb{E}}_{t,{\epsilon }_a}[\Vert v_{\varphi }(a_t,t;o,s,z)-({\epsilon }_a-a){\Vert }_2^2]$$

为什么朴素端到端联合训练（Naive E2E）会失败？ 论文在四高斯视频模态 $\to$ 双动作模态（$a=\pm 1$）的受控玩具系统（Section 3.4.3）中严格证明：解耦预训练虽能完美拟合真实视频分布，但在微小的离流形扰动（$z_3\ne 0$）下动作分布大幅失真；而直接最小化 ${\mathcal{L}}_{\text{E2E}}={\mathcal{L}}_{\text{IDM}}(\hat{z},a)$（无论是否保留预训练损失）都会遭遇 Validity Gap——当单步生成的 $\hat{z}$ 落在与真实动作 $a$ 不相容的另一合法模态时，错误配对梯度会直接将双峰动作分布压塌到 $a=0$ 的无效均值处。

KASO（Knowledge-Aligned Selective Optimization）核心机制：与其在视觉潜空间用粗糙的 $L_2$ 距离筛选候选未来（视觉像素差异大未必代表动作不相容，反之夹爪处几个关键 token 的微小差异却可能反转动作模态），KASO 直接利用当前正在训练的 IDM $v_{\varphi }$ 作为“动作相容性裁判”，在动作流匹配空间度量每个候选未来 ${\hat{z}}_n$ 与真实未来 $z$ 诱导的速度场一致性：

1. 无梯度并行候选采样：对每个训练样本，抽取 $N=4$ 组高斯噪声 $\{{\xi }_n{\}}_{n=1}^N$，在 no_grad 模式下用 SVP 单步生成 4 个候选未来 $\{{\hat{z}}_n{\}}_{n=1}^N$，仅缓存随机种子/噪声 ${\xi }_n$。
2. 高噪时间步动作空间探测（Action-Space Probing）：固定高噪声探测时间步 $t_p=0.95$ 并采样共享探测噪声构造 $\tilde{a}=t_p\epsilon +(1-t_p)a$（在 $t_p=0.95$ 处，$\tilde{a}$ 几乎由纯高斯噪声主导，迫使 IDM 必须高度依赖视觉未来条件来决定全局动作模态走向，而不会靠低噪区间的局部轨迹惯性蒙混过关）。在 52 个稠密动作 token 集合 $D$ 上计算每个候选未来相对于真实编码未来 $z$ 的动作不一致性能力（能量函数）：

$$E_n=\frac{1}{|D|}\sum _{i\in D}\Vert v_{\varphi ,i}(\tilde{a},t_p;o,s,{\hat{z}}_n)-v_{\varphi ,i}(\tilde{a},t_p;o,s,z){\Vert }_2^2,n\in \{1,\dots ,N\}$$

3. 确定性带梯度重放（Deterministic Gradient Replay）：选出能量最低的 Top-$k$（默认 $k=1$，即 4 选 1）相容候选索引 $n^{\star }=\arg \underset{n}{min}{E}_n$，仅对该获选噪声 ${\xi }_{n^{\star }}$ 开启梯度重新执行一次 SVP 单步前向 得到可微分的 ${\hat{z}}_{n^{\star }}$，从而将显存开销严格保持在单样本水平（无梯度前向开销极小，反向图仅建 1 份）。
4. 融合三微步更新：每个优化步以 $({\lambda }_{\text{SVP}},{\lambda }_{\text{IDM}},{\lambda }_{\text{E2E}})=(1,0.1,1)$ 联合优化三项损失（SVP 与 IDM 全参可训，CoAE 与 Qwen3.5 VLM 保持冻结）：

$${\mathcal{L}}_{\text{KASO}}={\lambda }_{\text{E2E}}{\mathcal{L}}_{\text{IDM}}({\hat{z}}_{n^{\star }},a)+{\lambda }_{\text{SVP}}{\mathcal{L}}_{\text{SVP}}(z)+{\lambda }_{\text{IDM}}{\mathcal{L}}_{\text{IDM}}(z,a)$$

关键特性：KASO 的 $N=4$ 采样筛选仅发生在训练阶段；测试部署时 SVP 仅采样 1 次（1-NFE），零额外推理开销！

2.5 三阶段解耦与联合的数据配比（近 4 万小时异构语料）

得益于 SVP（无需动作标签）与 IDM（无需语言指令）的架构解耦，WRAM 在三个阶段针对性地调配不同模态数据源（全语料统一重采样至 30 Hz、$256\times 384$ 分辨率）：

数据源	SVP 预训练（39,000 h）	IDM 预训练（32,000 h）	KASO 联合训练（30,000 h）	数据角色与设计考量
G1-OP 真机遥操作	18,500 h（47.4%）	18,500 h（57.8%）	18,500 h（61.7%）	主力双臂轮式构型，提供高质量指令-视频-动作三元组
G2-OP 真机遥操作	9,000 h（23.1%）	9,000 h（28.1%）	9,000 h（30.0%）	第二主力构型，支撑跨构型共享表征学习
开源机器人数据集	7,000 h（17.9%）	1,000 h（3.1%）	1,000 h（3.3%）	视觉多样性丰富但动作空间异构，故大量喂给 SVP、少量喂给 IDM
第一视角人类视频（Ego）	3,000 h（7.7%）	—	—	无动作标注，专供 SVP 学习开放世界物体交互与物理常识
真机策略回放与失败轨迹	—	2,000 h（6.2%）	—	无语言或非成功轨迹，但满足真实物理动力学，专供 IDM 拓宽状态-动作覆盖
物理仿真数据（Sim）	1,000 h（2.6%）	1,000 h（3.1%）	1,000 h（3.3%）	补充稀有比较级指代（如 largest/smallest）与可控场景变化
G2-90D 稀缺构型真机	500 h（1.3%）	500 h（1.6%）	500 h（1.7%）	占比不足 2% 的低资源新构型，用于检验跨具身零样本迁移

2.6 GO-3 全生命周期扩展：Genie Evolver 与 Genie Master

在 WRAM 预训练建立通用先验后，GO-3 Preview 通过两套系统将 Scaling 延伸至后训练与真实部署：

1. Genie Evolver 分布式虚实混合后训练系统：
   • 真机集群群体经验学习（CEL，arXiv:2610.25736）：针对多机部署中人工遥操作纠偏（HG-DAgger）无法随机器规模扩展的痛点，提出 FERT（Failure-guided Experience Retrieval Fine-Tuning）。操作员仅提供回合级二元成败标签与环境复位，无需任何人工动作接管；系统以失败轨迹的上下文为查询，从群体共享成功缓冲区中检索相似场景下的同伴成功片段并提高采样权重进行监督更新。底层由容错异步训练系统 FATS（数据面 SwarmLink + 控制面 HotSwarm）支撑 96 台真机 并发，即便平均每 22 分钟发生一次单机局部故障，总故障停机时间占比仍压低至 1.3%。
   • 世界模型反事实经验回溯（Rollback，arXiv:2610.36068）：突破传统世界模型“仅做前向推演”的局限，基于 GE-Sim 2.0（同时预测三视角图像与双臂 16 维关节/夹爪本体状态）在动作块边界缓存时序上下文 $m_t$，利用 MCTS 回退至关键决策节点分支探索反事实动作，无需重新生成共享前缀；由下游成败聚合出树结构相对动作质量标签，直接驱动无独立价值网络的优势条件（advantage-conditioned）策略更新。同时引入测试时物理校准（Test-Time Physics Grounding）：将更新后策略在真机产生的新转移实时回流，通过轻量级 LoRA SFT + DMD（分布匹配蒸馏）在线修正世界模型的物理动力学偏差。
2. Genie Master 具身智能体与 EEP 协议（部署后自进化）：
   • 提出 EEP（Embodied Execution Protocol），标准化四类接口——能力（capabilities，可调用的底层技能）、引导（guidance，结合现场观测的细粒度执行提示，如头部遮挡时引导“左手先靠近用腕部相机定位，右手再挂货”）、反馈（feedback，执行成败与卡点实时回传）与连续性（continuity，中断后断点续做与多机动态调度）。
   • 构建双通路 Physical RSI（具身递归自进化）：Harness RSI 在每日作业结束后将成败案例归纳沉淀为长期记忆与可复用“动作指南”；Policy RSI 将智能体接管、调整与恢复产生的成功轨迹后处理回流，持续微调固化到底层 WRAM 动作权重中。

三、实验结果

3.1 CoAE 视觉表征冻结探针评估

在固定冻结编码器上分别训练相同架构的轻量逆动力学探针（评估动作恢复 MAE）与图文匹配分类探针（评估任务语义保留率）：

视觉编码器	每帧 Token 数（$256\times 384$）	像素解码器	动作恢复 MAE（$\downarrow$）	指令匹配错误率（%，$\downarrow$）
DC-AE（128 通道重建基线）	24（$64\times$ 下采样）	有	0.02573	2.71
SigLIP 2（Qwen3.5 视觉塔）	384（$16\times$ 下采样）	无	0.03138	2.41
V-JEPA 2.1	384（$16\times$ 下采样）	无	0.01487	2.86
DINOv3	384（$16\times$ 下采样）	无	0.01273	2.81
CoAE（512 通道，三教师对齐）	24（$64\times$ 下采样）	有	0.01673（较 DC-AE -35.0%）	2.05（全场最优，准确率 97.95%）

关键结论：SigLIP 2 懂语义但几何控制最差（MAE 0.03138）；DINOv3 与 V-JEPA 2.1 几何动作恢复极强但语义区分较弱且 token 数高达 384 个；CoAE 在压缩 16 倍 token 并保留像素解码器的前提下，动作恢复误差比 DC-AE 降低 35%，图文指令匹配率甚至反超所有单一教师。

3.2 KASO 受控对齐消融实验

在完全相同的 39,000h 预训练 SVP 与 32,000h 预训练 IDM 基础上，使用同一份 300h 真机混合数据对比三种联合对齐策略（G1-OP 真机评测）：

联合训练策略	单目标抓取 SR（%）	多目标（4 选 1）Follow（%）	多目标（4 选 1）平均 SR（%）	核心现象诊断
Naive E2E（仅 ${\mathcal{L}}_{\text{E2E}}$）	12.0	87.5	25.0	无预训练锚定且受 Validity Gap 干扰，抓取执行大幅退化
E2E + PT（无筛选，$k=N$）	12.0	82.5	22.5	保留预训练损失仍无法消除异模态错误配对，动作模态模糊
KASO（$N=4,k=1,t_p=0.95$）	40.0（+28.0 pp）	95.0（+12.5 pp）	37.5（+15.0 pp）	筛除不相容未来后，单目标与多目标精细执行成功率翻倍跃升

3.3 100 项真机零样本 OOD 操作的规模化定律

评测集涵盖 20 个原子技能族、共 100 项零样本 OOD 真机任务（Pick 13、Push 8、Stack 7、Place 6、Insert 6、Pull 6、Flip 6、Pass 5、Straighten 5、Pour 5、Fold 4、Press 4、Hang 4、Shake/Stir 4、Wipe 3、Close 3、Separate 3、Sweep 3、Zip 3、Tear 2），测试场景、背景、光照与物体实例均严格排除在训练语料之外，每项任务每个模型构型执行 10 次标准化复位测试（总计 8,000 次真机 rollout）：

机器人构型	语料占比	300 h 模型 SR	1,200 h 模型 SR	5,000 h 模型 SR	30,000 h 模型 SR	总增益与解锁任务数（非零 SR 任务）
G1-OP（主力双臂构型）	> 50%（18,500 h）	17.1%	22.6%	27.3%	44.1%	+27.0 pp；解锁任务 39/100 → 76/100；19/20 技能族提升
G2-90D（稀缺新构型）	< 2%（仅 500 h）	13.4%	21.0%	23.5%	31.1%	+17.7 pp；解锁任务 24/100 → 72/100；18/20 技能族提升

三项核心规模化发现：

1. 直至 30,000 小时仍无饱和迹象：两条曲线在 5,000 h → 30,000 h 区间均出现陡峭跃升（G1-OP 暴涨 +16.8 pp），其中 Wipe（+46.7 pp 达 76.7%）、Separate（+43.3 pp）、Pour（+42.0 pp）、Pick（+39.2 pp）增幅最大；高难双臂传递 Pass 随规模从 34.0% → 52.0% → 60.0% → 70.0% 稳步攀升，姿态敏感的扶正瓶杯 Straighten 在 5,000 h 前始终为 0.0%，到 30,000 h 涌现至 30.0%。
2. 极低资源构型的跨具身正向迁移：G2-90D 在 20 个技能族中有 10 个本构型数据不足 5 小时、6 个不足 2 小时，但在 30,000h 多构型联合训练后，仅靠 1.2 h 本构型数据的 Flip 达到 20.0%、1.25 h 的 Separate 达 16.7%、3.9 h 的双臂 Pass 达 34.0%；在需要大开口稳定握持的 Shake/Stir 上甚至反超 G1-OP。
3. 技能覆盖度的对数-Logit 定律：审计全部 19 个非平凡技能族（剔除接触即算成功的简单 Close）在全语料中的累计时长后发现，技能训练时长的对数与零样本 OOD 成功率的 Logit 呈强线性相关（Pearson $r=0.80$，Spearman $\rho =0.85$），技能专属数据每扩大 10 倍，成功率平均提升 1.94 个 logit 单位。这完美解释了为何运动形态相近的 Wipe（824.1 h）高达 76.7%，而 Sweep（仅 64.6 h）只有 3.3%、极度稀缺且机械苛刻的双臂拉拉链 Zip（全语料仅 16.4 h）始终为 0%。

3.4 复杂场景细粒度指代接地与冲突鲁棒性

在 G1-OP 上对 59 条指令（33 Pick + 26 Place，共 295 次真机测试）零样本评测六个语言接地维度（区分“触达正确目标”的 Follow Score 与“完整完成操作”的 SR）：

指代维度	RefCOCOg 自然占比	GE-Act 2.0 语料占比	Pick Follow / SR（%）	Place Follow / SR（%）	规律分析
Object（物体类别）	41.5%	58.3%	100.0 / 85.0	100.0 / 85.0	高频头部维度，指代接地零失误
Color（颜色属性）	44.4%	29.6%	100.0 / 90.0	100.0 / 100.0	高频头部维度，全部精准区分
Position（左右/远近方位）	12.6%	13.8%	90.0 / 76.7	100.0 / 90.0	直接空间方位稳健
Size（最大/最小/中等尺寸）	5.6%	0.96%	82.5 / 75.0	65.7 / 57.1	极值（largest/smallest）较稳，medium 比较级易出错
Shape（方/圆/柱体形状）	0.6%	0.67%	90.0 / 70.0	90.0 / 75.0	虽低频但依托 Qwen3.5 VLM 视觉先验保持 90% 接地率
Order（中间/左起第二个）	2.6%	0.13%	13.3 / 13.3	26.7 / 26.7	主要短板：语料极度稀缺且需集合计数关系推理

总计 295 次测试整体 Follow Score 达 83.1%、完整 SR 达 72.9%。在动态冲突压力测试中，面对行为冲突（夹爪已逼近绿杯时临时改令抓蓝杯、再改令抓橙杯，或右臂已到位时秒切左臂执行）与反常识语义冲突（桌面同时摆放鞋子、鞋盒与水杯，指令要求“把水杯放进鞋盒”），模型均能克服状态轨迹惯性与常见场景共现先验，忠实执行当前显式指令。

3.5 标准化仿真基准、三大榜单 Top 1 与后训练/部署态实测

RoboTwin 2.0 域随机化泛化（每任务 50 条干净演示微调，测试 Clean 与强域随机化 Random）：

评测设置	StarVLA	GR00T-N1.7	X-VLA	${\pi }_{0.5}$	GigaBrain-0.7	Qwen-RobotManip	GE-Act 2.0（GO-3 Nano Preview）
Clean-to-Clean（%）	46.52	43.60	67.96	70.66	66.80	84.70	88.54
Clean-to-Random（%）	3.16	20.70	20.95	46.00	67.92	69.40	81.48（超第二名 +12.08 pp）
双设置均值（榜单排名指标）	24.84	32.15	44.46	58.33	67.36	77.05	85.01（官方榜单 85.0% Top 1）

在域随机化干扰下，GE-Act 2.0 仅下降 7.06 pp（Qwen-RobotManip 下降 15.30 pp，${\pi }_{0.5}$ 下降 24.66 pp）。此外：

• GenieSim-Instruction OOD 指令跟随：10 项任务平均归一化得分 0.770 位列第一（超越 ACoT-VLA 0.757、${\pi }_{0.5}$ 0.746、LingBot-VLA 2.0 0.708、GR00T-N1.7 0.646、${\pi }_0$ 0.368），在逻辑或组合（0.89）与常识推理指代（0.74）上优势最显著。
• LIBERO-Plus 七维扰动鲁棒性（10,030 实例）：总体成功率 80.4%（超 StarVLA 74.1%，距 ${\pi }_{0.5}$ 84.4% 差 4.0 pp），在 相机视角扰动（94.1% vs ${\pi }_{0.5}$ 78.4%）与 传感器噪声（95.5% vs 89.0%）上大幅领先，但背景纹理剧变（60.5%）与机械臂初态偏移（50.7%）仍有短板。
• GO-3 Preview 三大权威榜单登顶与后训练/部署后闭环实测：
  1. 三大榜单同步第一：GO-3 Nano Preview 在 RoboTwin（平均 85.0%，压过 THU & NVIDIA PrismWAM* 83.7%）、RoboDojo（AGENT + WAM 赛道得分 61.90 / 成功率 56.42%，超 PKU PyRUA-Lean 55.26 / 50.35%）与 RoboColiseum（总分 78.82%）全面夺冠。
  2. Genie Evolver 后训练增益：CEL 在 96 台真机集群上将多阶段手机包装成功率从 79.2% 推升至 98.3%（5 项真机任务均达 93.3%–99.2%）；Rollback 在抽积木塔、动态投球、桌面冰壶三项高动态任务上较最强基线分别提升 +10.67%、+11.11%、+11.85%，桌面冰壶与动态投球仅需 4–8 小时 虚实协同迭代即超越人类玩家平均胜率，抽积木可连续抽出 5 块保持塔身不倒。
  3. Genie Master 部署后自进化：精灵 G2 在真实便利店无人干预运行 5 天，全流程任务成功率从首日 28.6% 稳步爬升并稳定在 85.7%，其中细小挂钩上货单任务成功率较传统离线 SFT 提升 +17.7 pp。

四、局限性与未来方向

1. 第一视角人类视频（Egocentric Video）规模尚未充分释放：当前 SVP 预训练虽已跑通无动作第一视角人类视频摄入链路，但配比仅占 3,000 h（7.7%），远未触及海量互联网/穿戴式人类操作视频的规模上限；人类视频的体量、多样性与配比对下游真机控制的具体缩放系数仍待系统量化。
2. 序列计数指代与仿真背景解耦短板：在语料占比仅 0.13% 的序数指代（如“左起第二个杯子”）以及 LIBERO-Plus 背景极端替换（60.5%）上成功率偏低，说明 CoAE 的像素重建分支在仿真过拟合微调时仍会携带部分背景纹理耦合。
3. 底层策略仍属 System-1 反应式控制：WRAM（GE-Act 2.0）本身直接从观测与子任务指令单步映射到未来视觉与底层动作，缺乏长程显式推理与任务拆解；GO-3 虽通过外层 Genie Master（EEP） 补齐了 System-2 智能体编排与记忆沉淀，但如何将慢思考推理与快思考世界-动作生成在统一可微闭环中深度融合仍是下一步核心命题。

五、个人思考

1. 与 Fast-WAM、EgoWAM 的核心路线分歧——测试时到底要不要显式生成未来？ 本仓库收录的 Fast-WAM 与 EgoWAM 均主张“训练时用视频/世界预测塑形表征，测试时彻底砍掉未来生成以省去多步去噪延迟并规避幻觉误差”。WRAM（GE-Act 2.0）给出了另一条极具竞争力的解答：级联 WAM 之所以在测试时慢且易受幻觉拖累，根源是“多步扩散采样 + 解耦训练的流形偏移 + 朴素端到端训练的多模态 Validity Gap”。一旦用 CoAE（24 token/帧）+ 条件 MeanFlow（1 步可微生成） 把未来视觉规划压到单次前向传播，再用 KASO（动作空间高噪探测 4 选 1） 打通无模态坍缩的端到端梯度回传，测试时显式保留“单步未来视觉中间态”不仅没有多步去噪延迟，反而天然实现了 SVP（吃无动作人类视频 + 语言语义）与 IDM（吃无语言失败回放轨迹 + 纯几何逆动力学）的彻底模块化预训练——这是纯隐式协同训练（推理期砍掉世界头）难以兼得的数据解耦红利。
2. KASO 的本质是生成式级联系统的“在线模态对齐（Mode-Consistent Rejection Sampling）”： 以往两阶段生成策略要么各自独立训（推理时遇离流形伪影崩盘），要么硬连起来做端到端反传（遇多模态真实分布就回归均值崩溃）。KASO 极巧妙地利用流匹配 IDM 在高噪点 $t_p=0.95$ 对全局动作模态的高度敏感性，用 4 次无梯度极速单步前向 + 1 次确定性重放，在不增加显存的前提下解决了多模态监督错配。这一思想对所有“先生成高层子目标/轨迹草图、再生成底层控制”的分层 VLA（如 DreamVLA、SpatialVAM）都具有极强的普适迁移价值。
3. 技能覆盖度 1.94 logit / decade 定律与 GO-3“全链路 Scaling”的工程闭环逻辑： 论文图 12 揭示的“每 10 倍技能数据换 1.94 logit 成功率（$r=0.80$）”既证明了 WAM 预训练具备清晰可预测的 Scaling Law，也暴露了单纯靠遥操作扩预训练的硬伤——像拉拉链（Zip）或复杂动态博弈（冰壶、便利店挂钩遮挡），靠离线堆 10 倍遥操作数据成本极高。这恰恰解释了为什么智元在 GO-3 中没有止步于 GE-Act 2.0 预训练，而是用 Genie Evolver（96 机 CEL 自动挖掘失败上下文 + Rollback 在世界模型里对关键失误节点做反事实树搜索） 和 Genie Master（部署态 EEP 记忆与轨迹双回流） 去精准填补长尾技能分布——预训练扩广度，虚实后训练攻长尾精度，部署态闭环做在线自适应，构成了目前工业界最完整的具身 Scaling 工程样本之一。

参考

• Genie Envisioner（GE-1.0）（Liao et al., 2025, arXiv:2508.05635）：智元第一代面向机器人操作的统一世界基础平台，GE-Act 2.0 / GO-3 WRAM 的直接前作。
• Mean Flows / Improved Mean Flows（Geng et al., 2025/2026, arXiv:2505.13447 / arXiv:2512.02012）：SVP 实现单步可微未来视觉潜变量生成与无 BPTT 端到端梯度回传的核心生成建模基础。
• CEL: Collective Experience Learning Across 96 Robots（AgiBot & Tsinghua, 2026, arXiv:2610.25736）：GO-3 Genie Evolver 后训练系统的真机集群群体经验学习论文（FERT 失败引导检索微调 + FATS 容错异步系统）。
• Rollback: Experience Backtracking in World Models for Policy Improvement（Luo et al., 2026, arXiv:2610.36068）：GO-3 Genie Evolver 后训练系统的世界模型反事实回溯树搜索与测试时物理校准（LoRA + DMD）论文。
• Fast-WAM（Yuan et al., 2026, arXiv:2603.16666）与 EgoWAM（2026, arXiv:2607.18486）：代表“训练期视频协同监督、测试期跳过显式未来生成”的对比路线，与 WRAM 的“MeanFlow 单步显式未来 + KASO 端到端对齐”形成鲜明范式对照。
• HumanScale（2026, arXiv:2606.21215）与 Qwen-RobotManip（Yuan et al., 2026, arXiv:2606.17846）：同期探索大规模异构人机数据缩放定律与 RoboTwin 2.0 强域随机化泛化的核心基座参照。