SONIC：Supersizing Motion Tracking for Natural Humanoid Whole-Body Control

一句话概括：这篇论文为了解决人形机器人控制策略难以随动作数据、模型和算力规模化，以及不同上层应用需要不同控制接口的问题，提出了 SONIC 大规模通用运动跟踪框架，核心是“多种动作编码器 + 共享 FSQ motion token + 单一闭环控制策略”，最终实现了覆盖 100M+ 动作帧的通用跟踪、未见动作泛化、真实 Unitree G1 部署以及 VLA 驱动的全身移动操作。

论文信息

论文： SONIC: Supersizing Motion Tracking for Natural Humanoid Whole-Body Control
作者： Zhengyi Luo、Ye Yuan、Tingwu Wang、Chenran Li 等（NVIDIA，共 28 位作者）
会议 / 期刊： arXiv 预印本，arXiv:2511.07820（本文依据 2026 年 5 月 21 日更新的 v3）
年份： 2025
论文链接： https://arxiv.org/abs/2511.07820
代码链接： https://github.com/NVlabs/GR00T-WholeBodyControl
阅读日期： 2026-07-21
关键词： 人形机器人、运动跟踪、强化学习、PPO、通用控制策略、FSQ、运动表征、Sim-to-Real、VLA

1. 这篇论文在解决什么问题？

研究背景

人形机器人需要掌握行走、奔跑、舞蹈、格斗、下蹲、爬行和物体交互等大量全身动作。传统强化学习通常针对每个任务分别设计奖励并训练专用策略；运动跟踪则使用逐帧参考动作提供稠密监督，有潜力用同一种训练目标学习大量行为。

真正困难的不只是让机器人“跟踪更多 motion”，还包括两个问题：

当动作数据增加到数百小时、动作类型差异很大时，单一策略能否继续受益于更大的数据、模型与算力？
即使训练出了通用 tracker，VR、人体视频、运动学规划器和 VLA 产生的动作格式各不相同，如何让它们调用同一个低层控制器？

现有方法的问题

现有方法通常采用：

针对单个任务设计奖励并训练专用策略，或者让较小的运动跟踪网络学习规模有限、格式固定的机器人参考轨迹。

但它们存在以下不足：

每增加一种任务，往往需要重新设计奖励、准备数据并训练策略，难以规模化。
以往通用运动跟踪工作通常使用较小模型和较少动作数据，对未见动作的泛化与 scaling 规律验证不足。
不同应用输出机器人关节轨迹、人体姿态或稀疏关键点，低层控制器缺少统一的动作接口。

需要注意，SONIC 所说的“without manual reward engineering”不是“完全没有人工奖励项”，而是所有动作共用一套固定的 tracking reward，不再为走路、舞蹈、爬行等任务分别设计奖励。

论文目标

这篇论文希望解决的核心问题是：

能否把大规模 motion tracking 作为人形机器人控制的基础预训练任务，训练一个能够随数据、模型和算力扩展，并可被多种上层系统统一调用的通用全身控制策略？

2. 论文的核心思路

作者的关键观察是：

Motion tracking 天然具有逐帧、稠密且统一的学习信号。无论动作是行走、舞蹈还是格斗，学习目标始终是缩小机器人状态与参考动作之间的误差，因此比逐任务奖励更适合规模化。

因此，作者提出：

使用 611 小时、100M+ 帧的机器人动作训练一个统一闭环 tracker；再用 Robot、Human 和 Hybrid 三种编码器，将不同格式的动作命令映射到共享的 FSQ motion token，由同一个控制解码器执行。

用一句更直白的话解释：

传统方法是“不同任务训练不同策略，或者只接收一种固定格式的参考动作”，这篇论文改成了“所有动作训练一个策略，并先把不同来源的动作翻译成同一种 token”，从而同时解决大规模多动作学习和多应用接口不统一的问题。

核心贡献

将运动跟踪扩展到 100M+ 动作帧、42M 参数和约 21,000 GPU hours，并验证数据、模型与算力扩大都能改善跟踪效果，尤其能改善未见动作上的泛化。
提出由三种动作编码器、FSQ 量化器和两个解码器组成的 universal motion token，使机器人轨迹、人体动作和稀疏遥操作命令能够由同一策略处理。
将通用 tracker 接入实时运动学规划器、VR、视频、文本、音乐和 GR00T N1.5 VLA，并在真实 Unitree G1 上完成全身控制与移动操作。

其中，最重要的创新是：

不是某一个新的 tracking reward，而是把“大规模通用 tracker”和“统一 motion token 接口”结合起来：前者学习如何稳定执行大量动作，后者让不同上层系统可以复用同一个低层控制器。

3. 方法介绍

总体框架图

SONIC 总体框架

整体流程

机器人参考动作 / 人体动作 / 稀疏遥操作命令
  ↓
Robot Encoder / Human Encoder / Hybrid Encoder
  ↓
FSQ 量化与共享 Universal Motion Token
  ↓
Robot Control Decoder + 机器人本体感知历史
  ↓
关节目标位置 → PD 控制器 → Unitree G1

具体流程如下：

将约 700 小时人体动作重定向到 29-DoF Unitree G1，并过滤台阶、坐姿等机器人无法执行或物理上不合理的片段，得到 611 小时、317,189 个训练片段。
将同步动作分别表示成机器人关节轨迹、人体 3D 关节点和“稀疏上身关键点 + 下身机器人轨迹”三种命令格式。
三种 MLP 编码器将各自的未来动作窗口编码为 latent，再通过 FSQ 量化成共享 motion token。
Robot Control Decoder 将 token 与 10 步本体感知历史结合，输出 29 个关节目标位置；PD 控制器在物理闭环中执行。
Robot Motion Decoder 从 token 重建机器人参考动作，配合重建、token 对齐和循环一致性损失，使不同编码器对同一动作产生一致表示。
使用 PPO、非对称 Actor–Critic、domain randomization 和基于失败率的 motion-bin 自适应采样，端到端联合训练全部模块。

核心模块

模块 A：多编码器与 Universal Motion Token

输入： Robot Encoder 接收未来机器人关节位置与速度；Human Encoder 接收未来人体 3D 关节点；Hybrid Encoder 接收当前头部和双手关键点以及未来下身机器人动作。
输出： 两个 token，每个 token 为 32 维、每维 32 个量化等级，合计形成 64 维 FSQ motion token。
作用： 将机器人动作、人体动作与稀疏遥操作命令对齐到同一个动作表征空间。
为什么需要： 如果所有上层模块都直接预测完整机器人关节轨迹，它们必须各自处理人体—机器人形态差异和低层动力学；共享 token 将这些困难封装进同一个控制接口。

SONIC 选择 FSQ 而不是 VQ-VAE，是因为 FSQ 不需要学习码本和 commitment loss，能避免大规模多动作数据中的 codebook collapse，并可用 straight-through estimator 让 PPO 梯度穿过量化层。

模块 B：Robot Control Decoder 与非对称 Actor–Critic

输入： Universal motion token，以及关节位置、关节速度、根部角速度、重力方向、上一时刻动作等 10 步本体感知历史。
输出： 29 个关节目标位置。
作用： 将抽象动作意图转化为能在真实机器人上闭环执行的低层动作。
为什么需要： 同一个参考动作在不同机器人状态和扰动下需要不同控制输出，不能只把 motion token 当作开环轨迹播放。

SONIC 使用非对称 Actor–Critic：critic 在训练时可以观察根部线速度、完整刚体位姿和无噪声观测等仿真特权信息；actor 从训练开始只使用部署时可获得的带噪本体感知和动作命令。因此它不是“特权 actor teacher → student 蒸馏”，部署时直接使用训练好的 actor。

模块 C：辅助运动解码器与自适应采样

输入： 三种编码器得到的 motion token，以及每个固定时长 motion bin 的跟踪失败统计。
输出： 重建的机器人参考动作，以及更新后的 motion-bin 采样概率。
作用： 用辅助监督对齐三种 token 表示，并让训练更多关注当前难学的动作片段。
为什么需要： 单靠 PPO 不保证不同编码器形成一致 latent；完全均匀采样又会使大量简单片段淹没高难度片段。

论文将 motion 划分为 1 秒的 bin，按照截断后的失败率加权采样，并与均匀采样混合。这样既增加困难片段的练习频率，又防止少数异常或极难片段长期垄断训练。

核心公式（公式用标准 Markdown 中用美元符号包裹的语法）

SONIC 的联合训练目标为：

\mathcal{L} = \mathcal{L}_{\mathrm{PPO}} + \mathcal{L}_{\mathrm{recon}} + \mathcal{L}_{\mathrm{token}} + \mathcal{L}_{\mathrm{cycle}}.

其中：

\mathcal{L}_{\mathrm{recon}} = \|\mathcal{D}^{r}(z_r)-g_r\|^2 + \|\mathcal{D}^{r}(z_h)-g_r\|^2 + \|\mathcal{D}^{r}(z_m)-g_r\|^2,

\mathcal{L}_{\mathrm{token}} = \|z_r-z_h\|^2 + \|z_r-z_m\|^2 + \|z_m-z_h\|^2,

\mathcal{L}_{\mathrm{cycle}} = \|\mathcal{E}^{r}(\mathcal{D}^{r}(z_h))-z_r\|^2.

$\mathcal{L}_{\mathrm{PPO}}$ 表示：让策略在物理环境中最大化累计 tracking reward，学习稳定执行参考动作。
$\mathcal{L}_{\mathrm{recon}}$ 表示：三种 token 都应能重建对应的机器人动作；人体输入经过该路径时也形成了隐式 human-to-robot retargeting。
$\mathcal{L}_{\mathrm{token}}$ 表示：同一动作经过 Robot、Human 和 Hybrid Encoder 后应得到相近 token。
$\mathcal{L}_{\mathrm{cycle}}$ 表示：人体 token 解码为机器人动作后再次编码，应该回到原始机器人 token 附近。

这个公式的直觉是：

PPO 保证 token “能控制机器人完成动作”，其余三个辅助损失保证不同输入格式中的同一个动作“被编码成相同含义”。两者联合训练，才能让共享 token 既具有物理可执行性，又能作为统一接口。

4. 实验与结果

实验设置

数据集 / 环境： 611 小时训练数据、317,189 个片段、100M+ 帧；Isaac Lab 训练，MuJoCo 统一对比，真实 Unitree G1 部署。测试包括 test-content（6,998 个未见动作内容片段、15 小时）、test-repetition（6,306 个同类新演绎片段、12 小时）和外部 PHUMA 数据集。
评价指标： Success Rate、局部根坐标系下的 MPJPE-L、速度距离、加速度距离、真实机器人成功率，以及 VLA 任务成功率。
主要 Baseline： GMT、BeyondMimic、Any2Track；速度控制专用策略 OpenHomie；量化器消融使用 VQ-VAE。
训练规模： 最大模型 42M 参数；128 张 GPU 训练 7 天，约 21,000 GPU hours；每张 GPU 运行 4,096 个并行环境。

主要结果

最关键的实验结论是：

数据、模型和算力扩大都能持续降低误差并提高成功率，其中数据规模带来的收益最明显；最大模型在未见动作内容、外部数据和真实机器人上仍保持很高的跟踪成功率。

相较于 Baseline：

方法	Test-content SR	Test-repetition SR	PHUMA SR
SONIC	98.7%	99.6%	97.0%
BeyondMimic	81.6%	85.8%	73.4%
Any2Track	31.1%	38.4%	58.6%

在 OOD 跟踪误差 上，SONIC 的 MPJPE-L 为 23.2 mm，相比 BeyondMimic 的 39.1 mm 降低约 41%。
在 scaling 实验 中，42M 最大模型在 test-content 上达到 99.6% success rate 和 23.8 mm MPJPE-L；1.2M 模型为 98.0% 和 27.7 mm。
在 真实 Unitree G1 上，123 条动作各执行一次，成功率为 99.2%，整体 MPJPE-L 为 25.7 mm；仿真中对应为 100% 和 22.3 mm。
在 0–5 m/s 速度测试 中，SONIC 的整体存活率为 98.5%，专用 locomotion 策略 OpenHomie 为 43.0%。
在 VLA 全身移动操作 中，五类任务平均成功率为 75%；最复杂的“拿饮料罐—走向垃圾桶—踩踏板开盖—投掷”任务成功率为 60%。
提升不明显的地方是已经接近饱和的 success rate：小模型本身已达到 98.0%，继续扩大规模的主要收益体现在误差、OOD 泛化和下游可用性，而不是从“不会跟踪”变成“会跟踪”。

需要谨慎解释 Baseline 对比：各方法使用的训练数据和 retargeting pipeline 不同，因此它更能证明 SONIC 的跨数据分布泛化和整体 scaling 效果，不能严格分离算法、数据规模、数据质量、模型容量和算力分别贡献了多少。

消融实验

消融实验表明：

去掉 FSQ、改用同等容量 VQ-VAE 后，test-content MPJPE-L 从 26.6 mm 恶化到 35.3 mm。
去掉 token consistency losses 后，跨编码器表示差异增大约 8 倍，说明三种编码器不会自动形成统一 token 空间。
修改 FSQ 容量 后，增大 token 维度比单纯增加每维量化等级更有效，说明表征维度比量化粒度更关键。
将 VLA 动作空间从 FSQ token 改为显式 SMPL pose 后，三项消融任务平均成功率从 68% 降至 27%；最长程任务从 60% 降至 0%。
三种编码器均达到 99.2% 以上成功率；Human Encoder 比 Robot Encoder 仅多 0.6 mm MPJPE-L，Hybrid Encoder 因输入稀疏多 2.7 mm。

因此可以说明：

FSQ 不只是为了压缩动作；它与跨编码器一致性损失共同构成了一个物理可执行、跨输入格式对齐、且比显式人体姿态更适合 VLA 学习的动作空间。

5. 如何评价这篇论文？

优点

问题选得准。 论文没有只提出一个局部网络结构，而是把 motion tracking 重新定义为可扩展的通用控制预训练任务，并从数据、模型和算力三个轴验证 scaling。
系统闭环完整。 从大规模动作数据、统一 tracker、运动学规划器到 VR、视频和 VLA 接口，再到真实 G1 部署，证明了 tracker 能作为下游系统可调用的控制基础设施。
Universal token 的价值有实验证据。 FSQ/VQ-VAE、编码器对齐和 VLA action-space 消融共同支持了 token 设计，而不只是概念包装。
对关键边界交代较清楚。 论文明确说明 Baseline 不是 data-matched comparison，也承认 VLA 实验用于证明兼容性而非证明广泛任务泛化。

局限

优势来源没有被完全解耦。 SONIC 同时扩大数据量、数据多样性、网络、batch 和算力，现有实验无法严格判断算法创新与资源规模各自贡献多少。
仍然是单一本体上的通用。 主要结果围绕 29-DoF Unitree G1，尚未证明 token 或策略能直接跨机器人形态、自由度和硬件平台迁移。
复杂持续接触仍然困难。 失败案例包括极低位 zombie crawl 和盘腿坐；真实足部 MPJPE-L 为 53.7 mm，明显高于仿真的 29.0 mm。
实机统计仍有限。 123 条动作每条只执行一次，VLA 每项任务只有 10–20 次测试，尚不足以估计罕见失败、长期运行和硬件磨损风险。
复现成本很高。 完整训练使用 611 小时私有训练数据、128 张 GPU 和约 21,000 GPU hours；公开的 BONES-SEED 只有其中一部分。
安全、柔顺性和能耗尚未系统处理。 作者也将长期部署安全、compliance、energy efficiency 和噪声输入列为未来工作。

7. 总结

这篇论文解决了：

大规模、多类型人形动作难以用一个策略稳定学习，以及不同上层动作来源缺少统一低层控制接口的问题。

核心方法是：

使用大规模 motion tracking 训练单一闭环策略，再用 Robot、Human、Hybrid 三种编码器和 FSQ 将不同动作命令统一为 64 维 motion token。

它能够有效工作的原因是：

逐帧 tracking 提供了可扩展的稠密监督；大规模多样数据提供了广泛的动力学覆盖；PPO 保证物理可执行性；重建、token 对齐和循环一致性损失保证不同输入格式共享同一动作语义。

最值得记住的结论是：

SONIC 的核心不是“一个更大的 Mimic 网络”，而是把大规模通用 tracker 训练成可被规划器、遥操作和 VLA 共同调用的全身控制基础设施；它也不是 teacher–student 蒸馏，特权信息只进入训练期 critic。

最大的局限是：

当前结果仍依赖大量私有数据和极高算力，并主要验证在单一 Unitree G1 本体上；复杂持续接触、真实足部精度、长期安全和跨本体泛化仍未解决。