15000 FPS的实时运动生成：GR00T-WholeBodyControl中MotionBricks潜空间生成模型抢先体验

15000 FPS的实时运动生成GR00T-WholeBodyControl中MotionBricks潜空间生成模型抢先体验【免费下载链接】GR00T-WholeBodyControlWelcome to GR00T Whole-Body Control (WBC)! This is a unified platform for developing and deploying advanced humanoid controllers. This includes: Decoupled WBC models used in NVIDIA Isaac-Gr00t, Gr00t N1.5 and N1.6 and GEAR-SONIC项目地址: https://gitcode.com/gh_mirrors/gr/GR00T-WholeBodyControlGR00T-WholeBodyControl 中的MotionBricks是一个实时运动生成框架它用大规模潜空间latent生成主干 直观的智能原语smart primitives在 Unitree G1 人形机器人上实现 15,000 FPS 的高质量零样本运动合成让你像搭积木一样快速构建复杂动画与机器人动作。本文带你快速上手这个模块的交互演示、模型架构和训练管线。一、MotionBricks 是什么为什么值得关注MotionBricks 是 GR00T-WholeBodyControl 仓库中的一个子项目位于motionbricks/目录主打两点模块化潜空间生成架构由 VQVAE 运动分词器 Pose 模型 Root 模型三部分组成把连续运动离散化、模块化推理极快️智能原语控制用 WASD 风格键即可实时切换僵尸步受伤走拳击行走手撑爬行等风格还能做捡剑、跳长椅、坐下等物体交互动作。它面向动画创作与机器人控制两个场景——上面的 teaser 图上半部分是游戏引擎中的人形动画下半部分就是 G1 真机同款骨骼上的实时生成结果。二、三大模型组件VQVAE 分词器、Pose 模型与 Root 模型MotionBricks 的核心思想是根运动root与身体姿态pose解耦 离散 token 化三个组件各司其职组件作用源码位置VQVAE运动分词器把 413 维的每帧运动特征编码为离散 codebook token支持重建与条件生成motionbricks/vqvae/models/motion_vqvae.pyPose 模型给定根轨迹与稀疏姿态约束预测离散 pose tokenmotionbricks/motion_backbone/models/pose_model.pyRoot 模型从稀疏约束出发预测连续的全局根轨迹位置 朝向motionbricks/motion_backbone/models/root_model.py运动表示方面当前配置使用DualRootGlobalJoints表示法跑在G1Skeleton34Unitree G1 的 34 关节骨骼上每帧特征向量共 418 维拆分为 414 维全局子集供 Root 模型和 413 维局部子集供 Pose/分词器两者通过无损失转换互转。详细推导可阅读官方文档运动表示与坐标系规范docs/motion_representation.md双根表示实现dual_root_global_joints.py三、快速上手一键运行 15000 FPS 交互演示1. 环境要求Python 3.10、CUDA GPU、Git LFS2. 克隆仓库并安装依赖git lfs install git clone https://gitcode.com/gh_mirrors/gr/GR00T-WholeBodyControl cd GR00T-WholeBodyControl/motionbricks conda create -n motionbricks python3.10 -y conda activate motionbricks pip install -e . # Linux 键盘输入需要 pip install pynput python-xlib 预训练 checkpoint约 2.2 GB默认不随普通克隆下载需要时可执行git lfs pull --includemotionbricks/out/**从仓库根目录拉取。文件校验命令见 motionbricks/README.md 的 Setup 章节。3. 启动交互式演示DISPLAY:1 python scripts/interactive_demo_g1.py启动后会弹出 MuJoCo 视图用键盘即可实时驱动 G1 机器人左键拖拽可改变相机视角。演示入口在 scripts/interactive_demo_g1.py其中还包含了一个禁用 MuJoCo 快捷键冲突的 X11 键捕获技巧。四、键盘控制清单方向键 10 种运动风格移动控制方向相对相机W前进 /A左移 /S后退 /D右移运动风格原语键风格V慢走Z/B手撑爬行 / 肘撑爬行X拳击行走R/C潜行 / 蹲伏潜行T受伤行走E欢快舞蹈行走F/G/Q僵尸步 / 持枪走 / 受惊走不按风格键时默认行为是不动 待机按 WASD 行走。风格可实时混合切换演示控制器每隔 8 帧重新生成一次 token 序列保证画面流畅衔接。五、从动画到真机智能原语的更多玩法除了行走类原语MotionBricks 还支持物体交互原语捡剑、跳跃翻越、坐下、跌倒等。下面这个演示中机器人实时生成了拾起并挥动剑的动作——注意这不是播放预录动画而是每帧由潜空间模型在线推理出来的。这些智能原语的意义在于上层应用游戏引擎、遥操作、GR00T N1.5/N1.6 等只需发出风格 意图底层就能输出连续、自然、零样本的关节轨迹极大降低了人形机器人动作设计的门槛。六、训练自己的模型三步训练管线仓库为三个组件都提供了训练脚本默认使用合成数据 synthetic_dataset.py无需真实数据集即可跑通全流程python scripts/train_vqvae.py # 训练 VQVAE 运动分词器 python scripts/train_pose.py # 训练 Pose 模型需先有 VQVAE 权重 python scripts/train_root.py # 训练 Root 模型独立想在自己的动作数据或其他机器人上训练官方给了两条路径建议复用 MotionBricks 的运动表示G1Skeleton34只需替换数据加载器自建数据管线仅把 VQVAE/Pose/Root 的建模结构当参考官方更推荐因为 tokenizer 对运动表示没有强限制。详细指南见docs/adding_your_own_dataset.md关键代码入口包括特征计算的 motion_features.py 和最小数据集接口 synthetic_dataset.py。七、写在最后它在整个仓库里的位置MotionBricks 与 GEAR-SONIC 一起构成了 NVIDIA GR00T 全身控制计划的两大支柱前者提供实时生成任意运动的能力后者提供把运动落到真机的全身控制策略。按照路线图MotionBricks 将更深地嵌入 GEAR-SONIC 的训练管线中形成完整的生成 → 跟踪 → 部署闭环。上手建议 想快速看效果先跑interactive_demo_g1.py10 分钟体验 15,000 FPS 实时生成 想理解原理精读 motion_representation.md 中的特征维度表️ 想二次开发从 train_vqvae.py 的合成数据路径切入替换为自己的 Dataset 即可。【免费下载链接】GR00T-WholeBodyControlWelcome to GR00T Whole-Body Control (WBC)! This is a unified platform for developing and deploying advanced humanoid controllers. This includes: Decoupled WBC models used in NVIDIA Isaac-Gr00t, Gr00t N1.5 and N1.6 and GEAR-SONIC项目地址: https://gitcode.com/gh_mirrors/gr/GR00T-WholeBodyControl创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考