Infinite Mobility：大规模合成高保真的关节物体

0 30

Infinite Mobility项目简介

Infinite Mobility是由上海人工智能实验室、华南理工大学、中国科学技术大学、同济大学、复旦大学、哈尔滨工业大学（深圳）、中国科学院自动化研究所、中国科学院大学人工智能学院、香港大学等机构的研究团队共同开发的一项创新性研究。该研究提出了一种名为“Infinite Mobility”的新方法，通过程序化生成技术大规模合成高保真的关节物体。这些物体在物理属性和网格质量方面均优于现有方法，并可作为训练数据助力生成模型的进一步扩展。该方法为实体人工智能（embodied AI）相关任务提供了高质量的训练环境，推动了虚拟场景构建和机器人交互等领域的发展。

Infinite Mobility主要功能

大规模、高保真关节物体生成：
- 通过程序化生成技术，能够高效生成大规模的关节物体，这些物体在几何形状、纹理和关节运动等方面具有高保真度。
- 生成的物体可以用于模拟真实环境中的交互操作，支持复杂的动作链模拟。
高质量数据集生成：
- 生成的关节物体数据集在物理属性和网格质量方面优于现有方法，与人类标注的数据集相当。
- 数据集可作为训练数据，用于训练生成模型，进一步扩展和提升模型性能。
支持多环境应用：
- 生成的关节物体可以无缝导入到多种流行的模拟环境中，如Sapien、Isaac Sim和Genesis。
- 支持在这些环境中进行运动规划、机器人交互等复杂任务的训练和测试。
多样化和可扩展性：
- 通过程序化生成，可以灵活调整生成物体的类别和复杂度，支持从简单到复杂的多样化关节结构。
- 提供了高度的可扩展性，能够生成超出现有数据集范围的复杂物体。

Infinite Mobility技术原理

程序化生成：
- 关节树结构生成：将关节物体表示为树结构，类似于URDF（统一机器人描述格式），其中节点对应于链接（links），边对应于关节（joints）。通过树生长策略，从根节点开始逐步扩展，生成合理的关节结构。
- 几何生成：结合程序化网格生成和网格检索与程序化细化，确保生成的物体在几何形状上具有高质量和多样性。
- 材质生成：基于Blender着色器节点系统，通过添加随机噪声来生成具有真实感的纹理和材质。
- 关节生成：根据生成的关节树结构和网格，确定每个关节的类型、轴、位置和运动范围，确保关节运动的物理合理性。
混合资产管道：
- 将程序化生成的网格与策划的数据集资产无缝集成。通过检索和对齐高质量的网格部件，确保生成物体的视觉效果和物理合理性。
物理合理性优化：
- 针对常见的物理问题（如不合理碰撞、部件间隙不足等）进行优化，通过调整部件位置和关节参数，确保生成物体在模拟环境中的运动平稳且无错误。
评估与优化：
- 使用人类评估和视觉语言模型（VLMs）对生成物体的关节保真度和网格质量进行大规模评估，确保生成结果的高质量。
- 通过定量评估关节数量、树结构多样性等指标，验证生成方法的优越性。