UniRig：清华推出的新型自动骨骼绑定框架

0 10

UniRig简介

UniRig是由清华大学计算机科学与技术系BNRist团队开发的一种新型自动骨骼绑定框架。该框架旨在为多样化3D模型（包括人类、动物和虚构角色等）提供高效且自动化的骨骼绑定解决方案。UniRig通过结合大型自回归模型和骨骼点交叉注意力机制，能够生成高质量的骨骼结构和蒙皮权重，并通过创新的骨架树标记化方法有效解决了复杂拓扑结构的预测难题。开发团队还构建了大规模数据集Rig-XL用于训练和评估，使UniRig在骨骼预测和蒙皮权重预测方面均取得了显著优于现有方法的成果，极大地提升了动画制作的效率和质量。

UniRig主要功能

自动骨骼预测：
- UniRig能够为各种复杂的3D模型（包括人类、动物、虚构角色等）自动生成高质量的骨骼结构，即使面对非标准拓扑结构也能准确预测出合理的骨骼连接关系。
- 支持多种类型的骨骼（如弹簧骨、模板骨等），满足不同动画制作需求。
蒙皮权重预测：精确预测每个骨骼对网格顶点的蒙皮权重，确保网格在骨骼驱动下的变形自然、真实，适用于复杂模型和高精度动画制作。
支持多样化模型：适用于多种类型的3D模型，包括人类、动物、虚构角色、有机和无机结构等，能够处理复杂的几何形状和拓扑结构。
高效自动化流程：完全自动化的骨骼绑定流程，无需人工干预，可显著缩短动画制作周期，提高效率，尤其适合大规模3D内容创作。
支持人类辅助编辑：提供人类辅助编辑功能，用户可以修改预测的骨骼结构（如添加或删除骨骼分支），UniRig会根据修改重新生成相应的骨骼绑定，满足个性化需求。
兼容主流动画平台：生成的骨骼绑定结果兼容主流动画制作平台（如VRoid、Mixamo等），可直接用于后续动画制作流程，无需额外转换。

UniRig技术原理

骨架树标记化方法：
- 将骨骼结构的层次关系编码为一系列标记，通过特殊的“类型标识符”标记不同类型的骨骼（如弹簧骨、模板骨等），使自回归模型能够更高效地生成拓扑有效的骨骼结构。
- 采用优化的标记化策略，减少标记数量，降低序列长度和推理时间，同时提高骨骼预测的准确性。
自回归模型：基于OPT架构的自回归模型，能够捕捉序列依赖关系并生成结构化输出，按拓扑排序顺序预测骨骼树，确保生成的骨骼结构合理且符合输入网格的几何特征。
骨骼点交叉注意力机制：结合骨骼编码器和点云编码器，通过交叉注意力机制捕捉骨骼与网格点之间的复杂关系，准确预测蒙皮权重，使骨骼对网格的驱动更加自然和真实。
大规模数据集训练：使用Rig-XL数据集进行训练，包含超过14,000个多样化3D模型，涵盖多种类别和拓扑结构，使UniRig能够学习到更广泛和多样化的骨骼绑定模式，提高模型的泛化能力。
基于骨骼等价的训练策略：在训练过程中，通过随机冻结部分骨骼和按骨骼影响的顶点数量归一化损失函数，确保每个骨骼在训练中得到平等的更新机会，提高模型对稀疏采样区域骨骼的预测能力。
物理模拟辅助训练：引入基于物理模拟的间接监督信号，通过比较使用预测参数和真实参数生成的模拟运动，优化蒙皮权重和骨骼属性，使生成的动画更加真实自然，特别是在弹簧骨等动态效果方面表现突出。