HumanRig：阿里开发的首个大规模3D人形角色骨骼绑定数据集

0 30

HumanRig项目简介

HumanRig是由阿里巴巴AMAP团队开发的首个大规模3D人形角色骨骼绑定数据集。该数据集包含11,434个精心策划的T姿势网格模型，这些模型都符合统一的骨骼拓扑结构，涵盖了从真实人物到卡通角色和人形动物的各种身体比例和角色类型。HumanRig不仅在规模和多样性上超越了现有数据集，还为骨骼绑定研究提供了标准化的资源。基于此数据集，开发团队还提出了一个创新的自动骨骼绑定框架，该框架通过结合Prior-Guided Skeleton Estimator（PGSE）、基于点变换器的网格编码器和Mesh-Skeleton Mutual Attention Network（MSMAN），实现了从粗到细的3D骨骼关节回归和鲁棒的蒙皮估计，显著提升了骨骼绑定的质量和泛化能力，为动画行业的自动化骨骼绑定提供了高效解决方案。

HumanRig主要功能

大规模数据集提供：HumanRig提供了11,434个精心策划的T姿势网格模型，涵盖了从真实人物到卡通角色和人形动物的各种身体比例和角色类型。这些模型都符合统一的骨骼拓扑结构，适用于各种动画应用。
自动骨骼绑定：基于HumanRig数据集，开发了一个创新的自动骨骼绑定框架，能够自动生成高质量的骨骼结构和蒙皮权重，显著提高了骨骼绑定的效率和质量。
处理复杂模型：该框架特别擅长处理复杂的人形模型，包括具有复杂拓扑结构的AI生成网格、详细服装或配饰以及不同头身比例的模型。
骨骼构建与蒙皮预测：能够同时进行骨骼构建和蒙皮预测，通过联合优化骨骼位置和蒙皮权重，生成更自然的动画效果。
鲁棒性与泛化能力：通过使用点变换器（Point Transformer）和互注意力机制（Mutual Attention），该框架在处理复杂模型时表现出色，具有良好的鲁棒性和泛化能力。

HumanRig技术原理

Prior-Guided Skeleton Estimator (PGSE)：
- 功能：使用2D骨骼关节作为先验信息，将其投影到3D空间中，生成初步的3D骨骼结构。这一过程显著降低了直接从3D网格几何特征学习骨骼位置的复杂性。
- 原理：通过在模型的正视图上使用2D骨骼关节先验，并利用相机参数将这些2D关节反投影到3D空间中，计算出与网格表面的交点，从而确定粗略的3D骨骼位置。
U-shaped Point Transformer：
- 功能：作为网格编码器，提取3D网格的特征，忽略边缘信息，增强对复杂网格的鲁棒性。
- 原理：基于点变换器（Point Transformer）的架构，该编码器能够有效地整合局部几何相关特征和全局几何语义特征。与传统的基于图神经网络（GNN）的编码器相比，它在处理AI生成的复杂网格时表现出更好的泛化能力。
Mesh-Skeleton Mutual Attention Network (MSMAN)：
- 功能：通过互注意力机制将骨骼特征和网格特征进行融合，实现骨骼构建和蒙皮预测的联合优化。
- 原理：采用多头交叉注意力机制，将骨骼特征注入到网格特征中，同时将网格特征注入到骨骼特征中。这种双向信息流动不仅提高了骨骼位置的准确性，还增强了蒙皮权重的预测精度。
骨骼构建与蒙皮预测：
- 功能：通过两个独立的MLP（多层感知机）头部，分别预测骨骼位置和蒙皮权重。
- 原理：使用均方误差（MSE）损失函数优化骨骼位置的预测，使用Kullback-Leibler散度损失函数优化蒙皮权重的预测。通过联合学习策略，同时优化骨骼位置和蒙皮权重，生成高质量的骨骼绑定结果。
数据集构建与后处理：
- 功能：通过高效的AI生成技术，创建大规模、多样化的3D人形模型数据集，并进行标准化处理，使其适用于骨骼绑定研究。
- 原理：利用文本到图像生成框架生成T姿势的2D图像，然后通过图像到3D网格生成技术生成3D网格模型。所有模型都通过Mixamo骨骼拓扑进行标准化，并经过人工筛选和后处理，确保数据的质量和一致性。