HSMR：从单张图像中恢复具有生物力学精确骨骼的人体模型

0 80

HSMR简介

HSMR（Human Skeleton and Mesh Recovery）是一种创新的3D人体重建方法，能够从单张图像中恢复具有生物力学精确骨骼的人体模型。它基于SKEL模型，结合生物力学骨骼和SMPL表面网格，通过Transformer网络估计模型参数。HSMR通过将SMPL数据集转换为SKEL伪标签，并在训练中迭代优化这些伪标签来解决训练数据不足的问题。该方法在标准基准测试中表现优异，尤其在处理极端姿势和视角时，显著优于现有技术。此外，HSMR避免了传统方法中常见的关节角度限制违反问题，提供了更符合生物力学合理性的结果。尽管存在一些局限性，如依赖伪标签和时间重建的抖动问题，但HSMR为生物力学分析和3D人体重建领域带来了新的突破。

HSMR主要功能

从单张图像重建3D人体模型：HSMR能够从单张输入图像中恢复出具有生物力学精确骨骼的人体三维模型，包括骨骼结构和表面网格。
生物力学合理性：通过采用SKEL模型，HSMR确保重建的骨骼模型符合人体生物力学的约束，避免了不自然的关节角度和运动，使结果更适用于生物力学分析。
处理极端姿势和视角：HSMR在处理极端姿势（如瑜伽姿势）和罕见视角时表现出色，显著优于现有技术，能够提供更准确的3D重建结果。
生成高质量的训练数据：通过将现有的SMPL数据集转换为SKEL伪标签，并在训练过程中迭代优化这些伪标签，HSMR能够生成高质量的训练数据，即使在没有真实SKEL标注的情况下也能训练出高性能的模型。

HSMR技术原理

SKEL模型：
- 生物力学骨骼：SKEL模型结合了生物力学骨骼和SMPL表面网格，能够更真实地模拟人体的运动。每个关节的自由度和旋转限制都与实际人体解剖学结构一致。
- 参数化表示：SKEL模型的参数包括姿态参数（q）和形状参数（β），姿态参数采用欧拉角表示，每个参数对应一个自由度，并且与关节旋转限制相关联。
Transformer网络架构：
- 输入与输出：HSMR采用基于Transformer的网络架构，输入为单张RGB图像，输出为SKEL模型的参数，包括姿态参数（q）、形状参数（β）和相机参数（π）。
- 连续旋转表示：为了避免直接回归欧拉角带来的问题，网络输出的连续旋转表示（qcont）首先被转换为旋转矩阵表示（qmat），然后应用于参数损失计算，最终转换为欧拉角表示（qEuler）以适应SKEL模型的输入要求。
伪标签生成与优化：
- 初始伪标签：由于缺乏带有SKEL参数的图像数据集，HSMR通过优化SKEL参数，使SKEL网格与目标SMPL网格对齐，从而获得初始的SKEL伪标签。
- 迭代优化：在训练过程中，HSMR通过优化HSMR估计值以与图像上的2D关键点对齐，逐步改进SKEL伪标签。这一过程类似于SMPLify，但针对SKEL模型进行了优化。
损失函数：
- 参数损失：对SKEL模型的参数（q和β）进行损失计算，确保模型输出与伪标签对齐。
- 关键点损失：对3D和2D关键点进行损失计算，确保重建的3D模型与输入图像上的2D关键点对齐。
生物力学合理性评估：
- 关节角度限制：通过评估肘部和膝关节的旋转角度，HSMR能够检测并避免不自然的关节角度，确保重建结果符合生物力学合理性。
- 对比分析：HSMR通过与现有方法（如HMR2.0）的对比分析，验证了其在生物力学合理性方面的优势。