3DHM：用单张图片和目标3D动作序列来动画化人物

3DHM简介

3DHM是由加州大学伯克利分校的研究团队开发的一种创新的基于扩散模型的框架，它能够利用单张图片和目标3D动作序列来动画化人物。这种方法通过学习人体不可见部分的先验知识和渲染新的身体姿势，生成一系列既忠实于目标动作又在视觉上与输入图像相似的图像。3DHM特别适用于长距离运动生成，并且在处理复杂和多样的姿势方面表现出色，能够保持人物的服装、面部身份和动作之间的平滑过渡。

3DHM主要功能

1. 动作迁移：3DHM能够将一个人物（称为“演员”）的动作迁移到另一个新人物（称为“模仿者”）身上，即使只有模仿者的单张图片。
2. 3D姿势控制：通过3D姿势序列控制，3DHM可以渲染出模仿者在三维空间中的新姿势。
3. 真实感渲染：该框架能够生成具有真实感的渲染图像，包括服装、头发和合理填充不可见区域的细节。
4. 长期动作生成：3DHM擅长于生成长时间的动作序列，能够处理复杂和多样的姿势。
5. 多视角合成：能够从多个视角合成人物图像，实现360度无死角的视觉效果。

3DHM技术原理

1. 扩散模型：3DHM基于扩散模型框架，这是一种生成模型，用于逐步去除噪声并生成目标图像。
2. 纹理图学习：通过学习纹理图空间，3DHM能够预测单张图片中人物的不可见部分，这是通过一个填充扩散模型实现的。
3. 3D人体姿势恢复：使用最先进的3D人体姿势恢复模型（如4DHumans）来提取动作信号，并随时间跟踪它们。
4. 两阶段渲染流程：
   • 第一阶段（纹理图修复）：从单视图图像中生成完整的纹理图，包括不可见区域。
   • 第二阶段（人物渲染）：将完整的纹理图应用于3D人体姿势序列，生成中间渲染图，然后进一步转换为更真实的图像。
5. 服装和外观建模：3DHM学习服装和外观的先验知识，以便在不同的姿势和视点下渲染人物。
6. 自监督训练：3DHM的训练过程是自监督的，不需要额外的标注数据，依赖于先进的软件来检测、分割、跟踪和3D化人类。
7. 多条件控制：框架能够处理多种输入条件，如Openpose或DensePose，以增强控制能力和细节的可控性。
8. 时间一致性：通过时间扩散模型和帧间条件生成，3DHM能够生成平滑且时间上一致的视频序列。

3DHM应用场景

1. 电影和游戏制作：3DHM可以用于生成电影或游戏中的复杂人物动作，提高动画制作的效率和真实感。
2. 虚拟现实（VR）：在虚拟现实环境中，3DHM可以创建逼真的人物动作，增强用户的沉浸式体验。
3. 增强现实（AR）：3DHM能够为AR应用提供动态的人物模型，使得虚拟角色与现实世界无缝融合。
4. 模拟训练：在军事或医疗模拟训练中，3DHM可以模拟人物动作，提供更加真实的训练场景。
5. 时尚设计：3DHM可以用于展示服装在不同动作下的效果，帮助设计师在设计阶段进行更好的视觉效果预览。
6. 体育分析：3DHM可以模拟运动员的动作，用于技术分析和训练指导，提高运动员表现。

3DHM项目入口

• 项目主页：https://boyiliee.github.io/3DHM.github.io
• Github代码库：https://github.com/Boyiliee/3DHM
• arXiv技术论文：https://arxiv.org/pdf/2401.10889