RealisDance-DiT：一种新型可控角色动画生成方法

0 70

RealisDance-DiT项目简介

RealisDance-DiT 是由阿里巴巴集团 DAMO Academy、浙江大学、湖畔实验室、南方科技大学和深圳大学联合开发的一种新型可控角色动画生成方法。该方法基于强大的 Wan-2.1 视频基础模型，通过简单的模型修改和灵活的微调策略，显著提升了在开放场景中的表现。开发团队通过引入低噪声预热和大批次小迭代等策略，加速了模型收敛，同时最大限度地保留了基础模型的先验知识。此外，他们还构建了一个新的测试数据集 RealisDance-Val，用于更全面地评估模型性能。RealisDance-DiT 在多个数据集上的实验结果表明，其在处理罕见姿势、风格化角色、复杂光照条件和角色与物体交互等挑战时，显著优于现有方法，为未来的研究提供了一个结构简单且性能强大的基线模型。

RealisDance-DiT主要功能

可控角色动画生成：
- 生成高质量的角色动画，能够根据输入的参考图像和姿势条件生成连贯的视频序列。
- 支持多样化的角色类型，包括风格化角色和真实人物，适应不同的应用场景。
处理复杂场景：
- 能够处理罕见姿势、复杂光照条件、角色与物体的交互以及动态场景变化。
- 生成的动画在开放场景中表现出色，适应性强。
高效微调与快速收敛：
- 通过灵活的微调策略，模型能够快速适应下游任务，减少训练时间和资源消耗。
- 保留基础模型的先验知识，确保生成结果的多样性和高质量。
广泛的应用场景：
- 适用于影视制作、虚拟数字人、电商推广等领域，满足个性化内容创作的需求。

RealisDance-DiT技术原理

基于强大的视频基础模型：
- 使用 Wan-2.1 视频基础模型作为核心架构，该模型具备强大的生成能力和丰富的先验知识。
- 通过简单的模型修改，如添加条件输入层和修改位置编码，提升模型对下游任务的适应性。
低噪声预热策略：
- 在微调的早期阶段，通过减少添加的噪声量，使模型更容易处理样本，从而稳定适应新任务。
- 动态调整时间步采样分布，帮助模型在早期快速收敛。
大批次小迭代策略：
- 使用较大的批次和较少的迭代进行微调，使模型能够从更信息丰富的梯度中受益。
- 减少过拟合的风险，同时保留基础模型的先验知识，确保生成结果的多样性和高质量。
条件输入与位置编码：
- 使用多种姿势条件（如 HaMeR、DWPose 和 SMPL-CS）作为输入，增强模型对角色动作的理解。
- 采用空间偏移的 RoPE（旋转位置编码）来处理参考潜码，避免与噪声潜码共享位置信息。
优化的推理策略：
- 在推理阶段，通过随机丢弃参考图像和文本提示，增强模型的泛化能力。
- 使用优化方法调整角色的形状参数，确保参考角色与生成姿势之间的形状一致性。
数据集与评估：
- 构建了新的测试数据集 RealisDance-Val，包含多样化的挑战场景，用于全面评估模型性能。
- 使用 Vbench-I2V 等综合评估指标，确保模型在开放场景中的表现得到准确衡量。