Sitcom-Crafter：北航等推出的3D人类运动生成系统

Sitcom-Crafter简介

Sitcom-Crafter 是由来自北航、香港中文大学（深圳）、悉尼科技大学、挪威北极大学和中山大学的研究团队共同开发的一个人类运动生成系统。该系统专为 3D 场景设计，能够根据详细的剧情文本生成多样化的人类运动，包括行走、与场景交互以及人与人之间的交互。通过创新的场景感知技术和自监督学习方法，Sitcom-Crafter 有效解决了人类运动与 3D 场景碰撞的问题，并通过多个增强模块确保生成运动的连贯性和高质量。这一系统不仅提高了动画和游戏设计的效率，还为创意工作流程带来了新的可能性。

Sitcom-Crafter主要功能

1. 多类型人类运动生成：支持生成多种类型的人类运动，包括人类行走、人类与场景交互以及人与人之间的交互。
2. 剧情驱动：能够根据详细的剧情文本指导生成运动，适用于动画和游戏设计等领域。
3. 场景感知：通过合成 3D 空间中的二进制 Signed Distance Function (SDF) 点，系统能够感知并避免人类与场景的碰撞。
4. 运动同步：确保不同模块生成的运动之间的一致性，包括姿势平滑性和交互角色之间的帧长度一致性。
5. 手部姿态增强：通过检索数据集中的手部姿态来增强运动的真实感。
6. 碰撞修订：作为后处理单元，防止角色之间的碰撞。
7. 运动重定向：将生成的运动映射到现有的高质量 3D 人类资产上，以提高视觉保真度。

Sitcom-Crafter技术原理

1. 自监督学习：通过自监督的场景感知人类交互生成方法，合成 3D 空间中的二进制 SDF 点来表示周围物体，从而避免人类与场景的碰撞。
2. 统一的身体表示：使用标记点（marker points）作为身体表示，能够有效表示身体形状，并从不同数据源中提取训练数据。
3. 条件生成：在生成过程中，使用上一帧的标记点信息和 SDF 点作为条件，确保生成的运动与之前的运动一致，并避免运动崩溃。
4. 多模块协同：系统由八个模块组成，包括三类运动生成模块和五类增强模块，通过模块之间的协同工作，确保生成运动的连贯性和高质量。
5. 大语言模型：利用大语言模型（如 Google Gemini 1.5）理解和生成剧情文本，并将其转化为可识别的运动指令。
6. 物理约束：在训练过程中，采用多种损失函数（如脚部速度、脚部穿透、人类与场景穿透、人类与人类干扰等）来确保生成运动的物理合理性。

Sitcom-Crafter应用场景

1. 动画制作：快速生成角色的复杂运动序列，减少手工关键帧动画的工作量，提高创作效率。
2. 游戏开发：为游戏中的角色生成自然、多样化的交互和运动，增强游戏的真实感和沉浸感。
3. 影视特效：辅助电影和电视剧中复杂场景的运动生成，如打斗、舞蹈或多人互动，降低拍摄成本。
4. 虚拟现实（VR）和增强现实（AR）：为虚拟环境中的角色提供自然的运动表现，提升用户体验。
5. 教育与培训：生成模拟场景中的人物交互，用于安全培训、医疗手术模拟或历史场景重现等教育目的。
6. 广告与营销：创建动态的 3D 角色演示，用于产品展示或品牌宣传，提升视觉吸引力。

Sitcom-Crafter项目入口

• 项目主页：https://windvchen.github.io/Sitcom-Crafter
• GitHub代码库：https://github.com/WindVChen/Sitcom-Crafter
• arXiv技术论文：https://arxiv.org/pdf/2410.10790