LeviTor：3D轨迹导向图像到视频合成技术

LeviTor简介

LeviTor是一种创新的3D轨迹导向图像到视频合成方法，它通过将对象掩码抽象成聚类点并结合深度信息，实现了在3D空间中对物体运动的精确控制。用户可以通过简单的2D图像绘制和深度调整来定义3D轨迹，从而生成具有控制遮挡、深度变化和复杂3D环绕运动的逼真视频。这种方法不仅提高了视频合成的创造性和精确性，还通过用户友好的交互方式降低了技术门槛，使得非专业用户也能轻松创作动态视觉内容。

LeviTor主要功能

1. 3D轨迹控制： 允许用户在3D空间中控制物体的运动轨迹，包括物体的相对深度变化和遮挡关系。
2. 图像到视频合成： 从静态图像生成动态视频，保持图像中的视觉内容并展现自然的运动。
3. 用户友好的交互： 提供一个直观的界面，用户可以通过在2D图像上绘制和调整深度来轻松定义3D运动。
4. 高质量的视频生成： 利用先进的视频扩散模型，从静态图像中生成逼真的视频内容。
5. 处理复杂场景： 能够处理包含遮挡和复杂交互的动态场景，提高视频合成的真实感。

LeviTor技术原理

1. 深度信息融合： 通过结合深度估计网络DepthAnythingV2，为每个轨迹点赋予相对深度值，从而将2D轨迹扩展到3D空间。
2. K-means聚类： 对象掩码通过K-means聚类算法简化为一组代表性的控制点，这些点捕获了物体运动的3D属性。
3. 视频扩散模型： 利用视频扩散模型（如Stable Video Diffusion, SVD）作为基础模型，将控制信号注入模型以生成视频。
4. 控制信号表示： 将2D坐标、实例信息和深度信息结合起来，形成控制轨迹，用于指导视频生成过程中的物体运动。
5. 交互式推理流程： 用户通过交互界面输入3D轨迹，系统将其转换为多点控制信息，用于视频合成。
6. 自动对象掩码提取： 使用SAM等工具自动从输入图像中提取对象掩码，简化用户操作。
7. 3D渲染和转换： 将2D像素点与深度值结合，转换到相机坐标系中，并进行3D渲染，以模拟物体在3D空间中的运动。
8. 非刚性运动处理： 通过聚类和分散控制点来表示物体的非刚性运动，使生成的视频能够捕捉到更细致的动态变化。

LeviTor应用场景

1. 电影和视频制作： LeviTor可以用于电影特效制作，通过精确控制物体运动轨迹，生成复杂的3D场景和特效，提高制作效率和真实感。
2. 虚拟现实(VR)： 在虚拟现实应用中，LeviTor能够生成逼真的视频内容，增强用户的沉浸感，适用于虚拟环境的构建和交互式媒体。
3. 游戏开发： 利用LeviTor生成的动态视频可以作为游戏背景或剧情动画，提升游戏的视觉体验和叙事质量。
4. 广告制作： 在广告领域，LeviTor能够根据产品特性定制动态视觉效果，创造出吸引人的广告视频，增强广告的吸引力。
5. 教育和培训： LeviTor可以用于制作教育视频，通过动态展示复杂过程或原理，提高学习效率和理解度。
6. 社交媒体内容创作： 用户可以利用LeviTor创作个性化的动态内容，用于社交媒体平台，增加内容的互动性和趣味性。

LeviTor项目入口

• 项目主页：https://ppetrichor.github.io/levitor.github.io/
• GitHub代码库：https://github.com/qiuyu96/LeviTor
• arXiv研究论文：https://arxiv.org/pdf/2412.15214