StereoCrafter：将单一视角的2D视频转换为沉浸式的立体3D视频

StereoCrafter简介

StereoCrafter是由腾讯AI实验室和ARC实验室联合开发的一种创新框架，它能够将单一视角的2D视频转换为沉浸式的立体3D视频，以满足日益增长的3D内容需求。这一技术利用基础模型作为先验，通过深度视频splatting和立体视频修复两大步骤，实现高保真度的视频转换，为用户提供在3D设备上观看的沉浸式体验。

StereoCrafter主要功能

1. 2D到3D视频转换：将普通的2D视频转换成可用于3D眼镜、Apple Vision Pro等3D显示设备的立体3D视频。
2. 沉浸式体验：提供一种新的观看体验，增强观众的空间存在感和心理沉浸感。
3. 高质量视频生成：确保转换后的3D视频具有高保真度，满足高端显示设备的要求。
4. 多种视频源兼容：适用于电影、视频博客、3D卡通和AIGC视频等多种视频源。
5. 数据处理流程：开发了复杂的数据处理流程，以重建大规模、高质量的数据集，支持模型训练。

StereoCrafter技术原理

1. 深度估计：使用先进的深度估计方法（如DepthCrafter或Depth Anything V2）从输入视频中提取深度信息。
2. 视频splatting：基于深度信息，通过前向splatting方法将左视图视频变形为右视图，并生成遮挡掩码。
3. 立体视频修复：利用遮挡掩码和变形后的视频，通过立体视频修复网络生成最终的右视图视频。
4. 预训练模型微调：以预训练的稳定视频扩散模型作为基础，针对立体视频修复任务进行微调。
5. 自回归策略：处理不同长度的视频，通过自回归模型确保视频帧之间的时间一致性。
6. 分块处理：为了处理高分辨率视频，采用分块处理技术，将视频分割成小块独立处理，然后融合以克服内存限制。
7. 数据集构建：通过筛选和处理立体视频数据，构建包含变形视频、遮挡掩码和完成视频的训练数据集，以提高模型性能。

StereoCrafter应用场景

1. 家庭娱乐：将普通2D电影和视频内容转换为3D格式，提升家庭影院的观看体验。
2. 虚拟现实（VR）：为VR游戏和应用提供沉浸式3D视觉内容，增强用户的虚拟互动。
3. 增强现实（AR）：在AR应用中生成立体3D图像，提升产品展示或教育内容的互动性和真实感。
4. 在线视频平台：允许视频平台提供3D视频内容，吸引寻求新颖观看体验的用户。
5. 教育与培训：在教育领域，通过3D视频提供更直观的学习材料，如解剖学或工程学。
6. 广告与营销：创造引人注目的3D广告，以吸引消费者注意力，提升品牌形象。

StereoCrafter项目入口

• 项目主页：https://stereocrafter.github.io/
• Github代码库：https://github.com/TencentARC/StereoCrafter
• arXiv技术论文：https://arxiv.org/pdf/2409.07447