FlexWorld：从单张图像生成具有灵活视图的高质量3D场景

FlexWorld简介

FlexWorld是一种能够从单张图像生成具有灵活视图的高质量3D场景的框架，支持360°旋转和缩放。它通过结合强大的视频到视频（V2V）扩散模型和逐步扩展的3D场景生成过程，解决了单视角图像生成完整3D场景时信息不足和视角变化大的难题。V2V模型基于先进的预训练视频基础模型，并在精确的深度估计训练对上进行微调，能够在大相机姿态变化下生成高质量内容。场景扩展过程则通过相机轨迹规划、场景整合和细化，逐步构建详细的3D场景。FlexWorld在多个基准数据集上展现了优越性能，为虚拟现实内容创作和3D旅游等领域带来了新的可能性。

FlexWorld主要功能

1. 从单张图像生成3D场景：能够以单张2D图像为输入，生成具有完整3D结构的场景，支持360°旋转、缩放等灵活视图操作。
2. 高质量新型视角合成：通过V2V扩散模型，生成高质量的新视角图像，即使在大视角变化（如180°旋转）下也能保持场景的一致性和视觉质量。
3. 逐步扩展3D场景：通过逐步添加和整合新生成的3D内容，从初始粗糙场景逐步扩展为详细的3D场景，支持复杂场景的构建。
4. 支持多种应用场景：适用于虚拟现实内容创作、3D旅游、文化遗产保护等领域，为用户提供沉浸式的3D体验。

FlexWorld技术原理

1. V2V扩散模型：
   • 视频条件化：基于CogVideoX-5B-I2V模型，将视频输入编码为潜在空间，支持从不完整视频生成高质量新视角视频。
   • 训练数据构建：通过3DGS重建生成精确的深度估计，构建高质量的训练对，避免传统方法中因深度估计不准确导致的生成问题。
   • 大视角变化支持：通过精心设计的训练数据和模型优化，能够处理大视角变化，生成一致的3D内容。
2. 逐步3D场景扩展：
   • 相机轨迹规划：通过规划相机轨迹（如初始缩放和旋转），确定场景扩展的方向，确保生成视频始终包含3D信息。
   • 场景整合：利用DUSt3R从生成视频中提取深度信息，将其转换为3DGS并整合到全局场景中，通过几何感知融合保持场景一致性。
   • 细化过程：通过SDEdit对生成的3D场景进行多视图图像细化，进一步提升视觉质量，优化场景细节。
3. 3D场景表示与优化：
   • 3DGS表示：采用3D高斯点云（3DGS）作为场景表示，支持高效的渲染和优化。
   • 优化策略：通过L1损失、SSIM损失和LPIPS损失等多目标优化，提升生成场景的视觉质量和几何一致性。
4. 高质量训练数据生成：
   • 精确深度估计：通过3DGS重建生成高质量的深度图，避免传统方法中因深度估计不准确导致的生成问题。
   • 数据增强：通过视频帧插值和相机轨迹规划生成多样化的训练数据，提升模型的泛化能力。

FlexWorld应用场景

1. 虚拟现实（VR）内容创作：从单张图像快速生成沉浸式3D场景，为VR体验提供丰富的内容资源，支持用户在虚拟环境中自由探索。
2. 3D旅游：将著名景点的单张照片转化为可交互的3D场景，用户可以在家中通过设备游览全球名胜古迹，实现虚拟旅游。
3. 文化遗产保护：对历史遗迹或文物进行数字化重建，从少量图像生成完整的3D模型，便于研究和展示，助力文化遗产的保存与传承。
4. 游戏开发：快速生成游戏中的3D场景和道具，降低开发成本和时间，同时为游戏设计师提供更灵活的创作空间。
5. 在线教育：创建虚拟的教育场景，如历史建筑、科学模型等，增强学生的学习体验，帮助他们更直观地理解知识。
6. 房地产展示：将房产的单张照片转化为3D场景，让潜在买家能够从不同角度查看房屋细节，提升购房体验和决策效率。

FlexWorld项目入口

• 项目主页：https://ml-gsai.github.io/FlexWorld
• GitHub代码库：https://github.com/ML-GSAI/FlexWorld
• Huggingface模型：https://huggingface.co/GSAI-ML/FlexWorld