DepthLab：专门设计用于从单一图像中生成完整的3D场景

DepthLab简介

DepthLab是由香港大学、香港科技大学、蚂蚁集团、阿尔托大学和同一实验室联合开发的一款先进的深度修复模型。该模型专门设计用于从单一图像中生成完整的3D场景，并解决深度数据中的缺失值问题。通过利用图像扩散先验，DepthLab在多种下游任务中展现出卓越的性能，包括3D场景修复、文本到3D场景生成、稀疏视图重建以及LiDAR深度补全，显著提升了深度准确性和3D场景质量。

DepthLab主要功能

1. 深度修复（Depth Inpainting）：DepthLab能够填补图像中缺失或被遮挡的深度信息，从而实现从部分深度数据到完整深度图的转换。
2. 3D场景生成：利用深度信息和RGB图像，DepthLab可以生成完整的3D场景，增强了从单图像到3D内容的转换能力。
3. 稀疏视图重建：与DUST3R等技术结合，DepthLab能够从稀疏视图中重建出详细的3D结构。
4. LiDAR深度补全：DepthLab能够补全LiDAR传感器捕获的不完整深度图像，对于自动驾驶和机器人导航等领域具有重要意义。

DepthLab技术原理

1. 双分支深度修复扩散框架：DepthLab采用一个双分支架构，其中一个分支（Reference U-Net）处理RGB图像以提取特征，另一个分支（Estimation U-Net）处理已知深度和需要修复的区域。
2. 特征融合：通过层与层之间的注意力机制，DepthLab将RGB特征逐步整合到深度估计过程中，以指导深度修复。
3. 随机尺度归一化：为了减少已知区域中非全局极值引起的正则化溢出，DepthLab在训练中对已知深度应用随机尺度归一化。
4. 变分自编码器（VAE）：DepthLab使用VAE将RGB图像和深度图编码到潜在空间，以便于处理和整合特征。
5. 跨注意力机制：利用CLIP图像编码器，DepthLab通过跨注意力机制捕获丰富的语义信息，以增强深度估计的准确性。
6. 多种遮罩策略：为了适应不同的下游任务，DepthLab采用了多种遮罩策略，包括随机形状遮罩和稀疏点遮罩，以模拟不同的数据缺失情况。
7. 零样本学习能力：DepthLab展示了在零样本设置下的性能，即在未见过的数据集上也能取得良好的效果，这得益于其强大的泛化能力。

DepthLab应用场景

1. 自动驾驶：DepthLab可以用于自动驾驶车辆中，通过LiDAR深度补全技术提高车辆对周围环境深度感知的准确性，增强避障和路径规划能力。
2. 增强现实（AR）：在AR应用中，DepthLab能够从单一图像生成深度信息，为虚拟对象的放置和交互提供准确的深度提示，提升用户体验。
3. 机器人导航：机器人使用DepthLab进行环境深度估计，可以在复杂环境中更准确地规划路径和进行避障。
4. 3D建模与设计：在3D建模领域，DepthLab可以从2D图像中提取深度信息，辅助设计师快速创建和编辑3D模型。
5. 室内导航与映射：DepthLab可以辅助室内导航系统，通过深度补全技术提供更精确的室内地图和导航路径。
6. 工业检测与质量控制：在制造业中，DepthLab可以用于自动化检测流程，通过深度分析识别产品表面的缺陷和不规则性。

DepthLab项目入口

• 项目主页：https://johanan528.github.io/depthlab_web/
• GitHub代码库：https://github.com/Johanan528/DepthLab
• arXiv研究论文：https://arxiv.org/pdf/2412.18153