DepthMaster：在保持高性能的同时显著提高了推理效率

0 100

DepthMaster简介

DepthMaster是由中国科学技术大学信息科学与技术学院和vivo移动通信有限公司的研究团队共同开发的一种单目深度估计方法。该方法通过改进扩散模型，实现了在保持高性能的同时提高推理效率。DepthMaster的核心创新包括Feature Alignment模块，用于增强去噪网络的语义表示能力，减少对纹理细节的过度拟合；以及Fourier Enhancement模块，通过频域操作平衡低频结构和高频细节，提升视觉质量。研究团队采用了两阶段训练策略，使模型在多个数据集上展现出卓越的泛化能力和细节保留能力，超越了其他基于扩散模型的方法。尽管取得了显著的性能提升，但团队也意识到模型参数量较大，未来将致力于通过技术优化减少模型的计算成本，以促进其在移动设备上的部署。

DepthMaster主要功能

单目深度估计：DepthMaster的核心功能是从单个RGB图像中估计出深度信息，为各种应用场景提供深度感知能力。
高性能与高效率：通过改进扩散模型，DepthMaster在保持高性能的同时显著提高了推理效率，使其更适合实际应用。
细节保留：该方法能够保留图像中的细粒度细节，提高了深度估计的准确性和视觉质量。
泛化能力：DepthMaster展现出强大的泛化能力，能够在多种不同的数据集上取得优异的性能，适应各种场景和条件。

DepthMaster技术原理

单步确定性范式：
- 直接预测：DepthMaster采用单步确定性范式，直接从RGB图像预测深度图，而不是通过迭代去噪过程。这种方法提高了推理速度，同时保持了与标准去噪扩散范式相当的泛化性能。
- 图像到潜在空间的转换：输入的RGB图像首先通过图像到潜在（I2L）编码器转换为潜在空间表示，然后通过去噪U-Net模型生成深度图。
Feature Alignment模块：
- 语义特征对齐：为了减少去噪网络对纹理细节的过度拟合，Feature Alignment模块引入了高质量的外部语义特征。这些特征通过预训练的外部编码器（如DINOv2）提取，并与去噪网络的特征进行对齐。
- 多层感知机（MLP）：使用MLP将去噪网络的特征投影到外部编码器的特征空间，通过最小化两个特征分布之间的Kullback-Leibler（KL）散度来实现特征对齐，从而增强模型的语义表示能力。
Fourier Enhancement模块：
- 频域操作：为了提高单步模型的细节保留能力，Fourier Enhancement模块在频域中操作。该模块通过快速傅里叶变换（FFT）将特征转换到频域，然后通过一个调制器（包含卷积和激活层）自适应地平衡不同频段的信息。
- 逆变换：增强后的特征通过逆快速傅里叶变换（iFFT）转换回空间域，并与空间通道的特征进行拼接，最终通过卷积操作得到增强后的特征，从而提高深度预测的视觉质量。
两阶段训练策略：
- 第一阶段：专注于学习全局场景结构。通过在潜在空间中应用约束并结合Feature Alignment模块，增强模型的场景感知能力。
- 第二阶段：优化模型的细节保留能力。通过引入Fourier Enhancement模块和加权多方向梯度损失函数，提高边缘锐度和细节保留能力。
加权多方向梯度损失函数：
- 边缘增强：为了进一步提高深度预测的锐度，提出了一种加权多方向梯度损失函数。该函数在水平、垂直和对角方向计算梯度，并通过修改的Huber损失函数减少前景-背景交界处的大梯度差异对训练的影响，使模型能够更好地关注局部结构中的细节。