Matrix3D：苹果联合南京大学等推出的摄影测量模型

0 30

Matrix3D简介

Matrix3D是由南京大学、苹果公司和香港科技大学联合开发的新型的统一摄影测量模型。该模型通过融合多模态扩散变换器（DiT），实现了姿态估计、深度预测和新视图合成等多种功能，显著提升了3D重建和生成的效率与精度。Matrix3D引入掩码学习策略，使模型能够在部分数据缺失的情况下进行训练，从而充分利用有限的训练资源。该模型在姿态估计和新视图合成等任务上达到了行业领先水平，并通过灵活的输入输出配置，为3D内容创作提供了强大的工具支持，广泛应用于影视特效、文化遗产保护、室内设计、自动驾驶、增强现实和工业检测等领域。

Matrix3D主要功能

多任务集成
Matrix3D是一个多功能的统一模型，能够同时处理多种摄影测量任务，包括：
- 姿态估计：从稀疏视图中估计相机的姿态，即使在输入图像重叠度低的情况下也能准确预测。
- 深度预测：支持单目和多视图深度估计，为3D重建提供精确的深度信息。
- 新视图合成：从单张或多张图像生成高质量的新视图，支持任意姿态的渲染。
- 3D重建：通过生成的深度图和姿态信息，结合3D高斯点云优化（3DGS），实现单目或稀疏视图的3D重建。
灵活的输入输出配置：Matrix3D支持多种输入组合，如RGB图像、相机姿态、深度图等，并可根据需求生成相应的输出。这种灵活性使其能够适应不同的任务需求，例如在姿态估计中仅使用RGB图像，或在深度预测中结合姿态信息提升精度。
多模态数据融合：Matrix3D能够处理多种模态的数据，包括图像、相机参数和深度图，通过统一的2D表示（如Plücker射线图和视差图）将它们融合到一个模型中，充分发挥现代图像生成模型的能力。
掩码学习策略：通过随机掩码输入数据并预测缺失部分，Matrix3D能够在训练中利用部分数据（如图像-姿态对或图像-深度对），显著扩大可用训练数据量，同时提升模型对输入稀疏度的适应能力。
高效3D内容创作：Matrix3D支持多轮交互和动态任务处理，能够通过少量输入生成高质量的3D内容，为3D建模、动画制作和虚拟现实等领域提供了强大的工具支持。

Matrix3D技术原理

多模态扩散变换器（DiT）：Matrix3D基于扩散变换器（Diffusion Transformer），通过扩展其架构以支持多视图和多模态数据处理。模型包括多视图编码器和解码器，能够将不同模态的数据嵌入到共享的潜在空间中，实现跨模态和跨视图的特征融合。
统一的2D数据表示：为了将多种模态的数据整合到一个模型中，Matrix3D将相机几何信息编码为Plücker射线图，将3D结构表示为2.5D深度图，从而利用现代图像生成模型的强大能力。
掩码学习策略：Matrix3D在训练过程中采用掩码学习策略，随机遮蔽部分输入数据并预测剩余部分。这种方法不仅能够处理不同稀疏度的输入，还能利用部分数据（如图像-姿态对）进行训练，显著扩大了可用数据量。
位置编码和模态编码：为了保留视点、补丁位置和模态之间的空间关系，Matrix3D结合了旋转位置编码（RoPE）和绝对正弦位置编码，分别应用于补丁标记、视点和模态信息。
3D高斯点云优化（3DGS）：在3D重建任务中，Matrix3D通过生成的深度图和姿态信息初始化3D高斯点云，并结合优化技术（如L1损失、SSIM损失、LPIPS损失等）进一步优化点云，从而生成高质量的3D模型。
灵活的输入输出设计：Matrix3D支持动态的输入输出配置，能够根据任务需求调整输入模态和输出目标。例如，在姿态估计中仅使用RGB图像，而在新视图合成中结合姿态和深度信息以提升性能。