LaRI：从单张图像中推理三维几何结构的新方法

0 60

LaRI项目简介

LaRI（Layered Ray Intersections）是由KAUST（阿卜杜拉国王科技大学）、Google和慕尼黑工业大学联合开发的一种从单张图像中推理三维几何结构的新方法。LaRI通过分层表示光线与物体表面的交点，能够从单视图中重建出物体和场景的可见与不可见几何结构。它利用分层点图的形式，将光线与物体表面的所有交点按深度顺序排列，从而实现对被遮挡区域的建模。LaRI不仅支持单次前馈推理，还能够生成与相机视图对齐的紧凑三维模型，显著提高了几何推理的效率和准确性。该方法在物体级和场景级任务中均表现出色，且仅需较少的训练数据和计算资源，为单视图三维几何推理提供了一种高效且统一的解决方案。

LaRI主要功能

从单张图像中推理三维几何结构：
- LaRI能够从单张二维图像中重建出物体和场景的三维几何结构，包括可见表面和被遮挡的不可见表面。
- 它支持物体级别和场景级别的几何推理，能够同时处理简单物体和复杂场景。
生成深度有序的分层点图：
- LaRI将光线与物体表面的交点表示为分层的三维点图，每一层代表光线与表面的交点坐标。
- 这种分层表示允许LaRI“看穿”可见表面，推断出隐藏在背后的几何结构。
视图对齐的紧凑建模：
- LaRI生成的三维点云与相机坐标系对齐，避免了复杂的点云配准步骤。
- 它通过紧凑的表示方法，避免了对大空空间的建模，提高了计算效率。
单次前馈推理：
- LaRI能够在单次前馈中完成几何推理，避免了多阶段迭代或复杂的后处理步骤。
- 这使得LaRI在实时性和效率方面具有显著优势。

LaRI技术原理

分层点图表示：
- LaRI通过模拟光线与场景中所有表面的交点，生成分层的三维点图。每一层代表光线与表面的交点坐标，从而实现对不可见几何结构的建模。
- 这种表示方法允许LaRI在单视图中推理出多个深度层次的几何结构。
光线停止索引：
- 为了区分有效和无效的交点，LaRI引入了“光线停止索引”（ray stopping index）。它标记光线穿过物体表面的最后一个有效交点层。
- 通过预测光线停止索引，LaRI能够识别出哪些交点是有效的，从而生成准确的三维点云。
编码器-解码器架构：
- LaRI基于编码器-解码器架构，使用ViT-Large作为骨干网络，并采用CNN基础网络作为解码器。
- 这种架构能够高效地从输入图像中提取特征，并预测出LaRI图和光线停止索引。
损失函数设计：
- LaRI的损失函数采用欧几里得距离，并通过最小二乘法进行全局缩放和平移对齐。
- 这种设计允许LaRI在预测时忽略绝对尺度和偏移，专注于相对几何结构的建模。
数据生成与预处理：
- 由于缺乏现成的LaRI训练数据，开发团队构建了一个完整的数据生成流程，包括从合成和真实世界的三维物体和场景中创建训练数据。
- 数据预处理步骤包括过滤掉内部结构复杂的物体和场景，以确保生成的LaRI图具有高质量和准确性。

LaRI应用场景

虚拟现实（VR）和增强现实（AR）：
- 在VR和AR应用中，LaRI可以快速生成场景的三维结构，帮助用户在虚拟环境中获得更真实的交互体验。例如，通过从单张图像中重建出完整的三维场景，用户可以在虚拟环境中自由移动，查看被遮挡的区域。
自动驾驶和机器人导航：
- LaRI能够从单张图像中推断出场景的完整几何结构，包括不可见部分。这有助于自动驾驶系统提前感知潜在的障碍物和道路状况，提高安全性。对于机器人导航，LaRI可以生成更准确的环境地图，帮助机器人进行路径规划和避障。
三维建模和动画制作：
- 在影视制作、游戏开发和建筑可视化中，LaRI可以快速从单张照片生成高质量的三维模型，减少建模时间和成本。例如，艺术家可以利用LaRI从一张参考图像中快速生成场景的三维布局，然后进行进一步的细节调整。
文化遗产保护：
- 对于文物和历史建筑的数字化保护，LaRI可以从现场拍摄的单张照片中重建出完整的三维结构，包括被遮挡的部分。这有助于记录和修复文化遗产，同时为研究人员提供更全面的几何信息。
医学成像：
- 在医学图像分析中，LaRI可以用于从二维医学图像（如X光或CT切片）中重建出三维组织结构，帮助医生更全面地了解病变部位的几何形态，辅助诊断和手术规划。
工业检测和质量控制：
- 在工业制造中，LaRI可以从单张图像中重建出物体的三维结构，用于检测物体的形状偏差和缺陷。例如，在汽车制造中，LaRI可以快速检测车身部件的几何精度，提高生产效率和质量控制水平。