SAM-Graph：基于多视图信息的3D实例分割框架

SAM-Graph简介

SAM-Graph是一种创新的3D实例分割方法，由浙江大学、北京师范大学、蚂蚁集团和深圳大学的联合研究团队开发。该方法通过结合3D几何信息和多视图图像数据，利用一种新颖的3D到2D查询框架，显著提升了场景的分割性能和泛化能力。通过预分割3D场景为超点，并构建基于这些超点的图结构，SAM-Graph将分割任务转化为图切割问题，并通过图神经网络进行处理，实现对复杂3D场景的精确理解和分析。

SAM-Graph主要功能

1. 3D实例分割：能够识别并区分三维空间中的各个独立对象实例。
2. 跨场景泛化：在不同来源和类型的数据集上保持分割性能，不受特定场景限制。
3. 无需手动标注：能够利用现有的2D图像分割模型生成伪3D标签，无需手动进行3D场景标注。

SAM-Graph技术原理

1. 3D到2D查询框架：创新性地将3D分割任务转化为2D分割任务，通过查询2D分割模型来辅助3D分割。
2. 超点图构建：将3D场景预分割成超点，并构建超点图，将分割问题转化为图切割问题。
3. 多视图图像特征融合：结合多个视角的图像特征，为超点图的节点提供丰富的特征信息。
4. 图神经网络应用：使用图神经网络处理超点图，学习节点间的亲和性，进行图的分割。
5. SAM提示机制：利用SAM模型的提示机制，预测多视图下的掩模，用于计算图的边权。
6. 边权和节点特征计算：基于多视图掩模的交集比计算边权，使用多视图特征聚合作为节点特征。
7. 伪3D标签生成策略：开发策略从2D分割结果生成用于训练GNN的伪3D标签。
8. 无监督训练方法：通过伪标签和正则化损失，实现无需真实3D标注的模型训练。
9. 实验验证：通过在多个标准数据集上的实验，验证方法的有效性和鲁棒性。

SAM-Graph应用场景

1. 机器人导航：在仓库或家庭环境中，机器人利用3D实例分割来识别和避开障碍物。
2. 自动驾驶汽车：对周围环境进行3D实例分割，以识别行人、车辆，确保行驶安全。
3. 虚拟现实体验：在VR环境中，通过3D分割技术增强用户沉浸感，提供交互式体验。
4. 城市场景分析：对城市建筑和道路进行3D分割，辅助城市规划和交通管理。
5. 室内装修设计：帮助设计师在室内空间中进行3D分割，以规划家具布局和装饰元素。
6. 安全监控系统：在监控视频中实现3D实例分割，用于检测异常活动或潜在安全威胁。

SAM-Graph项目入口

• 官方项目主页：https://zju3dv.github.io/sam_graph/
• GitHub代码库：https://github.com/zju3dv/SAM-Graph
• arXiv研究论文：https://arxiv.org/abs/2312.08372