SAMPart3D：香港大学推出的多粒度3D对象语义分割框架

SAMPart3D简介

SAMPart3D是由香港大学的研究团队开发的一个创新框架，它能够在不需要预定义部件标签或文本提示的情况下，将3D对象分割成多个语义的部件。这个框架通过利用文本不可知的视觉基础模型来提取3D特征，实现了对复杂和非普通对象的跨多个粒度的分割。此外，团队还贡献了一个新的3D部件分割基准测试PartObjaverse-Tiny，以解决现有基准在多样性和复杂性方面的不足。SAMPart3D不仅在性能上超越了现有的零样本3D部件分割方法，还支持如部件级别编辑和交互式分割等多种应用，展示了其在3D感知领域的重要潜力和实用性。

SAMPart3D主要功能

1. 多粒度3D部件分割：SAMPart3D能够处理3D对象，并将其分割成不同粒度的语义部件，从而支持从粗到细的层次化编辑和理解。
2. 零样本学习：该框架能够在没有标注的3D数据上进行训练，实现对新对象的零样本3D部件分割。
3. 跨多个应用的支持：SAMPart3D支持多种应用，包括3D对象编辑、交互式分割、部件级别的编辑和生成等。
4. 新基准测试：引入了PartObjaverse-Tiny基准测试，以提供更为复杂和多样化的3D部件分割样本

SAMPart3D技术原理

1. 3D特征提取骨干网络：使用Point Transformer V3 (PTv3)作为基础，针对3D对象的特点进行优化，以提取丰富的3D特征。
2. 2D视觉特征蒸馏：利用预训练的2D视觉基础模型DINOv2提取视觉特征，并通过FeatUp技术将这些特征上采样，以用于3D特征提取的监督。
3. 尺度条件分组：引入轻量级MLP网络，根据不同尺度的2D分割掩码来训练，实现对3D部件的多粒度分割。
4. 多模态大型语言模型（MLLMs）：使用MLLMs为分割出的每个部件赋予语义标签，基于多视图渲染图像进行语义查询。
5. 对比学习和聚类：通过对比学习训练MLP网络，并使用聚类算法（如HDBSCAN）对3D点云进行分割，从而得到不同部件的分割结果。
6. 无需训练的语义查询：利用预训练的MLLMs，通过2D到3D的映射关系，为每个3D部件的部分在2D渲染图像中标注语义。

SAMPart3D应用场景

1. 3D对象编辑：用户可以利用SAMPart3D精确分割3D模型的各个部件，以便对特定部分进行编辑和修改，如颜色、纹理或形状。
2. 交互式分割：在增强现实或虚拟现实应用中，SAMPart3D可以提供交互式的3D对象分割，使用户能够根据需要选择并编辑对象的特定部分。
3. 3D模型生成：在3D建模和生成领域，SAMPart3D可以辅助生成具有特定语义部件的3D模型，提高生成模型的准确性和实用性。
4. 机器人抓取与操作：在机器人技术中，SAMPart3D可以帮助机器人识别和理解3D物体的结构，从而更有效地进行抓取和操作。
5. 游戏开发：游戏设计师可以使用SAMPart3D来创建和修改游戏中的3D角色和物体，提高游戏资产的自定义水平和质量。
6. 电影和动画制作：在电影和动画制作中，SAMPart3D可以用于快速分割和调整3D角色和场景，以符合导演的视觉意图。

SAMPart3D项目入口

• 官方项目主页：https://yhyang-myron.github.io/SAMPart3D-website/
• GitHub源码库：https://github.com/Pointcept/SAMPart3D
• arXiv研究论文：https://arxiv.org/pdf/2411.07184v1