HoloPart：香港大学等推出的新型3D部分感知分割模型

0 100

HoloPart简介

HoloPart是由香港大学和VAST项目团队共同开发的新型3D部分感知分割模型。该模型旨在将3D形状分解为完整的语义部分，即使这些部分被遮挡。HoloPart采用两阶段方法：首先利用现有的3D部分分割技术获取初始的不完整部分，然后通过其核心的扩散模型完成这些部分的形状补全。该模型通过局部注意力机制捕捉细节，并利用全局上下文注意力确保与整体形状的一致性。HoloPart在ABO和PartObjaverse-Tiny数据集上的表现显著优于现有方法，为3D内容创作中的几何编辑、材质分配和动画等应用提供了强大的支持。

HoloPart主要功能

3D部分感知分割：
- 将3D形状分解为具有完整几何结构的语义部分，即使这些部分被遮挡。
- 生成的分割结果不仅包括可见部分，还包括被遮挡部分的完整几何结构，适用于需要完整部分几何的应用场景，如几何编辑、材质分配和动画制作。
部分形状补全：
- 给定一个不完整的3D部分（例如，仅包含可见表面的分割结果），HoloPart能够补全该部分的缺失几何结构，生成一个完整的3D部分。
- 补全后的部分与整体形状在几何和语义上保持一致，确保整体的协调性。
支持下游应用：
- 几何编辑：用户可以对生成的完整部分进行修改，如调整尺寸、形状等。
- 材质分配：为每个部分分配不同的材质，增强3D模型的视觉效果。
- 动画制作：支持对部分进行动画处理，例如让车轮转动或车门开关。
- 几何超分辨率：通过精细的几何细节生成，提升3D模型的整体质量。

HoloPart技术原理

两阶段方法：
- 第一阶段：部分分割：
  - 使用现有的3D部分分割技术（如SAMPart3D）获取初始的不完整部分分割结果。这些分割结果通常仅包含可见表面区域。
- 第二阶段：部分形状补全：
  - 利用HoloPart模型对不完整部分进行补全，生成完整的3D部分。这是HoloPart的核心贡献。
扩散模型：
- HoloPart基于扩散模型（Diffusion Model），通过逐步去除噪声来生成完整的3D部分。
- 扩散模型在大规模3D形状数据集上进行预训练，学习到3D形状的通用先验知识，然后在有限的部分-整体数据集上进行微调，以适应部分补全任务。
局部注意力和全局上下文注意力：
- 局部注意力：
  - 专注于捕捉输入部分的细粒度几何细节，确保生成的部分在局部结构上与输入一致。
- 全局上下文注意力：
  - 确保生成的部分与整体形状在几何和语义上的一致性，避免生成的部分与整体形状不匹配的问题。
数据集和训练：
- 使用ABO和PartObjaverse-Tiny数据集进行训练和评估。
- 通过大规模3D形状数据集的预训练，学习到通用的3D形状表示，然后在有限的部分-整体数据集上进行微调，以适应部分补全任务。
零样本泛化能力：
- 通过预训练和微调，HoloPart能够处理未见过的3D形状，实现零样本泛化，即在没有特定类别训练数据的情况下，仍能生成高质量的补全结果。