FIND3D：加州理工学院开发的3D部分分割模型

FIND3D简介

FIND3D是由加州理工学院开发的一种先进的3D部分分割模型，它能够在无需人工标注的情况下，通过文本提示自动分割任何对象的任何部分。该模型结合了一个由2D基础模型驱动的数据引擎和对比训练方法，能够处理多样化的3D对象和部分查询，展现出卓越的性能和泛化能力。FIND3D在多个数据集上实现了高达3倍的mIoU提升，并且比现有方法快6倍至300倍以上，为3D对象理解和交互应用开辟了新的可能性。

FIND3D主要功能

1. 开放世界3D部分分割：能够根据任何文本查询，对任何对象的任何部分进行分割。
2. 零样本学习：无需针对特定对象类别的训练，即可在未见过的类别上进行分割。
3. 高性能推理：相比于现有方法，推理速度快6倍至300倍以上。
4. 泛化能力：在多个数据集上展现出超过3倍的mIoU提升，包括对未见类别的强泛化能力。
5. 处理多样化查询：支持灵活的文本查询，包括不同粒度和描述类型。
6. 3D重建应用：能够处理来自现实世界图像（如iPhone照片）和AI生成图像的3D重建。

FIND3D技术原理

1. 数据引擎：利用2D视觉和语言基础模型（如SAM和Gemini）自动从网上标注3D资产。
2. 点云模型：训练一个基于变换器的点云模型，输入点云并预测每个点的可查询语义特征。
3. 对比训练方法：使用对比学习目标处理部分层次和歧义，提高模型的泛化能力。
4. 点变换器架构：采用PointTransformer3架构，将点云序列化并通过变换器网络进行处理。
5. 序列化和反序列化：通过空间填充曲线等方法对点云进行序列化和反序列化，以适应变换器架构。
6. 条件位置编码：为点云中的每个点添加条件位置编码，以保留空间信息。
7. 块注意力和池化：在编码器中应用块注意力和池化，以扩大感受野并处理任意长度的点序列。
8. MLP头：使用轻量级多层感知机（MLP）将点特征对齐到预训练模型（如SigLIP）的潜在嵌入空间。
9. 多数据增强：应用包括随机旋转、缩放、翻转等数据增强技术，提高模型对不同姿态和颜色的鲁棒性。

FIND3D应用场景

1. 机器人操控：在自动化和机器人技术中，FIND3D可以帮助机器人识别和理解3D物体的具体部分，以实现更精确的操控和交互。
2. 虚拟现实(VR)和增强现实(AR)：在VR和AR应用中，FIND3D能够提供对3D对象的深入理解，增强用户体验，例如在虚拟环境中进行物体的精确选择和操作。
3. 3D打印：在3D打印领域，FIND3D可以用于识别和分割复杂的3D模型，以便进行特定的修改或优化打印过程。
4. 自动驾驶汽车：FIND3D能够辅助自动驾驶系统更好地理解周围环境，如识别行人、车辆和道路标志的具体部分，提高安全性。
5. 工业检测：在制造业中，FIND3D可以用于自动化质量检测，通过识别产品的具体部分来检测缺陷或不一致性。
6. 医疗成像：在医疗领域，FIND3D可以帮助从CT或MRI扫描中分割和识别人体结构，辅助诊断和手术规划。

FIND3D项目入口

• 项目主页：https://ziqi-ma.github.io/find3dsite
• GitHub代码库：https://github.com/ziqi-ma/Find3D
• arXiv技术论文：https://arxiv.org/pdf/2411.13550v1
• 在线体验：https://huggingface.co/spaces/ziqima/Find3D