Kiss3DGen：香港科技大学等推出的3D生成框架

0 30

Kiss3DGen简介

Kiss3DGen是由香港科技大学（广州）和香港科技大学的研究团队联合广州趣丸网络科技有限公司共同开发的一种高效3D生成框架。该框架通过将预训练的2D图像扩散模型重新利用，将复杂的3D生成问题转化为2D图像生成任务，从而实现高质量的3D模型生成、编辑和增强。Kiss3DGen的核心在于“3D Bundle Image”技术，它通过多视角图像和法线图捕捉3D对象的几何与纹理信息，并利用扩散模型的强大生成能力，实现从文本或图像到3D模型的高效转换。该方法不仅在多种3D生成任务中展现出卓越性能，还具备强大的泛化能力和数据效率，为虚拟现实、游戏开发和科学模拟等领域的3D内容创作提供了全新的解决方案。

Kiss3DGen主要功能

文本到3D生成（Text-to-3D Generation）：根据用户输入的文本描述，生成与文本内容一致的高质量3D模型。例如，输入“一只坐在树枝上的猫头鹰，戴着红色圣诞帽”，模型能够生成对应的3D场景。
图像到3D生成（Image-to-3D Generation）：从2D图像生成高质量的3D模型，支持对输入图像的语义理解和细节增强，能够将图像中的物体转化为具有丰富纹理和几何细节的3D对象。
3D模型编辑（3D Editing）：提供基于文本或用户交互的3D模型编辑功能，允许用户对3D对象的形状、纹理或细节进行修改。例如，可以将一个3D模型的颜色从红色改为蓝色，或改变其表情。
3D模型增强（3D Enhancement）：对低质量或粗糙的3D模型进行细节增强和纹理优化，提升模型的整体视觉质量和几何精度。
多视角3D生成（Multi-View 3D Generation）：生成具有多个视角的3D对象表示，支持从不同角度观察和渲染3D模型，适用于虚拟现实和游戏开发等场景。
兼容性与扩展性：支持与多种现有的3D生成和编辑工具（如ControlNet、ISOMER等）无缝集成，能够扩展到更多高级功能，如纹理映射、网格优化等。

Kiss3DGen技术原理

3D Bundle Image表示：将3D对象渲染为一组多视角图像及其对应的法线图，形成“3D Bundle Image”。这种表示方法将3D生成问题转化为2D图像生成任务，使其能够充分利用预训练扩散模型的强大生成能力。
扩散模型微调（Diffusion Model Fine-Tuning）：使用预训练的2D扩散模型（如Flux），通过LoRA（Low-Rank Adaptation）技术进行微调，使其能够生成与3D Bundle Image一致的输出。这种方法保留了预训练模型的先验知识，同时适应了3D生成任务。
多视角渲染与重建（Multi-View Rendering and Reconstruction）：利用多视角图像和法线图重建3D网格，通过优化方法（如ISOMER）将生成的2D表示转化为高质量的3D模型。法线图提供了几何信息，而多视角图像提供了纹理映射。
ControlNet集成（ControlNet Integration）：结合ControlNet技术，实现对生成过程的可控性。例如，通过ControlNet-Tile进行纹理增强，通过ControlNet-Canny进行边缘检测和形状编辑，从而提升3D模型的细节和质量。
数据驱动的训练（Data-Driven Training）：使用高质量的3D数据集（如经过筛选的Objaverse数据集）进行训练，确保模型能够学习到丰富的几何和纹理特征。同时，利用GPT-4V生成的详细描述作为监督信号，增强模型对文本和图像的对齐能力。
高效性与泛化能力（Efficiency and Generalization）：通过简化3D生成流程，Kiss3DGen在保持高效性的同时，能够生成超出训练集分布的3D对象，展现出强大的泛化能力。