MVPaint：腾讯PCG等推出的创新3D纹理生成框架

MVPaint简介

MVPaint是由腾讯PCG、上海人工智能实验室和南洋理工大学S-Lab联合开发的创新3D纹理生成框架。该框架能够根据文本提示生成具有高分辨率和多视图一致性的无缝3D纹理，主要通过同步多视图生成、空间感知3D修复和UV细化三个关键模块实现。MVPaint在3D资产生产工作流程中提供了一种新颖的纹理生成方法，增强了3D模型的视觉吸引力和多样性。

MVPaint主要功能

1. 多视图一致性纹理生成：MVPaint能够生成在多个视图下保持一致性的3D纹理，增强了3D模型的视觉真实感。
2. 高分辨率无缝纹理：框架能够产生高分辨率且无缝的纹理，避免了常见的局部不连续性和跨视图不一致问题。
3. UV展开的鲁棒性：MVPaint减少了对UV展开结果的依赖，提高了纹理生成的自动化和鲁棒性。
4. 文本到纹理的生成：用户可以输入文本提示，MVPaint据此生成相应的3D纹理。
5. 评估基准建立：MVPaint建立了两个评估基准，便于测试和比较不同纹理生成方法的效果。

MVPaint技术原理

1. 同步多视图生成（SMG）：
   • 利用多视图扩散模型和交叉注意力机制，同时生成多个视角的图像。
   • 通过同步操作增强不同视角间的一致性，避免局部风格不连续和Janus问题。
2. 空间感知3D修复（S3I）：
   • 针对未被多视图覆盖的区域，通过3D空间内的修复技术完成纹理的填充。
   • 使用3D点云和空间关系一致性来生成完整的3D纹理。
3. UV细化（UVR）：
   • 包含超分辨率模块，将UV图从1K分辨率提升到2K分辨率，增加细节。
   • 空间感知接缝平滑算法（SSA），用于修复由UV展开引起的纹理不连续性。
4. 评估基准：
   • 基于Objaverse数据集和GSO数据集，建立了两个用于评估Text-to-Texture生成的基准。
   • 通过这些基准，可以系统地评估和比较不同方法在多种3D网格上的纹理生成效果。
5. 实验验证：
   • 通过在Objaverse和GSO T2T基准上的广泛实验，证明了MVPaint在3D纹理生成方面的优越性能。
   • 实验结果表明MVPaint在生成高保真度纹理、减少Janus问题和增强跨视图一致性方面超越了现有的最先进方法。

MVPaint应用场景

1. 游戏开发：为3D角色和环境生成高质量纹理，提升游戏的视觉效果和沉浸感。
2. 动画制作：为动画角色和场景提供丰富的纹理，增强动画的真实感和细节表现。
3. 虚拟现实（VR）和增强现实（AR）：在虚拟环境中生成逼真的3D纹理，提升用户体验和交互感。
4. 建筑可视化：为建筑模型生成真实的材质和纹理，帮助客户更好地理解设计效果。
5. 产品设计：为产品原型提供多样化的纹理选择，支持快速迭代和视觉展示。
6. 数字艺术创作：为艺术家提供工具，生成独特的3D纹理，丰富数字艺术作品的表现力。

MVPaint项目入口

• 项目主页：https://mvpaint.github.io/
• GitHub代码库：https://github.com/3DTopia/MVPaint
• arXiv技术论文：https://arxiv.org/pdf/2411.02336