DeepMesh：清华联合南洋理工大学等推出的3D网格生成框架

DeepMesh简介

DeepMesh是由清华大学、南洋理工大学和圣书科技的研究团队共同开发的一种创新的3D网格生成框架，旨在通过结合自回归方法和强化学习技术高效生成具有艺术感和高质量的三角网格。该框架通过改进的标记化算法显著降低了训练成本，同时保留了丰富的几何细节，并利用直接偏好优化（DPO）技术将生成结果与人类偏好对齐，从而生成视觉上更具吸引力且几何精度更高的网格。DeepMesh在点云和图像条件下的生成效果均优于现有方法，展现了其在虚拟现实、游戏和动画等领域的巨大应用潜力。

DeepMesh主要功能

1. 高效生成高质量3D网格
   DeepMesh能够从点云或图像条件出发，快速生成具有复杂细节和精确拓扑结构的高质量三角网格。生成的网格不仅在几何精度上表现出色，还具备艺术感和优化的拓扑结构，适用于虚拟现实、游戏开发和动画制作等领域。
2. 对齐人类偏好
   通过直接偏好优化（DPO）技术，DeepMesh能够将生成的网格与人类的审美偏好对齐，确保生成结果不仅在技术上优秀，同时在视觉上也更具吸引力。
3. 支持高分辨率网格生成
   DeepMesh可以生成高达30,000面的复杂网格，并在512的量化分辨率下保持细节，满足高精度3D建模的需求。
4. 多样化生成
   给定相同的输入点云，DeepMesh能够生成多种不同的网格变体，为创意设计提供丰富的选择。

DeepMesh技术原理

1. 改进的标记化算法
   DeepMesh采用了一种高效的网格标记化算法，通过局部感知的面遍历和分层块索引编码，将连续的顶点坐标量化为离散标记。该算法在保留几何细节的同时，将序列长度减少了约72%，显著降低了训练成本。
2. 自回归Transformer架构
   模型基于自回归Transformer架构，包含自注意力层和交叉注意力层。通过点云编码器将输入点云特征与网格生成过程结合，利用Transformer的强大建模能力高效生成网格。
3. 数据整理与优化训练策略
   DeepMesh通过数据整理策略过滤掉低质量的网格数据，确保训练数据的高质量。同时，采用截断训练和数据打包策略，优化训练过程中的负载平衡，提升训练效率。
4. 直接偏好优化（DPO）
   DeepMesh引入DPO技术，通过收集人类标注的偏好对数据，训练模型生成更符合人类审美的网格。DPO无需复杂的奖励模型，直接优化模型的输出分布，使其更倾向于生成高质量的结果。

DeepMesh应用场景

1. 虚拟现实（VR）和增强现实（AR）：DeepMesh能够快速生成高质量的3D网格模型，适用于构建沉浸式的虚拟环境和增强现实场景，提升用户体验。
2. 游戏开发：在游戏制作中，DeepMesh可用于生成游戏中的角色、道具和场景网格，提高建模效率并优化游戏性能。
3. 动画制作：动画行业需要大量精细的3D模型。DeepMesh可生成具有艺术感的网格，帮助动画师快速创建复杂的角色和场景。
4. 建筑设计与可视化：DeepMesh可用于生成建筑模型的网格，帮助设计师快速展示建筑外观和内部结构，提升设计沟通效率。
5. 影视特效：在影视制作中，DeepMesh可用于生成特效所需的复杂3D模型，如生物、机械装置等，提升特效的真实感和视觉效果。
6. 3D打印：DeepMesh生成的高精度网格可直接用于3D打印，帮助用户快速将数字模型转化为实体物体，提高打印效率和质量。

DeepMesh项目入口

• 项目主页：https://zhaorw02.github.io/DeepMesh
• Github代码库：https://github.com/zhaorw02/DeepMesh
• arXiv技术论文：https://arxiv.org/pdf/2503.15265