LLaMA-Mesh：英伟达联合清华将语言模型应用于3D网格生成

LLaMA-Mesh简介

LLaMA-Mesh是由清华大学与NVIDIA的研究人员共同开发的一种创新方法，它通过将3D网格的顶点坐标和面定义表示为纯文本，使得大型语言模型（LLMs）能够直接生成和解释3D网格，无需扩展词汇表或引入新的标记器。这种方法首次实现了在单一模型中无缝统一语言和3D模态，为3D内容的创建提供了一种更直观、高效的语言驱动工作流程。

LLaMA-Mesh主要功能

1. 3D网格生成： 从文本提示直接生成3D网格，扩展了大型语言模型（LLMs）的生成能力到3D领域。
2. 对话式3D内容创建： 允许用户通过对话交互的方式，逐步构建和修改3D网格。
3. 3D网格理解： 使模型能够理解和解释3D网格，提供关于网格的自然语言描述。
4. 文本与3D网格的交错输出： 在对话中生成文本和3D网格的交错输出，增强了交互体验。
5. 保持文本生成性能： 在扩展到3D模态的同时，保持了强大的文本生成能力。

LLaMA-Mesh技术原理

1. 纯文本表示： 将3D网格的顶点坐标和面定义转换为纯文本格式，使得LLMs可以直接处理3D数据。
2. OBJ文件格式： 采用OBJ文件格式，这是一种广泛使用的基于文本的3D模型标准，包含顶点坐标和面定义。
3. 顶点量化： 将3D网格坐标量化为整数，以减少标记数量，使LLMs能够处理更长的序列。
4. 监督式微调（SFT）数据集： 构建包含文本-3D对和交错文本-3D对话的数据集，用于微调预训练的LLMs。
5. 预训练模型： 使用预训练的LLaMA模型作为基础，该模型已在大量文本数据上进行训练，具备生成文本的能力。
6. 端到端训练： 通过端到端训练，使模型能够理解文本提示并生成相应的3D网格。
7. 上下文长度管理： 设置LLM的上下文长度为8k标记，以适应模型的处理能力。
8. 数据集多样化： 通过随机旋转和排序顶点及面，增加数据集的多样性，避免过拟合。

LLaMA-Mesh应用场景

1. 计算机图形学： LLaMA-Mesh可以用于生成电影、游戏和动画中的3D模型，提高视觉效果的质量和逼真度。
2. 工程与建筑： 在工程设计中，该技术可以帮助快速生成和修改建筑结构的3D模型，优化设计流程。
3. 虚拟现实（VR）： 在虚拟现实应用中，LLaMA-Mesh能够根据语言指令创建互动式3D环境，提升用户体验。
4. 增强现实（AR）： 利用LLaMA-Mesh，可以在增强现实场景中实时生成和调整3D对象，用于教育或导航。
5. 教育与培训： 在教育领域，该技术可以辅助学生通过语言指令构建3D模型，增强学习体验，尤其是在STEM教育中。
6. 产品设计： 设计师可以利用LLaMA-Mesh快速迭代产品设计，通过语言描述直接生成和修改3D模型，提高工作效率。

LLaMA-Mesh项目入口

• 项目主页：https://research.nvidia.com/labs/toronto-ai/LLaMA-Mesh
• GitHub仓库：https://github.com/nv-tlabs/LLaMa-Mesh
• arXiv技术论文：https://arxiv.org/pdf/2411.09595