IntrinsiX：直接从文本描述生成反照率、粗糙度、金属度和法线贴图

0 90

IntrinsiX简介

IntrinsiX是一种文本到PBR贴图生成方法，能够直接从文本描述中生成高质量的反照率、粗糙度、金属度和法线贴图。它通过利用预训练的文本到图像模型的强大图像先验，并结合交叉内在注意力和渲染目标，实现了高质量且语义一致的PBR贴图生成。IntrinsiX在生成的PBR贴图中避免了传统方法常见的光照效果，使得这些贴图可以用于物理基础渲染、重新照明、材质编辑和3D场景纹理生成等多种下游任务。实验结果表明，IntrinsiX生成的PBR贴图在质量和语义一致性上均优于现有方法，为游戏、VR等需要高质量PBR贴图的应用提供了新的解决方案。

IntrinsiX主要功能

高质量PBR贴图生成：
- 直接从文本描述生成反照率、粗糙度、金属度和法线贴图。
- 生成的贴图可用于物理基础渲染（PBR），支持在不同光照条件下重新渲染。
语义一致的贴图对齐：通过交叉内在注意力机制，确保生成的PBR贴图在语义上保持一致，避免了传统方法中常见的歧义性。
支持多种下游任务：
- 可编辑图像生成：允许用户在生成的PBR贴图基础上进行编辑，如调整光照方向、改变反照率颜色或调整粗糙度和金属度。
- 3D场景PBR纹理生成：为3D场景生成逼真的PBR纹理，适用于游戏和VR应用。
强大的泛化能力：利用预训练的文本到图像模型的强大先验，能够生成多样化的PBR贴图，即使对于分布外的文本描述也能保持高质量。

IntrinsiX技术原理

预训练模型的利用：
- 利用预训练的文本到图像（T2I）模型作为基础，这些模型已经学习了大量图像的分布，能够生成高质量的图像。
- 通过LoRA（Low-Rank Adaptation）技术，对预训练模型进行微调，使其能够生成PBR贴图。
PBR先验训练：
- 分别对每个PBR材质属性（反照率、粗糙度、金属度、法线）进行训练，使用小规模、精心策划的数据集。
- 通过条件流匹配损失（Conditional Flow Matching Loss）来优化模型，确保生成的PBR贴图与训练数据的分布一致。
交叉内在注意力：
- 在扩散变换器网络（DiT）中引入交叉内在注意力机制，允许不同PBR贴图之间进行信息交换。
- 通过将不同PBR贴图的特征拼接在一起，实现联合生成，确保生成的贴图在语义上保持一致。
渲染目标：
- 引入渲染目标，通过重要性采样策略生成RGB图像，并计算渲染损失。
- 渲染损失提供图像空间的信号，确保生成的PBR贴图在渲染时能够产生逼真的光照效果。
两阶段训练：
- 第一阶段：分别对每个PBR属性进行独立训练，保留预训练模型的泛化能力。
- 第二阶段：联合微调所有PBR属性，通过交叉内在注意力和渲染目标实现对齐和优化。
数据集设计：
- 对于反照率和法线贴图，使用小规模（20个样本）的合成数据集进行训练，以保持模型的泛化能力。
- 对于粗糙度和金属度贴图，使用大规模（20K样本）的合成数据集进行训练，以学习更复杂的分布。