StochSync：专门用于在任意空间中生成图像

0 70

StochSync简介

StochSync是一种新型的零样本图像生成方法，专门用于在任意空间（如球体、圆柱体、3D网格等）中生成图像。它通过结合扩散同步（DS）和分数蒸馏采样（SDS）的优点，引入最大随机性、多步去噪和非重叠视图采样等创新机制，有效解决了传统方法在弱条件下生成效果不佳的问题。StochSync在360°全景图像生成和3D网格纹理生成任务中表现出色，不仅生成的图像连贯性高、细节丰富，还避免了传统方法常见的失真问题。该方法无需针对特定空间重新训练模型，极大地拓展了预训练扩散模型的应用范围，为图像生成领域带来了新的突破。

StochSync主要功能

任意空间图像生成：StochSync能够在球体、圆柱体、3D网格等任意空间中生成高质量图像，而无需针对特定空间重新训练模型。
高连贯性和细节丰富：通过结合扩散同步（DS）和分数蒸馏采样（SDS）的优点，生成的图像在不同视图之间具有高连贯性，并且细节丰富。
弱条件下的有效生成：即使在没有强条件（如深度图）的情况下，StochSync也能生成高质量的图像，解决了传统方法在弱条件下效果不佳的问题。
多应用场景支持：除了360°全景图像生成和3D网格纹理生成，StochSync还适用于高分辨率全景图生成、PBR材质的3D网格纹理生成以及3D高斯纹理生成等扩展应用。

StochSync技术原理

最大随机性（Max σt）：
- 原理：在去噪过程中引入最大随机性（σt = √1 − αt−1），消除噪声预测项ϵt，从而提高不同视图之间的连贯性。
- 效果：最大随机性帮助去除图像接缝，使生成的图像在不同视图之间过渡更加平滑。
多步去噪（Impr. x0|t）：
- 原理：用多步去噪过程替代传统的单步预测，通过多次迭代逐步逼近干净样本x0，提高生成图像的逼真度。
- 效果：多步去噪使得每一步的预测更加准确，从而生成的图像更加真实和细腻。
非重叠视图采样（N.O. Views）：
- 原理：在每个步骤中采样非重叠视图，减少视图重叠导致的图像失真，同时通过时间上的视图重叠实现同步。
- 效果：非重叠视图采样进一步提高了图像的连贯性和真实感，避免了因视图重叠带来的失真问题。
结合DS和SDS的优点：
- 原理：StochSync结合了DS的同步机制和SDS的随机性，通过在每一步中同步不同视图的去噪过程，并在时间上进行视图的非重叠采样。
- 效果：这种结合使得StochSync在无条件生成和有条件生成任务中均表现出色，生成的图像既连贯又细节丰富。