PixelHacker：华科大联合VIVO 推出的新型图像修复模型

0 90

PixelHacker项目简介

PixelHacker是由华中科技大学和VIVO AI实验室联合开发的一种新型图像修复模型，旨在解决复杂结构和语义一致性问题。该模型基于潜在类别引导（Latent Categories Guidance, LCG）范式，通过构建大规模数据集并利用扩散模型架构，实现了卓越的结构和语义一致性。开发团队通过引入前景和背景两类潜在特征，并将其嵌入到去噪过程中，使PixelHacker在多个基准数据集（如Places2、CelebA-HQ和FFHQ）上表现优异，显著优于现有最先进方法。该模型不仅在视觉上展现出自然的纹理过渡和色彩融合，还具备强大的逻辑连贯性，为图像修复领域带来了新的突破。

PixelHacker主要功能

图像修复与编辑：
- 能够在图像的遮罩区域生成视觉上合理且自然的内容，填补图像中的缺失或损坏部分。
- 适用于多种场景，包括自然风景、人物肖像等，支持高分辨率图像的修复。
保持结构和语义一致性：
- 生成的修复内容能够与周围图像在结构上保持连贯（如纹理、形状和空间关系）。
- 确保语义上的逻辑正确性（如颜色一致性、物体特征的准确恢复）。
适应复杂场景：
- 能够处理包含多种前景、中景和背景元素的复杂图像，避免生成不合理的物体或结构。
- 对于大面积遮罩和复杂纹理的场景表现出色，避免模糊和伪影。

PixelHacker技术原理

潜在类别引导（Latent Categories Guidance, LCG）：
- 构建了包含1400万图像-遮罩对的大规模数据集，分为“前景”和“背景”两类。
- 使用两个固定大小的嵌入向量分别编码前景和背景的潜在特征。
- 通过线性注意力机制将这些特征间歇性地注入到去噪过程中，引导生成过程实现结构和语义的交互。
扩散模型架构：
- 基于潜在扩散模型（latent diffusion model），利用变分自编码器（VAE）将图像从像素空间转换到潜在空间。
- 在潜在空间中进行去噪操作，通过LCG嵌入向量的引导，逐步恢复图像的细节和语义信息。
- 最终通过VAE的解码器将修复后的潜在特征重构为完整的图像。
数据驱动的语义学习：
- 不依赖于具体的物体类别标签，而是通过“前景”和“背景”的宽泛类别进行学习。
- 通过随机刷子遮罩、对象语义遮罩和场景语义遮罩的组合，增强模型对结构和语义的理解能力。
- 使用分类器自由引导（Classifier-Free Guidance, CFG）推理机制，进一步提升生成结果的质量和一致性。