FluxSR：专门用于真实世界图像超分辨率任务

FluxSR简介

FluxSR是由上海交通大学、哈佛大学、华南理工大学和华为诺亚方舟实验室联合开发的一种新型一步扩散模型，专门用于真实世界图像超分辨率任务。该模型基于FLUX.1-dev扩散模型，通过流轨迹蒸馏（FTD）技术，将多步流匹配模型高效蒸馏为一步超分辨率模型。FluxSR引入了TV-LPIPS感知损失和注意力多样化损失（ADL），显著提升了生成图像的真实感和细节表现，同时大幅降低了计算成本和推理延迟。该模型在多个标准测试集上展现了卓越的性能，尤其是在无参考图像质量评估指标上表现突出，证明了其在真实世界图像超分辨率领域的强大潜力。

FluxSR主要功能

1. 高效一步超分辨率：FluxSR能够在单次采样步骤中完成从低分辨率（LR）到高分辨率（HR）的图像生成，显著降低了计算开销和推理延迟，适合实际应用中的快速处理需求。
2. 高真实感图像生成：通过保留预训练扩散模型的生成能力，FluxSR能够生成具有丰富细节和高真实感的图像，尤其在处理复杂纹理和高频细节时表现出色。
3. 无需真实数据训练：该模型仅依赖于预训练扩散模型生成的噪声-图像对进行训练，无需额外的真实世界数据，降低了数据获取的难度和成本。
4. 减少高频伪影：通过引入TV-LPIPS感知损失和注意力多样化损失（ADL），FluxSR有效减少了生成图像中的高频伪影，提升了图像的整体质量。

FluxSR技术原理

1. 流轨迹蒸馏（FTD）：
   • 原理：FTD通过建立从噪声到图像的流（T2I流）与从低分辨率到高分辨率的流（SR流）之间的关系，将多步扩散模型的生成能力高效地转移到一步模型中。在学习SR流轨迹时，FTD保持原始T2I流不变，从而最大化保留教师模型的生成能力。
   • 实现：通过计算T2I流和SR流之间的差值，推导出从LR到HR的流轨迹，避免了直接参数化SR流的困难。
2. 大模型友好训练策略：
   • 原理：为了避免在训练过程中使用额外的教师模型，FluxSR将教师模型的知识嵌入到噪声到图像的流中，并在离线模式下生成大量流数据用于训练。这种方法显著减少了内存消耗和训练成本。
   • 实现：通过预计算噪声-图像对并直接计算流速度，避免了单步推理中的估计误差。
3. TV-LPIPS感知损失：
   • 原理：结合总变差（TV）损失和LPIPS（Learned Perceptual Image Patch Similarity）损失，TV-LPIPS不仅能够减少平滑区域中像素之间的过度变化，还能增强对高频细节的敏感性，从而在抑制伪影的同时保留图像的锐度。
   • 实现：通过计算生成图像与目标图像之间的TV值和LPIPS距离，优化生成图像的质量。
4. 注意力多样化损失（ADL）：
   • 原理：ADL通过减少变换器中不同token的相似性，增强注意力模块的多样性，从而避免生成图像中出现重复的高频伪影。
   • 实现：通过计算每个token与所有token均值之间的余弦相似度，并将其作为正则化项加入到损失函数中，优化模型的特征表示能力。

FluxSR应用场景

1. 老旧照片修复：将低分辨率的老照片提升为高分辨率，恢复细节，使其更清晰、更具观赏性。
2. 视频增强：对低分辨率视频帧进行超分辨率处理，提升视频的整体视觉质量，改善观看体验。
3. 监控系统：在监控摄像头中，将低质量的监控图像提升为高分辨率，便于更清晰地识别细节，提高监控效果。
4. 医疗影像：对医学影像（如X光、CT）进行超分辨率处理，增强图像细节，辅助医生更准确地进行诊断。
5. 卫星图像处理：提升卫星图像的分辨率，帮助更清晰地观察地理信息，用于环境监测、城市规划等领域。
6. 游戏与娱乐：在游戏开发和影视制作中，将低分辨率的图像或视频素材提升为高分辨率，增强视觉效果，提升沉浸感。

FluxSR项目入口

• GitHub代码库：https://github.com/JianzeLi-114/FluxSR
• arXiv技术论文：https://arxiv.org/pdf/2502.01993