Hyper-SD：字节跳动引领的图像生成技术革新

0 90

Hyper-SD项目介绍

Hyper-SD是由字节跳动的Lightning团队发布的一种新的图像模型蒸馏算法。这项技术的主要目标是提升模型的推理效率和性能，特别适用于在资源受限的环境下部署高效AI模型的应用场景。Hyper-SD通过创新的轨迹分割一致性蒸馏（TrajectorySegmentedConsistencyDistillation, TSCD）技术，显著提升了图像合成的效率，同时保持了生成图像的高质量。

Hyper-SD技术原理

❶扩散模型（Diffusion Models, DMs）：扩散模型是一种生成模型，它通过逐渐将噪声添加到数据中，然后学习如何逆转这个过程来生成新的数据样本。在图像合成的上下文中，扩散模型可以生成高质量的图像。
❷蒸馏算法：为了减少扩散模型在多步推理过程中的计算开销，Hyper-SD采用了一系列的扩散感知蒸馏算法。这些算法旨在简化模型的推理过程，同时保持或提升生成图像的质量。
❸轨迹分割一致性蒸馏（Trajectory Segmented Consistency Distillation）：这是Hyper-SD的核心创新之一。通过将整个推理过程分割成多个时间片段，并在这些片段内进行一致性蒸馏，模型能够保留原始ODE轨迹的完整性，从而在压缩推理步骤的同时，保持图像合成的质量。
❹人类反馈学习：Hyper-SD利用人类反馈来进一步提升模型在低步长生成时的性能。这涉及到在模型训练过程中考虑人类的偏好和评价，以减少蒸馏过程中可能出现的性能损失。
❺分数蒸馏（Score Distillation）：这项技术用于提高模型在低步长生成时的能力，通过提炼和融合模型在不同推理步骤中的分数，以改善最终生成的图像质量。
❻统一的低秩适应（Unified LoRA）：Hyper-SD尝试使用统一的低秩适应技术来支持所有推理步骤的推理过程。这种技术可以帮助模型在不同的推理步骤中保持一致性和效率。
❼两阶段渐进式一致性蒸馏：Hyper-SD采用的两阶段方法首先在两个不同的时间片段内进行一致性蒸馏，以获得两个时间段的一致性ODE。然后，这些ODE轨迹被用来在第二阶段训练全局一致性模型，进一步提升模型的推理性能。
❽性能评估：Hyper-SD通过CLIP Score和Aes Score等指标来评估生成图像的质量，并与现有方法进行比较，以展示其在图像合成方面的优越性能。
❾用户研究：通过用户研究，Hyper-SD收集了关于生成图像偏好的数据，这有助于进一步优化模型并满足用户的实际需求。