UniReal：Adobe联合香港大学推出的图像生成与编辑框架

UniReal简介

UniReal是由香港大学和Adobe的研究人员共同开发的一个先进框架，它通过学习现实世界的动态，能够统一处理多种图像生成和编辑任务。该框架将图像任务视为不连续的视频帧生成，利用大规模视频数据作为通用监督，以实现高度真实的结果。UniReal在处理复杂场景，例如阴影、反射、物体交互等方面展现出卓越的能力，并在新应用中显示出潜在的泛化能力。

UniReal主要功能

1. 图像生成与编辑：UniReal能够处理包括图像生成、编辑、定制和合成在内的广泛任务。
2. 多输入输出支持：框架支持处理不同数量的输入和输出图像，类似于处理视频帧。
3. 高度真实感：生成的结果具有高度的真实感，能够有效模拟现实世界的视觉效果。
4. 复杂场景处理：UniReal能够处理包含阴影、反射、照明效果和物体姿态变化等复杂场景。
5. 新应用泛化：学习多样化任务后，UniReal展现出对新应用的潜在泛化能力，无需额外训练数据。

UniReal技术原理

1. 统一框架设计：UniReal将图像级任务重新构想为“不连续”的视频帧生成问题，使用统一的模型处理多种任务。
2. 视频数据监督：利用大规模视频数据作为通用监督信号，学习图像间的一致性和变化。
3. 全注意力模型：基于视频生成模型，UniReal使用全注意力（full attention）机制来建模帧间关系。
4. 文本-图像关联：通过构建嵌入对将视觉标记与相应的文本提示关联起来，使得模型能够根据文本提示引用特定图像。
5. 层次化提示：设计了层次化的提示方案，包括上下文提示和图像提示，以减少训练和推理时的歧义。
6. 数据构建管道：从原始视频构建支持不同任务的数据集，利用视频帧之间的自然一致性和变化。
7. 多任务训练：模型在多个数据集上进行训练，以学习多种图像生成和编辑任务。
8. 分辨率扩展：模型能够处理不同大小和宽高比的图像，通过逐步增加分辨率来提高输出质量。

UniReal应用场景

1. 虚拟试穿：UniReal可以用于创建虚拟试穿应用，让用户在购买前预览服装在自己身上的效果。
2. 图像修复与美化：该框架能够修复老旧或损坏的图片，以及进行美容编辑，如去除皱纹、磨皮等。
3. 内容创作：UniReal支持艺术家和设计师在图像中添加或替换物体，创造全新的视觉作品。
4. 广告与营销：在广告领域，UniReal可以用来生成吸引人的广告图像，快速实现产品展示和场景模拟。
5. 游戏与电影制作：该框架能够用于游戏和电影的预可视化，帮助创作者在前期制作中构建逼真的场景。
6. 个性化商品定制：UniReal可以用于个性化商品的设计，如定制手机壳、T恤等，将用户指定的图像或设计元素融入产品中。

UniReal项目入口

• 项目主页：https://xavierchen34.github.io/UniReal-Page
• arXiv技术论文：https://arxiv.org/pdf/2412.07774