OmniBooth：华为联合香港科技大学推出的图像生成框架

OmniBooth简介

OmniBooth是由香港科技大学与华为诺亚方舟实验室联合开发的一种先进的图像生成框架，它通过多模态指令实现空间控制和实例级别的定制化。该框架能够理解文本提示或图像参考，并生成在指定坐标位置且属性与引导精确对齐的图像，显著提升了文本到图像生成的可控性和实用性。OmniBooth的核心在于其提出的潜在控制信号，这一高维空间特征能够无缝整合空间、文本和图像条件，为用户提供了前所未有的灵活性和控制力。

OmniBooth主要功能

1. 空间控制与实例级定制： OmniBooth能够根据用户提供的掩码和文本或图像指导生成图像，实现在指定坐标位置精确放置多个对象，并确保它们的属性与相应的指导相匹配。
2. 多模态指令整合： 框架支持通过文本提示或图像参考来描述生成指令，实现更自然和直观的用户交互。
3. 高质量图像生成： 通过精细控制，OmniBooth生成的图像在视觉上具有高质量，且与输入指令高度一致。
4. 灵活性和适应性： 用户可以根据需要选择文本或图像作为条件，实现更灵活的可控生成。

OmniBooth技术原理

1. 潜在控制信号（Latent Control Signals）： 这是一种高维空间特征，用于整合空间、文本和图像条件，提供统一的表示方法以实现无缝控制。
2. 多模态嵌入提取：
   • 文本嵌入： 使用CLIP文本编码器从文本描述中提取嵌入向量。
   • 图像嵌入： 利用DINOv2特征提取器从图像参考中提取空间和全局嵌入。
3. 统一多模态指令： 通过将文本和图像嵌入绘制到潜在控制信号中，形成包含不同模态控制的统一条件。
4. 特征对齐网络： 开发了一个网络来对齐通道维度，并使用UNet编码器将特征整合到扩散UNet中，实现条件注入。
5. 边缘损失（Edge Loss）： 为了增强对高频区域的监督，提出了边缘损失，通过Sobel滤波提取边缘图，并应用渐进式前景增强。
6. 多尺度训练和随机模态选择： 训练过程中采用多尺度训练和随机选择文本或图像作为条件输入，提高模型的灵活性和适应性。

OmniBooth应用场景

1. 个性化商品设计： 用户可以根据自己的喜好，通过文本描述或提供参考图像来定制商品的外观，如T恤图案设计。
2. 虚拟试衣间： 在线购物时，顾客可以上传自己的图片或描述想要的风格，生成试穿不同服装的效果。
3. 游戏内容生成： 游戏开发者可以利用OmniBooth快速生成具有特定属性和位置的游戏内对象，如武器、角色或环境元素。
4. 广告和营销材料制作： 营销人员可以根据产品特点和目标市场，生成吸引人的广告图像和营销材料。
5. 艺术创作辅助： 艺术家可以利用OmniBooth生成复杂的场景草图，作为创作灵感或绘画基础。
6. 教育和培训材料开发： 教育机构可以生成具有特定教学目标的图像，如模拟历史场景或科学概念图解，以增强学习体验。

OmniBooth项目入口

• 项目主页：https://len-li.github.io/omnibooth-web
• GitHub代码库：https://github.com/EnVision-Research/OmniBooth
• HuggingFace模型：https://huggingface.co/lilelife/OmniBooth
• arXiv技术论文：https://arxiv.org/pdf/2410.04932