TransPixar：通过文本描述生成背景透明的视频

TransPixar简介

TransPixar是由香港科技大学（广州）和Adobe联合开发的一种先进的文本到视频生成方法，旨在通过引入透明度信息生成RGBA视频。该方法基于扩散变换器（DiT）架构，创新性地引入了alpha通道特定的token，并采用LoRA（Low-Rank Adaptation）技术进行微调，实现了RGB和alpha通道的联合生成。TransPixar优化了注意力机制，确保了RGB和alpha通道之间的一致性，同时保留了预训练模型原有的RGB生成能力。通过在有限的训练数据下生成多样化且一致的RGBA视频，TransPixar为视觉特效（VFX）和交互式内容创作提供了新的可能性，能够实现如烟雾、反射等透明元素与场景的无缝融合，展现出强大的应用潜力。

TransPixar主要功能

• RGBA视频生成：能够从文本描述生成包含RGB颜色信息和alpha透明度通道的视频，实现复杂场景中透明元素与背景的自然融合。
• 透明度效果实现：通过生成alpha通道，可以实现如烟雾、火焰、水花等具有透明度的视觉效果，满足视觉特效（VFX）的需求.
• 保留RGB生成质量：在扩展生成alpha通道的同时，保持了预训练模型原有的RGB视频生成质量，确保生成的视频在色彩、纹理和细节上与原模型相当.
• 多样化内容生成：能够根据不同的文本描述生成各种类型的动态视频内容，如旋转的物体、飞行的鸟类、流动的液体等，具有较高的生成多样性和创意性.
• 联合生成机制：实现了RGB和alpha通道的联合生成，避免了传统生成-预测流程中RGB和alpha通道分离的问题，提高了生成效率和一致性.

TransPixar技术原理

• 扩散变换器（DiT）架构：基于DiT架构构建模型，利用其强大的自注意力机制捕捉视频帧之间的长程依赖关系，实现高质量的视频生成.
• alpha通道特定token引入：在输入序列中新增alpha通道的特定token，使其与文本和RGB token一起参与模型的计算，为生成alpha通道提供专门的表示空间.
• LoRA（Low-Rank Adaptation）微调：采用LoRA技术对预训练的RGB视频生成模型进行微调，仅对alpha通道的token进行LoRA层的调整，保持RGB生成质量的同时，使模型适应RGBA视频的生成需求.
• 位置编码优化：为alpha token重新初始化位置编码，并引入可学习的域嵌入，以区分alpha token和RGB token，减少空间-时间对齐的挑战，加速模型的收敛过程.
• 注意力机制优化：
  • Text-attend-to-RGB和RGB-attend-to-Text：保留原有的文本和RGB token之间的注意力交互，确保模型在生成RGB视频方面的性能不受影响.
  • RGB-attend-to-Alpha：引入RGB到alpha的注意力机制，使模型能够根据alpha信息优化RGB token，增强RGB和alpha通道之间的一致性.
  • Text-attend-to-Alpha去除：为了避免有限训练数据导致的性能下降，去除文本到alpha的注意力机制，减少不必要的干扰，保留模型原有的生成能力.

TransPixar应用场景

1. 娱乐行业：在电影、电视剧和动画制作中，生成具有透明度效果的特效视频，如爆炸产生的烟雾、魔法效果的光晕等，提升视觉冲击力和观众沉浸感.
2. 广告创意：为广告视频添加独特的透明元素，如产品展示时的透明水珠、烟雾环绕等效果，增强广告的吸引力和记忆点，突出产品特点.
3. 游戏开发：在游戏场景中生成动态的透明特效，如魔法施放时的透明能量波、角色动作产生的透明残影等，丰富游戏视觉效果，提升玩家体验.
4. 虚拟现实（VR）和增强现实（AR）：在VR和AR应用中，生成与现实世界无缝融合的透明虚拟物体，如虚拟导航标识、信息提示框等，增强虚拟与现实的交互性.
5. 教育和培训：在教育视频中，通过生成透明的示意图或动画，如化学反应过程中的分子变化、生物细胞结构等，帮助学生更直观地理解复杂概念和知识.
6. 社交媒体内容创作：为社交媒体平台创作具有创意的短视频，如美食制作过程中的透明油花、旅行视频中的透明水波等，吸引观众关注和分享，提高内容的传播力.

TransPixar项目入口

• 项目主页：https://wileewang.github.io/TransPixar
• GitHub代码库：https://github.com/wileewang/TransPixar
• arXiv技术论文：https://arxiv.org/pdf/2501.03006
• 在线体验：https://huggingface.co/spaces/wileewang/TransPixar