Still-Moving：Google DeepMind 团队开发的一种创新视频生成框架

Still-Moving简介

Still-Moving 是由 Google DeepMind 团队开发的一种创新视频生成框架，它允许在无需定制视频数据的情况下，对文本到视频（T2V）模型进行个性化定制。这一技术通过在静态图像上训练轻量级的空间适配器，调整注入的文本到图像（T2I）模型层产生的特性，从而实现对视频内容的定制。这种方法不仅保留了 T2V 模型的运动先验，而且能够无缝整合定制的 T2I 模型的空间先验，显著提升了视频生成的个性化和风格化水平。

Still-Moving主要功能

1. 个性化视频生成：能够根据用户提供的静态图像，生成具有特定主题或风格的个性化视频内容。
2. 风格化视频生成：可以将特定的艺术风格应用到视频上，使得生成的视频具有一致的视觉风格。
3. 条件视频生成：结合 ControlNet 技术，能够在保留视频原有结构的同时，根据特定的条件或风格进行视频内容的定制。

Still-Moving技术原理

1. 空间适配器（Spatial Adapters）：训练轻量级的适配器来调整由注入的 T2I 层产生的特性，以解决特征分布不匹配的问题。
2. 运动适配器（Motion Adapters）：一种新颖的模块，允许在静态视频上进行训练，同时保持视频模型的运动先验，通过控制视频生成中的动态程度。
3. 冻结视频训练：使用由定制 T2I 模型生成的静态图像构造的“冻结视频”进行训练，这些视频是通过时间上重复静态图像形成的。
4. 运动先验保持：在测试时移除运动适配器模块，只保留训练好的空间适配器，以恢复 T2V 模型的运动先验。
5. 无需定制视频数据：Still-Moving 框架不需要定制视频数据即可实现视频模型的定制，这降低了数据收集和处理的复杂性。
6. 广泛的应用范围：该框架适用于任何在 T2I 模型基础上构建的 T2V 模型，具有很好的通用性和适应性。

Still-Moving应用场景

1. 社交媒体内容创作：用户可以生成个性化或风格化的视频，用于社交媒体平台分享。
2. 电影和视频制作：电影制作者可以使用该技术快速生成或编辑电影中的特定场景。
3. 广告行业：广告商可以定制视频广告，以更好地匹配品牌形象和风格。
4. 虚拟现实（VR）体验：为VR应用创造沉浸式视频内容，提供个性化的虚拟体验。
5. 游戏动画制作：游戏开发者可以利用Still-Moving生成独特的游戏角色动画和背景视频。
6. 教育和培训视频：教育机构可以定制教学视频，使内容更加生动和吸引人。

Still-Moving项目入口

• arXiv技术论文：https://arxiv.org/pdf/2407.08674