AdaCache：提高视频扩散变换器在生成视频时的推理速度

AdaCache简介

AdaCache是由Meta AI和石溪大学联合开发的一种创新方法，旨在加速视频扩散变换器（DiTs）的视频生成过程。这种方法无需额外训练，通过智能缓存和定制化的计算计划，根据视频内容动态调整资源分配，显著提升了视频生成的推理速度，同时保持了视频质量。AdaCache作为一个即插即用的组件，能够无缝集成到现有的视频DiT框架中，为用户提供了一种高效生成高保真度视频的新途径。

AdaCache主要功能

1. 加速视频生成： AdaCache的主要功能是提高视频扩散变换器（DiTs）在生成视频时的推理速度，减少计算资源的需求。
2. 质量保持： 在加速视频生成的过程中，AdaCache能够保持视频生成的质量，避免因加速而牺牲视频内容的高保真度。
3. 无需训练： AdaCache作为一种训练无关的方法，可以直接应用于现有的视频DiT模型，无需对模型进行重新训练或调整。
4. 即插即用： 作为一个即插即用的组件，AdaCache可以轻松集成到任何基线视频DiT中，无需复杂的设置或修改。
5. 动态计算分配： 根据视频内容的运动信息动态调整计算资源，优化质量和速度的权衡。

AdaCache技术原理

1. 缓存残差计算： AdaCache在DiT的变换器块内缓存残差计算结果，并在后续的扩散步骤中重用这些结果，减少重复计算。
2. 定制化缓存计划： 通过设计一个基于视频内容变化率的缓存计划，AdaCache决定何时重新计算残差，以最大化质量和速度的平衡。
3. 基于距离度量决策： 使用距离度量（如L1距离）来评估先前存储的表示与当前表示之间的变化率，以此作为是否缓存的依据。
4. 运动规范化（MoReg）： 引入运动规范化方案，根据视频的运动内容调整计算分配，高运动序列将分配更多的计算资源。
5. 内容依赖的缓存调度： AdaCache根据视频内容的不同，自适应地调整缓存和计算策略，实现内容依赖的优化。
6. 多GPU加速： 在多GPU设置中，AdaCache通过避免GPU间通信开销，进一步提高视频生成的并行处理速度。
7. 零拍摄（Zero-shot）推理加速： AdaCache不需要任何预先的训练或微调，可以直接应用于零拍摄视频生成任务，提高了模型的实用性和灵活性。

AdaCache应用场景

1. 电影和视频制作： AdaCache可以用于电影后期制作，快速生成高质量的特效视频，提高制作效率。
2. 视频游戏开发： 在游戏开发中，AdaCache能够加速生成逼真的游戏过场动画和动态背景，提升游戏体验。
3. 虚拟现实（VR）内容创建： 利用AdaCache快速生成高保真度的VR视频内容，为用户提供更加沉浸式的体验。
4. 社交媒体视频内容： 在社交媒体上，AdaCache可以帮助内容创作者快速制作和分享具有吸引力的视频内容。
5. 新闻和事件报道： AdaCache能够加速新闻机构生成报道视频，提高新闻报道的时效性和视觉质量。
6. 教育和培训视频： 在教育领域，AdaCache可以用于快速制作教学视频和培训材料，提高教育资源的质量和可访问性。

AdaCache项目入口

• 项目主页：https://adacache-dit.github.io/
• GitHub代码库：https://github.com/AdaCache-DiT/AdaCache
• arXiv技术论文：https://arxiv.org/pdf/2411.02397