AniDoc：将草图序列自动转换为彩色动画

AniDoc简介

AniDoc是由香港科技大学、蚂蚁集团、南京大学、浙江大学和香港大学的研究人员联合开发的动画创作工具，旨在通过强大的生成性AI技术简化2D动画的制作流程。该工具基于视频扩散模型，能够自动将一系列草图转换为彩色动画，同时遵循参考角色设计，显著减少动画制作中的劳动成本，并提高内容创作的效率和质量。

AniDoc主要功能

1. 自动线稿上色：AniDoc能够将草图序列自动转换为彩色动画，遵循参考角色设计规范。
2. 对应匹配：利用对应匹配技术，即使在草图与参考角色设计之间存在姿势和比例差异时，也能保持颜色和风格的一致性。
3. 中间帧自动化：自动化中间帧（in-betweening）的创建，减少手动绘制的工作量。
4. 稀疏草图输入：支持基于稀疏草图输入进行有效插值和高质量上色，提高动画制作的效率。
5. 时间一致性：确保整个动画序列在时间上的颜色和风格一致性，避免闪烁或不一致现象。

AniDoc技术原理

1. 视频扩散模型：基于视频扩散模型构建，利用这些模型捕捉时间动态和视觉连贯性。
2. 对应引导上色：通过显式的对应机制，将参考角色设计中的颜色和风格信息整合到线稿中，提高颜色准确性和一致性。
3. 二值化和背景增强：为了模拟真实使用场景，对条件草图进行二值化处理，并采用背景增强策略，提高模型在训练中的稳定性和上色结果的质量。
4. 稀疏草图训练：采用两阶段训练策略，首先学习上色能力，然后去除中间草图学习插值能力，通过学习关键帧之间的插值来保持时间一致性。
5. 关键点匹配与轨迹控制：在训练阶段，显式提取参考图像和训练视频帧之间的匹配关键点对，构建点图以表示对应关系，并在推理阶段使用语义特征进行关键点匹配。
6. 3D U-Net和控制分支：使用3D U-Net设计用于视频生成，并将参考图像信息通过多个自注意力层集成到上色过程中，同时使用控制分支来注入对应关系和草图信息。

AniDoc应用场景

1. 动画制作：用于2D动画制作流程中，自动上色和生成中间帧，提高动画制作的效率。
2. 数字艺术创作：帮助艺术家和设计师快速将草图转换为彩色作品，加速创作过程。
3. 游戏开发：在游戏中快速生成角色动画，减少手动上色的工作量，加快游戏开发进度。
4. 教育与培训：在动画教育中作为教学工具，帮助学生理解动画制作流程，实践动画上色技巧。
5. 广告与营销：为广告行业提供快速动画制作解决方案，用于制作动态广告和营销内容。
6. 虚拟偶像与直播：在虚拟偶像和直播领域，用于实时生成和上色虚拟角色动作，提升直播互动体验。

AniDoc项目入口

• 项目主页：https://yihao-meng.github.io/AniDoc_demo/
• GitHub代码库：https://github.com/yihao-meng/AniDoc
• arXiv研究论文：https://arxiv.org/pdf/2412.14173