PaintsUndo：输入静态图像自动生成整个绘画过程的视频

0 30

Paints-UNDO简介

Paints-Undo是一个致力于模拟人类数字绘画行为的AI项目，旨在帮助未来的人工智能更好地理解并满足艺术家的真实需求。该项目通过一系列模型，能够接受一张图片作为输入，并输出该图片的绘画过程序列，包括草图、上色、阴影等步骤。这些模型能够展示人类在创作过程中的多种行为，如图层变换和创意调整，为艺术家提供直观的绘画逆过程演示。需要注意的是，Paints-Undo对电脑配置要求不低，至少需要10GB显存。处理一张图片大概需要5到10分钟，最终生成一个25秒左右的视频。

Paints-UNDO主要功能

1.模拟绘画行为：Paints-Undo能够模拟人类在数字绘画中的各种行为，如草图绘制、墨线勾勒、上色、阴影处理等。
2.绘画序列输出：输入一张完成的画作，模型能够输出该画作的绘画步骤序列，类似于多次使用“撤销”操作。
3.关键帧生成：通过单帧模型，可以生成画作的关键帧，这些关键帧代表了绘画过程中的重要步骤。
4.视频生成：利用多帧模型，可以在关键帧之间生成中间帧，从而创建出一段相对完整的绘画过程视频。
5.自定义操作步数：用户可以指定“操作步数”，模型会根据这个步数生成相应步骤的绘画效果。

Paints-UNDO模型架构

Paints-Undo项目的模型架构包括两种主要类型的模型：单帧模型（single-frame model）和多帧模型（multi-frame model）。以下是两种模型的架构细节：

单帧模型（paints_undo_single_frame）

架构修改：基于SD1.5模型架构修改，针对不同的训练条件进行了调整。
训练条件：使用不同的β调度器、CLIP跳过和操作步数条件进行训练。
β值设置：使用betas = torch.linspace(0.00085, 0.020, 1000, dtype=torch.float64)，与原始SD1.5模型的β值设置不同。
文本编码器修改：移除了CLIP ViT-L/14的最后层，以适应模型的特定需求。
操作步数条件：通过类似于SDXL的额外嵌入方式，将操作步数条件添加到层嵌入中。
WD14标签器：模型严格与WD14标签器对齐，不使用其他增强方式。

多帧模型（paints_undo_multi_frame）

训练基础：从VideoCrafter系列模型恢复权重，但进行了大量修改和重新实现。
网络拓扑：虽然初始权重来自VideoCrafter，但经过广泛训练后，神经网络的拓扑和行为与原始Crafter有很大不同。
组件构成：模型包含5个组件：3D-UNet、VAE、CLIP、CLIP-Vision和图像投影。
VAE：使用ToonCrafter中提取的动漫VAE，用于时间上的动漫风格建模。
3D-UNet：修改自Crafters的lvdm，调整了注意力模块，支持时间窗口的Spatial Self-Attention。
注意力窗口类型：
- “prv”模式：每个帧的Spatial Self-Attention也关注其前一个帧的全部空间上下文。
- “first”模式：每个帧的Spatial Self-Attention也关注整个序列的第一个帧的全部空间上下文。
- “roll”模式：每个帧的Spatial Self-Attention也关注其前一个帧和下一个帧的全部空间上下文。
CLIP：使用SD2.1版本的CLIP模型。
CLIP-Vision：支持任意纵横比的Clip Vision实现，通过插值位置嵌入来适应不同尺寸的图像。
图像投影：实现了一个小型transformer，输入两帧图像，输出每帧的16个图像嵌入。

Paints-UNDO应用场景

1.艺术教育：作为教学工具，帮助学生理解数字绘画的步骤和技巧，通过观看绘画过程的逆向演示来学习。
2.动画制作：在动画和视觉效果制作中，可以用来生成动画的草图或关键帧，加快创作流程。
3.游戏设计：游戏开发者可以使用Paints-Undo来快速生成角色或场景的概念草图，作为设计初期的参考。
4.辅助创作：艺术家和设计师可以利用这个工具来探索不同的创作方向，或在创作过程中快速回退到之前的步骤。
5.内容生成：为社交媒体、广告或其他视觉内容平台生成独特的视觉素材。
6.个性化礼物：用户可以上传自己的照片，通过Paints-Undo生成独特的艺术作品，作为个性化礼物。