PhotoMaker：对照片进行风格化处理

0 50

PhotoMaker项目介绍

PhotoMaker是由腾讯与南开大学团队联合研发的AI人物生成与图片风格化工具。它凭借先进的AI技术，能够智能生成个性化的人物照片，并提供多样化的图片风格化处理。无论是社交媒体分享、广告创意制作，还是影视角色设计，PhotoMaker都能为用户带来高效、便捷的解决方案，助力创意无限延伸。

PhotoMaker主要功能

❶个性化文本到图像生成：允许用户根据文本提示生成逼真的人类照片。
❷身份信息保留：通过编码多个输入ID图像，生成保持原始身份特征的照片。
❸风格化生成：在保留身份属性的同时，允许对生成的照片进行风格化处理。
❹年龄和性别变换：通过改变类别词（如“男人”和“女人”），在保持原始身份的同时实现年龄和性别的变化。
❺身份混合：整合不同ID的特征来形成一个新的ID。
❻高效率和高保真度：与测试时微调的方法相比，提供了显著的速度提升和高保真度的身份保持。

PhotoMaker应用场景

❶社交媒体娱乐：用户可以在社交媒体上分享通过PhotoMaker生成的独特艺术风格照片，展现个性。
❷广告创意制作：广告商利用PhotoMaker快速生成符合品牌风格的人物和场景图片，提升广告效果。
❸影视角色设计：电影、电视剧制作团队可以使用PhotoMaker生成角色设计草图，辅助角色创造。
❹教育与培训：教育机构和培训师利用PhotoMaker帮助学生和学员更好地理解和想象学习内容。

PhotoMaker技术原理

❶堆叠ID嵌入：将任意数量的输入ID图像编码成堆叠的ID嵌入，以保留身份信息。这种嵌入作为统一的ID表示，可以全面封装相同输入ID的特征，同时适应不同ID的特征进行后续整合。
❷文本和图像编码器：使用文本编码器和图像编码器分别获取文本嵌入和图像嵌入。
❸融合嵌入：通过合并相应的类别嵌入（如男性和女性）和每个图像嵌入来提取融合嵌入。
❹扩散模型：将所有融合嵌入沿长度维度连接起来，形成堆叠ID嵌入，然后将其输入到扩散模型的交叉注意力层中，以适应性地合并ID内容。
❺推理阶段的灵活性：在推理阶段，可以来自不同ID的图像构成的堆叠ID嵌入，允许在不同上下文中合成定制的ID。
❻ID导向的数据构建流水线：为了训练PhotoMaker，提出了一个以ID为导向的数据构建流水线，以组装训练数据。
❼条件提示：在生成过程中，使用条件提示来指导模型生成特定风格或特征的照片。
❽图像和文本的融合：通过调整输入图像池中不同ID的比例或通过提示加权方法，控制不同ID特征的整合比例。