Make-A-Character：几分钟内生成高质量的3D角色

0 20

Make-A-Character项目介绍

Make-A-Character (Mach) 是一个由阿里巴巴集团智能计算研究所开发的框架，它允许用户通过文本描述在几分钟内生成高质量的3D角色。这个框架利用了大型语言和视觉模型的强大功能，以理解文本意图和生成中间图像，然后通过一系列以人为中心的视觉感知和3D生成模块，将这些图像转化为完整的3D角色模型。

Make-A-Character主要功能

❶文本到3D角色生成：用户通过文本描述来指定角色的外观特征，Mach系统据此生成相应的3D角色模型。
❷定制化特征：用户可以自定义角色的面部特征、发型、眼睛颜色、眉毛、嘴巴、鼻子等。
❸逼真渲染：利用基于物理的渲染（PBR）技术和真实人类扫描数据，生成高度逼真的角色模型。
❹完整模型生成：生成的角色模型是完整的，包括眼睛、舌头、牙齿、全身和服装等。
❺动画支持：生成的角色支持动画，配备了高级的骨骼系统，可以进行动态表现。
❻行业兼容：生成的3D角色模型可以无缝集成到游戏和电影行业的标准CG流程中。

Make-A-Character应用场景

❶虚拟助手和客服：在客户服务领域，可以使用Mach生成的3D角色作为虚拟助手或客服代表，提供更加亲切和专业的服务体验。
❷游戏开发：游戏设计师可以利用Mach快速创建具有独特外观和表情的角色，加速游戏角色的设计和开发过程。
❸电影和动画制作：在电影和动画产业中，Mach可以用于生成或定制角色模型，用于预演、动画短片或完整长度的动画电影中。
❹虚拟现实（VR）和增强现实（AR）：在VR和AR应用中，Mach可以为虚拟环境创建逼真的3D角色，增强用户的沉浸感和交互体验。
❺教育和培训：通过Mach生成的3D角色可以用于教育软件，作为虚拟教师或学员，提供互动式学习体验。
❻广告和市场营销：公司可以创建品牌形象角色，用于广告宣传或市场营销活动，以吸引目标客户群体。

Make-A-Character技术原理

❶大型语言模型（LLM）：用于理解文本提示中的语义信息，并提取角色的面部属性。
❷视觉提示生成：将文本中的语义属性映射为视觉线索，用于指导后续的图像生成。
❸Stable Diffusion和ControlNet：结合使用生成参考肖像图像，确保图像具有所需的面部表情和姿态。
❹密集面部关键点检测：使用比传统更多的面部关键点来重建面部和头部的详细几何结构。
❺几何生成：通过三平面映射机制优化顶点位置，生成3D网格。
❻纹理生成：使用可微渲染技术从参考图像中提取纹理，并生成高分辨率纹理。
❼纹理修正与完成：对漫反射纹理进行修正，解决面部特定区域的不完美问题。
❽头发生成：通过2D图像合成和3D发丝重建，生成细致的头发模型。
❾资产匹配：使用CLIP文本编码器匹配最符合输入提示的预制3D资产。
❿角色装配：将生成的头部网格与匹配的头发、身体、服装和配饰组装成完整的3D角色模型。