Muse：微软推出的专为游戏创意设计的生成式AI模型

0 50

Muse简介

Muse是由微软研究院的Game Intelligence团队和Teachable AI Experiences团队联合开发的首个生成式AI模型，专为游戏创意设计。该模型能够生成游戏视觉效果和控制器操作，甚至可以在给定初始提示的情况下生成完整的游戏玩法序列。Muse利用了大量来自Xbox游戏《Bleeding Edge》的玩家数据，通过训练捕捉游戏动态，支持创意人员在游戏开发过程中进行快速迭代和创新。该模型的开源和WHAM Demonstrator原型的发布，为研究人员和开发者提供了探索和扩展生成式AI在游戏设计中应用的机会。

Muse主要功能

生成游戏视觉效果：Muse能够根据初始提示（如游戏画面或控制器操作）生成高质量的游戏视觉内容，包括角色动作、场景变化和游戏环境等。它可以生成长达数分钟的连贯游戏画面，支持多种游戏场景和玩法。
生成控制器操作：除了视觉内容，Muse还可以生成与游戏玩法相关的控制器操作序列。这意味着它可以模拟玩家的操作行为，生成符合游戏逻辑的动作指令。
支持创意迭代：Muse允许用户通过修改初始提示（如添加角色、改变场景）来生成新的游戏玩法序列。它能够将用户修改的内容“持久化”到生成的结果中，从而支持游戏创意的快速迭代和探索。
提供多样化的玩法变体：在相同的初始提示下，Muse可以生成多种不同的游戏玩法变体，展示不同的行为和视觉效果。这种多样性为游戏开发者提供了丰富的创意灵感。
与WHAM Demonstrator结合：Muse通过WHAM Demonstrator提供了一个可视化的交互界面，用户可以通过简单的操作（如输入初始画面或操作序列）与模型交互，探索其生成能力。

Muse技术原理

基于Transformer架构：Muse采用了Transformer架构，这是一种强大的深度学习模型，广泛应用于自然语言处理和图像生成任务中。它通过自注意力机制处理输入数据，能够捕捉游戏数据中的复杂模式和动态关系。
大规模数据训练：Muse的训练数据来自Xbox游戏《Bleeding Edge》的大量玩家行为数据，包括超过10亿张图像和控制器操作，相当于超过7年的人类游戏时间。这些数据帮助模型学习游戏的物理规则、角色行为和视觉风格。
多模态学习：Muse同时处理视觉数据（游戏画面）和操作数据（控制器指令），通过多模态学习将两者结合起来。这种结合使得模型能够生成既符合视觉逻辑又符合操作逻辑的游戏内容。
一致性与多样性优化：Muse通过优化算法确保生成的游戏内容在一致性（符合游戏规则）和多样性（不同玩法变体）之间取得平衡。它使用如Fréchet Video Distance（FVD）和Wasserstein距离等指标来评估生成内容的质量。
用户交互与持久化：Muse支持用户通过修改初始提示（如添加角色或改变场景）来引导生成过程。模型能够将这些修改“持久化”到生成的游戏序列中，从而实现用户对生成内容的直接控制。
分布式训练与扩展：为了处理大规模数据和复杂模型，Muse的开发团队采用了分布式训练技术，利用V100和H100 GPU集群进行大规模训练，从而实现模型的高效优化和扩展。