GameNGen：首个由神经模型驱动的实时游戏引擎

GameNGen简介

GameNGen是由谷歌推出的创新游戏引擎，它完全基于神经模型，能够实现实时与复杂环境的交互。这个引擎能够以高帧率和高质量模拟经典游戏，如DOOM，代表了游戏引擎技术的一个新里程碑。通过先进的扩散模型和强化学习技术，GameNGen能够处理复杂的游戏状态更新和渲染逻辑，为玩家提供流畅且逼真的游戏体验。

GameNGen主要功能

1. 实时模拟: 能够实现在单个TPU上以超过20帧每秒的速度实时模拟经典游戏DOOM。
2. 高质量渲染: 通过扩散模型产生的下一帧预测具有高达29.4的PSNR值，与有损JPEG压缩质量相近。
3. 复杂环境交互: 能够处理游戏中的复杂交互，如健康和弹药计数、攻击敌人、破坏物体、开门等。
4. 长期轨迹稳定性: 通过条件增强技术，实现在长轨迹上的稳定自回归生成。

GameNGen技术原理

1. 两阶段训练:
   • （1）通过强化学习(RL)智能体学习游戏玩法并记录训练过程。
   • （2）使用扩散模型训练，以过去的帧序列和动作为条件产生下一帧。
2. 扩散模型: 利用扩散模型来生成条件帧，模拟游戏环境的动态变化。
3. 条件增强: 通过在训练时向编码帧中添加不同程度的高斯噪声并告知模型噪声水平，减少自回归采样过程中的误差累积。
4. 潜在空间解码器微调: 对预训练的扩散模型中的自动编码器解码器进行微调，以改善图像质量。
5. DDIM采样: 在推理阶段，使用DDIM采样和无分类器引导（Classifier-Free Guidance）来提高过去的观察条件的质量。
6. 少采样步骤: 在推理时，使用少量的去噪步骤（例如4步）以实现高效率和高帧率的输出。
7. 模型架构: 基于Stable Diffusion v1.4进行扩展，调整和优化以适应游戏模拟的特定需求。

GameNGen应用场景

1. 游戏开发: 为独立游戏开发者提供一种快速生成游戏环境和动态元素的方法，降低开发成本和时间。
2. 虚拟仿真: 在教育和训练领域，模拟真实世界环境，提供沉浸式学习和训练体验。
3. 电影和娱乐: 用于电影制作中的虚拟场景生成，减少实际拍摄成本，快速制作特效场景。
4. 交互艺术: 艺术家利用GameNGen创造动态艺术作品，观众互动可影响艺术作品的展现。
5. 游戏测试: 自动化测试新游戏的交互性和性能，快速发现并修复潜在问题。
6. 虚拟现实(VR): 在VR环境中提供逼真的实时渲染，增强用户的沉浸感和交互体验。

GameNGen项目入口

• 官方项目主页：https://gamengen.github.io/
• arXiv研究论文：https://arxiv.org/abs/2408.14837