QA-MDT：中科大与科大讯飞联合研发的音乐生成模型

QA-MDT简介

QA-MDT（Quality-aware Masked Diffusion Transformer）是由中国科学技术大学与科大讯飞共同开发的一种创新的音乐生成模型。该模型采用掩蔽扩散变换技术，能够在训练阶段识别并优化输入音乐波形的质量，从而生成高质量且音乐性强的曲目。通过独特的质量感知训练策略和标题精细化处理，QA-MDT在MusicCaps和Song-Describer数据集上展示了其卓越的性能，为音乐生成领域提供了一种新的解决方案。

QA-MDT主要功能

1. 高质量音乐生成： 从文本描述中生成高质量且与文本情感、风格、乐器等描述相匹配的音乐片段。
2. 质量感知训练： 在训练过程中，模型能够识别并提升输入音乐波形的质量。
3. 文本-音乐对齐增强： 通过标题精细化处理方法，提高生成音乐与文本描述之间的相关性。
4. 多样化音乐生成： 能够产生多样化的音乐，满足不同风格和情感表达的需求。

QA-MDT技术原理

1. 掩蔽扩散变换器（MDT）： 采用掩蔽技术处理音乐的频谱表示，通过变换器架构优化音乐信号的生成过程。
2. 质量感知训练策略： 引入伪MOS（Mean Opinion Score）评分模型，将音乐质量评分融入模型训练，增强模型对音乐质量的识别和控制能力。
3. 音乐标题细化： 使用大型语言模型和CLAP模型来同步音乐信号与标题，提升文本-音频的一致性。
4. 数据增强： 通过融合生成的标题和原始标题，利用大型语言模型提升音乐数据集的质量和多样性。
5. 变分自编码器（VAE）： 使用VAE将音乐信号压缩成低维潜在表示，以便于模型处理和噪声添加。
6. HiFi-GAN： 在生成阶段使用HiFi-GAN从mel-spectrogram重建波形，以产生高保真的音乐输出。
7. 分类器自由引导（CFG）： 在训练中使用无条件模式提升模型的泛化能力，并在推理时通过负向提示防止生成低质量内容。
8. 多粒度质量信息注入： 在不同层次上注入质量信息，包括文本前缀和质量嵌入，以实现更细致的质量控制。

QA-MDT应用场景

1. 音乐制作： 辅助音乐家和制作人快速生成符合特定风格和情感要求的音乐片段。
2. 多媒体内容创作： 为视频、动画、广告等提供与画面内容高度匹配的背景音乐生成服务。
3. 音乐教育： 帮助学生理解音乐理论与实际音乐创作之间的联系，提供个性化的音乐创作练习。
4. 游戏开发： 动态生成符合游戏场景氛围的音乐，增强玩家的沉浸式体验。
5. 音频内容平台： 为音乐流媒体服务提供算法创作的音乐，丰富平台内容，满足用户多样化的音乐口味。
6. 电影和电视后期制作： 快速生成或修改音乐片段，以更好地配合电影和电视节目的情感和节奏。

QA-MDT项目入口

• 官方项目主页：https://qa-mdt.github.io/
• GitHub代码库：https://github.com/ivcylc/qa-mdt
• arXiv研究论文：https://arxiv.org/pdf/2405.15863
• 在线体验：https://huggingface.co/spaces/jadechoghari/OpenMusic