NotaGen：中央音乐学院等推出的音乐生成模型

NotaGen简介

NotaGen是由中央音乐学院、罗切斯特大学、北京流体科技有限公司、清华大学等机构的研究团队共同开发的符号音乐生成模型。该模型借鉴了大型语言模型（LLM）的训练范式，通过预训练、微调和强化学习相结合的方法，生成高质量的经典乐谱。开发团队在160万首音乐作品上对NotaGen进行预训练，并在约9000首高质量古典作品上进行微调，以增强其音乐性。此外，团队还提出了CLaMP-DPO方法，通过强化学习进一步提升生成音乐的质量和可控性，无需依赖人工标注或预定义奖励。实验表明，NotaGen在主观评估中优于基线模型，显著提升了符号音乐生成的音乐性。

NotaGen主要功能

1. 高质量古典乐谱生成：NotaGen专注于生成高质量的经典乐谱，能够根据指定的时期、作曲家风格和乐器配置生成符合要求的音乐作品，满足专业音乐创作和分析的需求。
2. 音乐风格与可控性优化：通过“时期-作曲家-乐器”提示，NotaGen能够精准地模仿不同历史时期的音乐风格（如巴洛克、古典、浪漫），并根据指定的乐器组合生成音乐，实现高度的风格可控性。
3. 符号音乐生成：NotaGen采用符号音乐生成技术，以离散的符号（如音符、节拍）为基础，生成结构化、可读性强的乐谱，适用于音乐教育、演奏和研究等场景。
4. 提升音乐性与整体性：通过强化学习方法CLaMP-DPO，NotaGen能够优化生成音乐的音乐性，包括旋律流畅性、和声连贯性、结构完整性等，使生成作品更接近人类创作的水平。

NotaGen技术原理

1. 预训练（Pre-training）：NotaGen借鉴大型语言模型（LLM）的预训练范式，使用超过160万首音乐作品进行预训练，捕捉音乐的基本结构和模式。预训练阶段通过预测下一个符号，帮助模型学习音乐的通用规律和基础语法。
2. 微调（Fine-tuning）：在预训练的基础上，NotaGen在约9000首高质量古典乐谱上进行微调，这些乐谱来自152位作曲家，涵盖不同历史时期和风格。微调阶段通过“时期-作曲家-乐器”提示，使模型能够精准地生成符合特定风格和要求的音乐作品。
3. 强化学习（Reinforcement Learning）：NotaGen引入了CLaMP-DPO方法，这是一种基于直接偏好优化（DPO）的强化学习算法。通过CLaMP 2模型对生成音乐进行评估，将生成样本标记为“选择”或“拒绝”，从而优化模型的音乐性和可控性。该方法无需人工标注或预定义奖励，能够自动提升生成音乐的质量。
4. 数据表示与模型架构：NotaGen采用交错ABC符号表示法，将多声部音乐合并为单行序列，通过流式训练和推理方法生成长音乐作品。模型架构包括patch级解码器和字符级解码器，能够高效处理符号音乐的复杂结构，同时保持生成效率和质量。
5. 符号音乐生成技术：NotaGen将音乐抽象为符号序列（如音符、节拍、和弦），通过自回归生成方式逐步构建乐谱。这种方法能够更好地捕捉音乐的结构化特征，生成符合音乐理论和演奏习惯的作品。

NotaGen应用场景

1. 音乐创作辅助：为作曲家提供灵感，快速生成符合特定风格和乐器配置的乐谱草稿，节省创作时间。
2. 音乐教育：生成不同风格和难度的练习曲目，帮助学生熟悉不同历史时期的音乐风格和作曲技法。
3. 音乐表演：为演奏者提供高质量的乐谱，特别是为小众乐器或特定风格的作品生成演奏材料。
4. 音乐研究与分析：生成用于音乐学研究的乐谱样本，帮助学者分析不同作曲家的风格特征和音乐结构。
5. 音乐娱乐：为影视、游戏等娱乐产业生成背景音乐，快速匹配特定风格和情感需求的乐谱。
6. 音乐出版：为乐谱出版社生成高质量的乐谱模板，提高乐谱编纂和出版的效率。

NotaGen项目入口

• 项目主页：https://electricalexis.github.io/notagen-demo
• GitHub代码库：https://github.com/ElectricAlexis/NotaGen
• HuggingFace：https://huggingface.co/ElectricAlexis/NotaGen
• arXiv技术论文：https://arxiv.org/pdf/2502.18008