CLaMP 3：中央音乐学院等推出的音乐信息检索框架

CLaMP 3简介

CLaMP 3是由中央音乐学院、香港科技大学、纽约大学上海分校、阿布扎比穆罕默德·本·扎耶德人工智能大学和韩国科学技术院等机构联合开发的音乐信息检索（MIR）框架。它通过对比学习，将乐谱、表演信号、音频录音和多语言文本对齐到共享的表示空间中，实现了跨模态和跨语言的音乐检索。开发团队利用检索增强生成技术构建了M4-RAG数据集，包含231万音乐-文本对，并发布了WikiMT-X基准，用于评估模型在多模态和多语言任务中的表现。CLaMP 3在多种MIR任务中展现出卓越性能，显著超越现有基线模型，并在未见语言和未对齐模态中表现出强大的泛化能力。该框架为未来音乐信息检索和跨语言音乐生成研究提供了新的标准和资源支持。

CLaMP 3主要功能

1. 跨模态检索：CLaMP 3能够在乐谱、表演信号、音频录音和多语言文本之间进行检索，通过对比学习将这些不同模态的数据对齐到一个共享的表示空间中。
2. 多语言支持：CLaMP 3具备强大的多语言文本编码能力，能够处理和理解多种语言的音乐描述，支持未见语言的泛化。
3. 自动音乐标记：模型可以根据自然语言查询自动标记音乐的流派、情感和其他描述性属性，提升音乐组织、搜索和推荐的效果。
4. 数据集构建与基准测试：开发了M4-RAG数据集，包含231万音乐-文本对，并发布了WikiMT-X基准，用于评估模型在多模态和多语言任务中的表现。

CLaMP 3技术原理

1. 对比学习：CLaMP 3使用对比学习（Contrastive Learning）将不同模态的数据对齐到一个共享的表示空间中。通过最小化InfoNCE损失，模型能够学习到文本和音乐之间的相似性。
2. 多阶段训练策略：采用多阶段训练策略，逐步对齐文本编码器与不同的音乐编码器，确保训练的稳定性和有效性。具体步骤包括：
   • 阶段1：文本编码器首先与一个音乐编码器（如符号音乐编码器）对齐。
   • 阶段2：文本编码器冻结，与另一个音乐编码器（如音频编码器）对齐。
   • 阶段3：解冻文本编码器，进一步精细对齐。
   • 阶段4：再次冻结文本编码器，重新对齐第一个音乐编码器，修正对齐漂移。
3. 多模态编码器：CLaMP 3包含多个基于Transformer的编码器，用于处理不同模态的数据：
   • 多语言文本编码器：基于XLM-R-base模型，支持100种语言。
   • 符号音乐编码器：使用M3模型，处理多轨道的ABC记谱和MIDI编码。
   • 音频音乐编码器：一个12层的Transformer模型，利用预训练的MERT特征提取器处理音频数据。
4. 检索增强生成（RAG）：利用RAG技术生成M4-RAG数据集，通过从网络文档中检索相关信息，并使用大语言模型生成详细的注释和翻译，丰富数据集的多样性和语义深度。

CLaMP 3应用场景

1. 音乐搜索与推荐：通过自然语言查询（如“寻找一首欢快的古典钢琴曲”），快速检索并推荐符合描述的音乐作品，提升用户体验。
2. 音乐内容标注：自动为音乐生成标签（如流派、情感、场景等），帮助音乐平台更好地组织和分类音乐资源，优化内容管理。
3. 跨语言音乐检索：支持多语言查询，帮助用户在不同语言环境下找到所需的音乐，促进全球音乐资源的共享。
4. 音乐创作辅助：为音乐创作者提供灵感，通过文本描述生成与之匹配的音乐片段，辅助创作过程。
5. 音乐教育：帮助学生通过文本描述理解音乐作品的结构、风格和情感，辅助音乐理论教学和实践。
6. 影视配乐选择：根据影视场景的描述（如“紧张的追逐场景”或“浪漫的婚礼”），快速匹配合适的背景音乐，提高影视制作效率。

CLaMP 3项目入口

• 项目主页：https://sanderwood.github.io/clamp3
• GitHub代码库：https://github.com/sanderwood/clamp3
• HuggingFace：https://huggingface.co/sander-wood/clamp3
• arXiv技术论文：https://arxiv.org/pdf/2502.10362
• 在线体验：https://huggingface.co/spaces/sander-wood/clamp3