Soundwave：香港中文大学推出的语音理解模型

0 40

Soundwave简介

Soundwave是由香港中文大学（深圳）的研究团队开发的一种高效的语音与文本对齐技术，旨在提升语音大语言模型（LLMs）的数据效率。该团队针对语音和文本之间的表示空间差距及序列长度不一致性问题，提出了一个包含三个阶段的训练框架：对齐阶段、压缩阶段和监督微调阶段。Soundwave通过创新的架构和高效的训练策略，仅使用约10,000小时的训练数据，就在语音翻译、语音情感识别等任务上达到了行业领先水平，显著优于其他先进模型，且在零样本语音翻译任务中展现了强大的潜力。该技术不仅降低了训练成本，还为语音LLMs的发展提供了新的思路。

Soundwave主要功能

高效语音与文本对齐：Soundwave能够高效地将语音特征与文本特征对齐，解决语音和文本之间表示空间的差距问题，使语音能够被大型语言模型（LLMs）准确理解和处理。
语音序列压缩：通过动态压缩技术，Soundwave可以显著减少语音序列的长度，同时保留关键信息，提高模型的处理效率和响应速度。
多任务学习与泛化能力：该模型支持多种语音和文本任务，包括语音识别、语音翻译、情感识别、声音分类等，并通过动态多任务学习策略提升模型在不同任务上的泛化能力。
数据高效训练：Soundwave仅需约10,000小时的训练数据即可达到行业领先的语音理解性能，相比传统模型大幅减少了对大规模标注数据的依赖，降低了训练成本。
语音指令理解和生成：Soundwave能够理解和执行语音指令，生成自然语言回答或执行特定任务，如生成广告语、提供建议、解答知识性问题等，展现了强大的语言生成能力。

Soundwave技术原理

对齐阶段（Alignment Stage）：
- 使用预训练的音频编码器（如Whisper Large V3）提取语音特征，并通过一个适配器（包含线性层和Transformer层）将语音特征转换到与LLMs一致的表示空间。
- 利用CTC损失函数进行训练，使语音特征与文本特征对齐，解决表示空间差距问题。
- 采用高质量的语音识别数据和标准化的声音数据进行训练，确保快速收敛和高效学习。
压缩阶段（Shrinking Stage）：
- 基于CTC预测的概率确定语音序列的最终长度，并通过交叉注意力机制选择关键特征，同时保留辅助信息（如语调、音高）以防止信息丢失。
- 采用动态数据混合策略，根据任务数据量的不平衡性动态调整采样率，平衡不同任务在训练中的权重，避免模型偏向数据量大的任务。
监督微调阶段（Supervised Fine-tuning, SFT）：
- 在这一阶段，仅对LLMs的LoRA参数进行微调，进一步优化模型在特定任务上的性能。
- 使用文本和语音指令进行训练，增强模型对语音任务的理解和执行能力。
架构设计：Soundwave的整体架构包括音频编码器、对齐适配器、压缩适配器和LLMs。音频编码器负责提取语音特征，对齐适配器和压缩适配器分别用于解决表示空间差距和序列长度不一致性问题，LLMs则负责处理文本任务和生成输出。
数据处理与标注：为了支持对齐阶段，团队对语音数据进行了高质量的标注，包括语音转录和声音分类标签。同时，对声音数据进行了标准化处理，统一了音频长度和标签格式，提高了数据质量。