Llasa：香港科技大学等推出的语音合成模型

0 50

Llasa简介

Llasa是由香港科技大学、西北工业大学、北京科技大学、中国科学技术大学、香港中文大学、香港浸会大学、罗切斯特大学、上海摩拜信息技术有限公司等机构的研究团队共同开发的基于Llama模型的语音合成模型。该系统通过单层向量量化器（VQ）编解码器和单个Transformer架构，与标准的大型语言模型（LLMs）完全对齐，旨在通过扩展训练时间和推理时间的计算资源来提升语音合成的自然度、韵律准确性和情感表达能力。开发团队通过系统性的实验验证了其在语音自然度、韵律模式复杂性以及情感表达等方面的优势，并公开了相关模型和代码，为语音合成领域的研究和开发提供了新的方向和工具。

Llasa主要功能

高效语音合成：Llasa能够将文本输入高效地转换为自然、流畅的语音输出，支持多种语言和情感表达，适用于各种语音交互场景，如智能助手、有声读物和语音播报等。
情感表达与韵律控制：通过深度语义理解，Llasa可以生成带有情感色彩的语音，支持情感表达的自定义，同时优化韵律模式，使语音更具表现力和自然度。
零样本（Zero-shot）语音合成：Llasa具备强大的泛化能力，能够在没有特定说话人或情感样本的情况下，生成高质量的语音，支持跨说话人和跨情感的语音合成。
可扩展性和灵活性：基于单Transformer架构和离散语音标记的设计，Llasa易于扩展，支持通过增加模型大小或训练数据量来提升性能，同时兼容多种语音理解任务。
推理时间优化：在推理阶段，Llasa可以通过引入语音理解模型作为验证器，动态调整生成策略，进一步优化语音质量，提升说话者相似度、情感一致性和内容准确性。

Llasa技术原理

基于Transformer的架构：Llasa采用单个Transformer架构，与标准的大型语言模型（LLMs）对齐。它通过扩展词汇表以包含语音标记，并使用自回归的下一个标记预测范式进行训练，从而实现高效的语言建模和语音合成。
离散语音标记化：Llasa引入了Xcodec2语音标记器，将连续的语音波形编码为离散的语音标记。这种标记化方法结合了语义和声学特征，能够捕捉语音的内容、情感和音色信息，并通过单向量量化器（VQ）确保与Transformer模型的左到右自回归机制对齐。
训练时间扩展：Llasa通过增加模型大小（如1B、3B、8B参数）或扩展训练数据量（如80k、160k、250k小时语音数据）来提升合成语音的质量。实验表明，更大的模型和更多的数据能够显著改善语音的自然度和韵律准确性。
推理时间扩展：在推理阶段，Llasa利用语音理解模型（如说话者验证模型、情感分析模型等）作为验证器，通过过程奖励模型（PRM）或输出奖励模型（ORM）优化生成策略。这种方法能够在不增加训练成本的情况下，进一步提升语音的情感表达、音色一致性和内容准确性。
多任务学习能力：Llasa不仅支持语音合成，还可以通过调整标记顺序和训练目标，扩展到语音理解任务（如自动语音识别，ASR）。这种多任务学习能力展示了其在语音领域的广泛适用性。
开源与可扩展性：Llasa的开发团队公开了模型和训练代码，支持社区进一步研究和开发。这种开源策略有助于推动语音合成技术的快速进步，并为研究人员提供了灵活的实验平台。