ChildMandarin：南京大学等推出的普通话儿童语音数据集

ChildMandarin简介

ChildMandarin是由南开大学计算机学院与北京人工智能研究院联合开发的普通话儿童语音数据集，专注于3至5岁儿童的语音识别。该数据集包含41.25小时的语音数据，涵盖397名儿童，覆盖中国22个省级行政区，确保了性别比例的均衡。开发团队通过精心设计的数据收集和标注流程，为普通话儿童语音研究提供了宝贵的资源。ChildMandarin不仅填补了该年龄段儿童语音数据的空白，还在自动语音识别（ASR）和说话人验证（SV）任务中表现出色，为教育技术和儿童-计算机交互领域的应用奠定了坚实基础。

ChildMandarin主要功能

1. 提供儿童语音资源：为普通话儿童语音识别研究提供大规模、高质量的语音数据，填补3至5岁儿童语音数据的空白。
2. 支持ASR模型开发：通过多样化的语音样本和详细的标注信息，助力开发针对儿童语音的自动语音识别（ASR）模型，提升模型在儿童语音识别任务中的准确性和鲁棒性。
3. 助力说话人验证（SV）：为说话人验证任务提供数据支持，帮助开发能够准确识别儿童说话人的技术，进一步拓展儿童语音技术的应用场景。
4. 促进教育技术应用：为教育领域中的语音交互应用（如语言学习、阅读辅导等）提供数据基础，推动儿童教育技术的发展。
5. 推动跨区域研究：覆盖中国多个省级行政区的语音样本，为研究普通话在不同地区的发音差异及其对儿童语音识别的影响提供了可能。

ChildMandarin技术原理

1. 数据收集：
   • 多区域覆盖：从中国22个省级行政区招募3至5岁的儿童，确保数据的地理多样性。
   • 自然对话场景：在父母陪伴下进行录音，内容围绕儿童日常交流，保证语音样本的自然性和真实性。
   • 高质量录音：采用16kHz采样率和16位精度的WAV PCM格式录制，确保音频质量高，适合后续处理和分析。
2. 数据标注：
   • 专业标注团队：由专业人员进行逐字转录，包括停顿、不流利现象和儿童特有的语音模式，确保标注的准确性和完整性。
   • 方言和口音记录：保留不同地区的方言和口音差异，为研究儿童语音的地域特征提供支持。
3. 模型训练与评估：
   • ASR模型训练：使用Transformer、Conformer和Paraformer等先进架构，结合连接时序分类（CTC）、注意力机制和RNN-Transducer等技术，从头开始训练ASR模型。
   • 预训练模型微调：对Wav2vec 2.0、HuBERT和Whisper等预训练模型进行微调，利用其强大的特征提取能力，进一步提升ASR性能。
   • 说话人验证：通过提取说话人嵌入（如x-vector、ECAPA-TDNN和ResNet-TDNN），结合概率线性判别分析（PLDA）和余弦相似度等方法，实现儿童说话人的准确识别。
4. 性能优化：
   • 数据增强：通过多种数据增强技术，如添加背景噪声、调整语速等，提高模型对不同环境和语音变化的适应能力。
   • 参数优化：采用循环学习率、线性学习率调度等策略，优化模型训练过程，防止过拟合，提升模型的泛化能力。

ChildMandarin应用场景

1. 语言学习应用：帮助儿童学习普通话发音，纠正发音错误，提升语言能力。
2. 智能教育工具：开发互动式教育软件，如智能故事机、语言学习助手等，提供个性化的学习体验。
3. 儿童语音助手：用于开发儿童专用的语音助手，如智能玩具、学习设备等，实现自然语音交互。
4. 阅读辅导系统：辅助儿童阅读，通过语音识别和反馈，帮助他们更好地理解和表达文本内容。
5. 特殊教育支持：为有语言障碍的儿童提供辅助工具，帮助他们更好地进行语言交流和康复训练。
6. 儿童语音研究：支持学术研究，分析儿童语音的特征和发展规律，为儿童语言学和语音学研究提供数据基础。

ChildMandarin项目入口

• GitHub代码库：https://github.com/flageval-baai/ChildMandarin
• HuggingFace模型：https://huggingface.co/datasets/BAAI/ChildMandarin
• arXiv技术论文：https://arxiv.org/pdf/2409.18584