YuLan-Mini：中国人民大学推出的具有2.42亿参数的轻量级语言模型

YuLan-Mini简介

YuLan-Mini是由中国人民大学高瓴人工智能学院开发的一个具有2.42亿参数的轻量级语言模型。该模型以其数据高效和训练稳定性而著称，能够在相对较小的数据集上实现与行业领先模型相媲美的性能。YuLan-Mini通过精细的数据流水线、稳健的优化方法和有效的退火策略，提升了训练效率，使其在资源有限的学术实验室环境中也能复现出具有竞争力的语言模型。

YuLan-Mini主要功能

1. 多领域应用： YuLan-Mini能够跨多个领域执行任务，展示出作为通用型大型语言模型的潜力。
2. 预训练与微调： 模型通过预训练和微调技术提升性能，其中预训练是构建模型基础能力的关键步骤。
3. 数据高效学习： 在有限的数据和计算资源下，实现与行业模型相竞争的性能。
4. 长上下文处理： 通过调整RoPE的基频扩展上下文长度，提升模型处理长文本的能力。

YuLan-Mini技术原理

1. 数据流水线：
   • 结合数据清洗和数据调度策略，以提高数据质量和训练效率。
   • 采用WebSD（Warmup, Stable, Decay）方法将训练过程分为热身、稳定训练和退火三个阶段。
2. 优化方法：
   • 采用WSD学习率调度器，保持稳定训练阶段的恒定学习率。
   • 结合µP初始化和WeSaR重参数化方法，以调整学习率和稳定训练。
3. 退火方法：
   • 通过目标数据选择和长上下文训练，提升模型性能。
   • 在退火阶段增加指令数据和长上下文数据的比例。
4. 模型架构：
   • 基于仅解码器的变换器架构，采用高窄结构。
   • 利用嵌入绑定减少模型参数大小并稳定训练。
   • 采用Pre-LN（预层归一化）和RMSNorm（根均方归一化）提高数值稳定性和学习速度。
5. Tokenizer：
   • 使用Byte Pair Encoding（BPE）tokenizer，词汇表大小约为99,000。
   • 应用BPE-dropout技术帮助模型更好地学习内部表示。
6. 训练稳定性：
   • 通过监控和调整隐藏状态来维持训练稳定性。
   • 探索隐藏状态的变异性和训练不稳定性之间的关系，并提出相应的缓解方法。
7. 训练基础设施：
   • 构建基于HuggingFace Trainer和其他开源库的高效训练框架。
   • 使用DeepSpeed、Flash Attention和liger-kernel等工具加速训练过程。
8. 评估与监控：
   • 在预训练过程中持续评估模型性能，以监控不稳定或异常的训练问题。
   • 根据模型在各种基准测试中的表现调整数据比例和训练策略。

YuLan-Mini应用场景

1. 自然语言理解： 用于理解和生成自然语言文本，适用于聊天机器人和客户服务自动化。
2. 文本分类： 对大量文本数据进行分类，如新闻文章、社交媒体帖子等，以便于内容管理和信息检索。
3. 语言翻译： 实现不同语言之间的自动翻译，帮助跨语言沟通和国际业务拓展。
4. 编程辅助： 提供代码生成和修正建议，辅助开发者提高编程效率和代码质量。
5. 数学问题求解： 解决数学问题和提供解题步骤，适用于教育领域和科学计算。
6. 知识问答系统： 构建问答系统，快速准确地回答用户基于特定知识库的查询。

YuLan-Mini项目入口

• Github代码库：https://github.com/RUC-GSAI/YuLan-Mini
• arXiv技术论文：https://arxiv.org/pdf/2412.17743
• huggingface：https://huggingface.co/yulan-team/YuLan-Mini