Qwen2.5-1M：阿里通义开源的语言模型

0 50

Qwen2.5-1M简介

Qwen2.5-1M是由阿里通义千问团队开发的先进语言模型系列，专注于扩展上下文处理能力至100万tokens，显著提升了长文本任务的处理性能。该系列包括开源的Qwen2.5-7B-Instruct-1M和Qwen2.5-14B-Instruct-1M模型，以及API访问的Qwen2.5-Turbo模型。通过长文本预训练、合成数据优化以及稀疏注意力机制等技术创新，Qwen2.5-1M在长文本任务中表现出色，同时保持了短文本任务的性能。其推理框架经过优化，支持高效部署，大幅降低了推理成本，为长文本处理提供了强大的解决方案，推动了自然语言处理技术在复杂场景中的应用。

Qwen2.5-1M主要功能

长文本处理能力：Qwen2.5-1M能够处理长达100万tokens的上下文，显著提升了在长文本任务中的表现，如信息检索、长文档摘要和多步推理等。
高效推理：通过优化的推理框架，Qwen2.5-1M在处理长文本时实现了高效的推理速度，减少了计算资源的消耗和用户等待时间。
开源与API访问：提供开源的Qwen2.5-7B-Instruct-1M和Qwen2.5-14B-Instruct-1M模型，以及通过API访问的Qwen2.5-Turbo模型，方便开发者和用户进行集成和应用。
多任务处理：支持多种自然语言处理任务，包括文本生成、信息检索、代码生成和调试等，适用于复杂的实际应用场景。

Qwen2.5-1M技术原理

长文本预训练：
- 数据合成：结合自然长文本数据和合成数据（如填空任务、基于关键词和位置的检索、段落重排序等），增强模型对长距离依赖的理解。
- 渐进式上下文长度扩展：通过五个阶段逐步扩展上下文长度，从4096 tokens增加到262,144 tokens，并调整RoPE（Rotary Positional Embedding）的基频，以提高训练效率和效果。
后训练优化：
- 合成长指令数据：利用Qwen-Agent框架生成高质量的长文本问答对，增强模型在长文本任务中的表现。
- 两阶段监督微调（SFT）：先在短指令数据上进行训练，然后在混合了短长序列的数据上进行微调，以平衡短文本和长文本任务的性能。
- 强化学习（RL）：采用离线强化学习方法（如直接偏好优化DPO），提高模型对人类偏好的对齐能力，并在长文本任务中有效泛化。
高效推理与部署：
- 长度外推方法：采用Dual Chunk Attention（DCA）和YaRN技术，使模型在推理时能够处理比训练时更长的上下文，而无需额外训练。
- 稀疏注意力机制：通过MInference技术，在预填充阶段实现超过4倍的加速，并对稀疏注意力机制进行优化，包括与DCA的集成和稀疏性细化方法。
- 推理引擎优化：BladeLLM推理引擎通过内核优化、流水线并行和调度优化，显著提高了长序列的推理性能。
推理框架优化：
- 动态分块流水线并行：根据注意力内核的计算复杂性动态调整分块大小，减少流水线气泡，提高推理效率。
- 完全异步生成器（TAG）：实现完全异步的推理架构，减少非GPU阶段的开销，进一步提升解码效率。