Light-R1：360智脑开源的专注于数学领域的语言模型

Light-R1简介

Light-R1 是由 360智脑开源的一款专注于数学领域的语言模型。该模型通过课程式微调（Curriculum SFT）和基于偏好优化（DPO）的方法，从无长链推理能力的模型出发，实现了在数学竞赛（如AIME24和AIME25）上的卓越表现，AIME24得分达到76.6，超越了此前的顶尖模型。开发团队通过精心设计的训练流程，结合数据清洗和模型合并技术，仅用约1000美元的成本和6小时的训练时间，便完成了模型的优化。此外，团队开源了所有训练数据和代码，基于360-LLaMA-Factory实现，为研究者提供了高效、低成本的模型开发范例。

Light-R1主要功能

1. 数学问题解决能力：Light-R1专注于解决复杂的数学问题，尤其在高难度的数学竞赛题目（如AIME）上表现出色，能够提供准确的推理和答案。
2. 高效低成本训练：该模型通过优化训练流程，仅需约1000美元的成本和6小时的训练时间，即可达到超越现有顶尖模型的性能，显著降低了开发门槛。
3. 跨领域泛化能力：虽然主要针对数学领域训练，但模型在其他未训练的领域（如科学问题）也展现了一定的泛化能力，说明其具备一定的通用性。
4. 开源与可复现性：项目开源了完整的训练数据、代码和评估工具，为研究人员提供了透明的开发路径，便于复现和进一步改进。

Light-R1技术原理

1. 课程式微调（Curriculum SFT）：采用分阶段的微调策略，先用大量基础数学数据训练模型，逐步提升其推理能力，然后再用更难的少量数据进一步优化，帮助模型更好地适应复杂问题。
2. 基于偏好优化（DPO）：在微调的基础上，通过对比正确和错误的回答，强化模型对正确推理路径的学习，进一步提升其推理精度。
3. 模型融合：将不同阶段训练的模型进行合并，综合各阶段的优势，进一步提升模型的整体性能。
4. 数据清洗与去重：对训练数据进行严格清洗，去除可能影响模型公正性的重复或相似内容，确保训练数据的纯净性。
5. 推理机制优化：在推理过程中，通过特定标记强制模型进行深度思考，确保其在解决复杂问题时能够充分展开推理链。

Light-R1应用场景

1. 教育辅导：为学生提供数学学习支持，辅助解决难题，生成解题思路和步骤，尤其适合备考数学竞赛的学生。
2. 学术研究：帮助研究人员处理复杂的数学建模和数据分析任务，加速科研进程。
3. 金融分析：用于金融领域的风险评估、投资策略制定，通过数学推理优化决策过程。
4. 企业优化：在企业运营中，用于解决复杂的资源分配、成本优化等问题，提升效率。
5. 智能工具集成：嵌入到智能助手或数学软件中，增强其推理能力，提供更精准的解答。
6. 医疗数据分析：辅助医疗领域的数据分析，例如处理临床试验数据或优化医疗资源配置。

Light-R1项目入口

• GitHub代码库：https://github.com/Qihoo360/Light-R1
• HuggingFace：https://huggingface.co/collections/qihoo360/light-r1