LAWGPT：南京大学开源的中文法律知识增强型语言模型

LAWGPT简介

LAWGPT是由南京大学国家新型软件技术重点实验室、人工智能学院和智能科学技术学院联合开发的开源中文法律知识增强型大型语言模型。该模型专为中文法律应用设计，通过法律导向的预训练和法律监督的微调，将法律领域知识融入模型，显著提升了其在法律任务中的理解和生成能力。开发团队利用大规模中文法律文档进行预训练，并构建了知识驱动的指令数据集进行微调，使LAWGPT在法律任务中表现优于开源的LLaMA 7B模型。该模型的代码和资源已在GitHub上公开，为法律人工智能领域的研究和应用提供了重要支持。

LAWGPT

LAWGPT主要功能

1. 法律知识问答：能够回答各种法律问题，包括法律条款解释、案例分析、法律咨询等，为用户提供专业的法律信息。
2. 法律文本生成：可以生成法律文书、合同、判决书等法律文本，帮助法律从业者提高工作效率。
3. 法律推理与预测：支持法律推理任务，如罪名预测、刑期预测、法律条款适用等，辅助法律决策。
4. 法律案例分析：对复杂法律案例进行分析，提供案件的法律依据和可能的判决结果。
5. 法律知识普及：通过通俗易懂的语言解释法律概念和条款，帮助普通用户更好地理解法律知识。

LAWGPT技术原理

1. 法律导向预训练（Legal-Oriented Pre-Training）：
   • 使用大规模中文法律文档（如法律条款、判决书、合同等）作为预训练语料，通过自回归语言模型训练，将法律领域的专业知识和语义信息融入模型。
   • 预训练目标是提升模型对法律文本的理解、推理和生成能力，使其具备法律领域的基础语言能力。
2. 法律监督微调（Legal-Supervised Fine-Tuning）：
   • 利用知识驱动的指令数据集进行微调，数据集包含法律问答、罪名预测、案例分析等任务，进一步优化模型在具体法律任务中的表现。
   • 微调过程中采用LoRA（低秩适应）技术，通过少量参数调整实现高效训练，同时保持模型的稳定性和可扩展性。
3. 指令增强与数据增强：
   • 使用ChatGPT等工具对数据集进行润色和扩充，提升数据质量，增强模型的泛化能力。
   • 采用Alpaca模板对指令和输出进行格式化，使模型能够更好地理解和生成符合法律规范的文本。
4. 模型架构与训练：
   • 基于开源的中文Alpaca-Plus 7B基础模型构建，结合法律领域的预训练和微调，使其具备法律专业知识。
   • 在训练过程中，使用NVIDIA V100 GPU进行分布式训练，优化模型参数以提高性能。

LAWGPT应用场景

1. 法律咨询：为用户提供即时的法律咨询服务，解答常见的法律问题，如合同纠纷、劳动权益、婚姻家庭等。
2. 法律文书撰写：辅助律师和法务人员撰写法律文书，如起诉状、答辩状、合同草案等，提高文书撰写效率和质量。
3. 案例分析与研究：帮助法律从业者快速分析复杂案例，提供相关法律依据和可能的判决方向，辅助法律研究和案件准备。
4. 法律知识普及：通过通俗易懂的语言解释法律条款和概念，帮助普通民众更好地理解法律知识，增强法律意识。
5. 法律条款解读：对法律法规进行详细解读，帮助用户理解条款的具体含义和适用范围，适用于企业合规和法律学习。
6. 司法辅助：为司法人员提供案件分析、法律适用建议等辅助功能，提升司法效率和准确性，尤其在基层司法实践中具有重要应用价值。

LAWGPT项目入口

• Github代码库：https://github.com/pengxiao-song/LaWGPT
• arXiv技术论文：https://arxiv.org/pdf/2406.04614