LongCite：提升大型语言模型在长文本问答任务中的可信度

LongCite简介

LongCite是由清华大学与智谱AI联合开发的一项先进技术，旨在提升大型语言模型在长文本问答任务中的性能。通过创新的CoF（Coarse to Fine）管道和大规模SFT数据集LongCite-45k的训练，LongCite模型能够生成包含精确句子级引用的回答，显著提高了回答的可信度和可验证性。这一突破性进展为构建更可靠、更值得信赖的人工智能系统奠定了基础。

LongCite主要功能

1. 生成细粒度引用： LongCite能够自动在长文本问答中生成句子级别的精确引用，使用户能够验证模型回答的准确性。
2. 提高回答的可信度： 通过提供具体的文本来源，LongCite增强了语言模型回答的可信性，减少了模型产生的错误信息或“幻觉”内容。
3. 自动化基准测试： 利用LongBench-Cite基准测试，LongCite可以自动评估语言模型在长文本问答任务中的表现。
4. 构建高质量数据集： 通过CoF（Coarse to Fine）管道，LongCite能够自动构建带有精确引用的长文本问答数据集，用于模型训练。
5. 单次输出准确回答和引用： LongCite训练的模型能够在单次输出中同时生成准确的回答和相应的引用信息，提高了效率。

LongCite技术原理

1. LongBench-Cite基准测试： 一个自动化的评估工具，用于测试和比较不同语言模型在长文本问答任务中生成引用的能力。
2. CoF（Coarse to Fine）管道： 一个四阶段的自动数据处理流程，包括：
   • 自我指导（Self-Instruct）： 利用语言模型生成问题和答案。
   • 块级引用生成： 通过检索上下文中的相关块并生成粗粒度的块级引用。
   • 句子级引用提取： 从块级引用中提取支持每个陈述的精确句子。
   • 数据过滤： 移除引用数量不足的问答实例。
3. 大规模SFT数据集LongCite-45k： 利用CoF管道构建的数据集，包含44,600个高质量的长文本问答实例，每个实例都带有精确的句子级引用。
4. 模型微调： 使用LongCite-45k数据集对现有的大型语言模型进行微调，以提高其在长文本问答任务中生成引用的能力。
5. 减少幻觉和提高上下文均匀利用： 通过在训练中加入引用信息，LongCite模型能够更全面地利用上下文信息，减少生成不准确或虚假内容的可能性。

LongCite应用场景

• 学术研究： 学者可以使用LongCite来快速查找和引用大量文献中的特定信息，确保研究的准确性和引用的可靠性。
• 法律分析： 法律专业人士可以利用LongCite分析大量案件文档，准确引用关键法律条文和判例，以支持法律论点。
• 医疗咨询： 在医疗领域，LongCite可以帮助医生和研究人员从医疗文献中提取和引用准确的数据和研究结果，以支持临床决策。
• 新闻报道： 记者可以使用LongCite确保报道中的事实有准确的来源和引用，提高新闻报道的可信度和专业性。
• 教育辅导： 教师和学生可以利用LongCite在撰写论文或研究项目时，快速找到并引用正确的学术资料，提高学术写作的效率和质量。
• 企业市场研究： 市场分析师可以应用LongCite处理和分析行业报告，准确引用市场数据和趋势分析，为商业决策提供支持。

LongCite项目入口

• GitHub代码库：https://github.com/THUDM/LongCite
• HuggingFace仓库：https://huggingface.co/THUDM
• arXiv技术论文：https://arxiv.org/pdf/2409.02897