通古大模型：专注于古籍理解和处理的大语言模型

通古大模型简介

通古大模型是由华南理工大学深度学习与视觉计算实验室（SCUT-DLVCLab）开发的一款专注于古籍理解和处理的大语言模型。该模型基于Baichuan2-7B-Base，在24.1亿古籍语料上进行无监督增量预训练，并在400万古籍对话数据上进行指令微调，具备古文句读、翻译、赏析等功能。开发团队创新性地提出了冗余度感知微调（RAT）方法，有效提升了模型在下游任务中的性能，同时保留了基座模型的强大能力。通古大模型在多个古籍处理任务中表现优异，相关成果已被EMNLP 2024接收。

通古大模型主要功能

1. 古文句读：能够对古文进行准确的断句和标点，帮助用户理解古文的结构和意义。
2. 古文翻译：支持将古文翻译为白话文，降低古籍阅读的难度，使现代读者更容易理解。
3. 诗词创作：可以生成符合古典诗词格律和意境的作品，为文学创作提供灵感。
4. 成语解释：提供成语的释义、出处和用法，帮助用户更好地理解和运用成语。
5. 古籍知识问答：能够回答与古籍相关的知识性问题，涵盖历史、文化、哲学等多个领域。
6. 古文赏析：对古文进行文学赏析，包括修辞、意境、情感等方面的分析，提升用户对古文的理解和鉴赏能力。

通古大模型技术原理

1. 多阶段指令微调：模型采用了多阶段指令微调技术，通过在大规模古籍对话数据上进行微调，提升模型对古文任务的理解和生成能力。
2. 冗余度感知微调（RAT）：该方法通过识别和处理训练数据中的冗余信息，优化模型的训练过程，避免过度拟合，同时保留基座模型的强大能力。
3. 无监督增量预训练：在24.1亿古籍语料上进行无监督增量预训练，使模型能够学习到丰富的古文语言模式和知识结构，为后续任务提供坚实基础。
4. 基于Transformer架构：模型基于Transformer架构，利用其强大的并行计算能力和自注意力机制，有效处理长文本和复杂的语言结构。
5. 知识增强：在训练过程中融入古籍领域的知识，使模型能够更好地理解和生成与古籍相关的任务，提升其在特定领域的表现。
6. 高效推理优化：通过优化模型的推理流程，确保在实际应用中能够快速生成高质量的输出，满足用户对效率和准确性的需求。

通古大模型应用场景

1. 古籍研究与整理：为学者提供古文句读、翻译和知识问答功能，辅助古籍整理和研究工作，提高效率。
2. 教育领域：在语文教学中辅助讲解古文，帮助学生更好地理解古诗词和文言文，提升学习兴趣。
3. 文化传承与推广：通过诗词创作和古文赏析功能，激发人们对传统文化的兴趣，促进文化传承。
4. 在线学习平台：集成到在线学习平台，为用户提供古文翻译、成语解释等服务，丰富学习内容。
5. 智能问答系统：应用于文化类智能问答系统，回答与古籍、历史、文学相关的问题，提升用户体验。
6. 文化创意产业：为文化创意工作者提供灵感，如生成古风文案、诗词创作等，助力文化产品开发。

通古大模型项目入口

• Github代码库：https://github.com/SCUT-DLVCLab/TongGu-LLM
• HuggingFace：https://huggingface.co/SCUT-DLVCLab/TongGu-7B-Instruct