MiniRAG：香港大学推出的新型检索增强型生成（RAG）系统

0 10

MiniRAG简介

MiniRAG是由香港大学研究团队开发的一种新型检索增强型生成（RAG）系统，旨在解决在资源受限场景下部署小型语言模型（SLMs）时面临的挑战。该系统通过语义感知的异构图索引机制和轻量级拓扑增强检索方法，有效地利用了SLMs的优势，同时规避了它们的局限性。MiniRAG在使用SLMs时能够达到与基于大型语言模型（LLMs）方法相当的性能，同时仅需25%的存储空间。研究团队还贡献了一个全面的基准数据集LiHuaWorld，用于在现实设备场景下评估轻量级RAG系统，推动了该领域的研究进展。MiniRAG的开源实现和数据集为未来的研究和应用提供了宝贵的资源。

MiniRAG主要功能

高效检索与生成：能够在资源受限的设备上，利用小型语言模型（SLMs）实现高效的知识检索和准确的回答生成，为用户提供与大型语言模型（LLMs）相媲美的性能，满足用户在即时通讯、个人内容检索等场景下的实时信息需求。
轻量级与存储高效：仅需占用LLM-based RAG系统25%的存储空间，大大降低了对设备存储资源的占用，使得RAG系统能够在边缘设备、隐私敏感应用等资源受限环境中顺利部署和运行，提高了系统的可扩展性和适用性。
复杂查询处理：具备处理复杂、多步骤推理任务的能力，能够理解并解析包含多个约束条件和推理步骤的查询，通过有效的知识发现和推理路径构建，为用户提供准确、全面的答案，提升了系统在复杂场景下的实用性。

MiniRAG技术原理

语义感知的异构图索引机制
- 统一结构构建：将文本块和命名实体整合到一个统一的异构图结构中，节点包括文本块节点和实体节点，边包括实体-实体连接和实体-文本块连接，形成了一个丰富的语义网络，为精确信息检索提供了基础。
- 语义关系捕捉：通过语言模型的语义理解能力，建立实体之间的语义关系、层次结构以及时间或空间依赖，同时保留实体与其原始文本块的上下文相关性，弥补了SLMs在复杂语义理解上的不足。
- 边的语义描述增强：为知识图谱中的每条边生成语义描述，提供连接节点之间的明确关系上下文，使实体-文本块边成为带有文本属性的边，进一步丰富了图索引的语义信息，有助于提高检索的准确性。
轻量级拓扑增强检索方法
- 查询语义映射：利用SLMs进行实体提取，将用户输入查询中的关键实体和潜在类型识别出来，然后借助轻量级句子嵌入模型评估查询与图中实体节点的语义相似性，实现查询与索引数据的有效对齐。
- 查询驱动的推理路径发现：基于语义感知的异构图，通过智能查询引导机制构建推理路径，综合考虑查询与实体节点的语义相关性以及实体之间、实体与文本块之间的结构连贯性，优化路径发现过程，捕捉复杂的推理链，提高检索的逻辑性和准确性。
- 拓扑增强的知识检索：结合基于嵌入的相似性搜索和知识图谱的拓扑结构，先通过语义匹配确定种子实体，再利用图结构发现相关的推理路径，整合实体特定的相关性分数、结构重要性指标和路径连通性模式，实现高精度的知识检索，增强生成任务的准确性和可解释性。