【文末福利送书】StructRAG：通过实时推理混合知识结构化推动RAG系统性能突破

发布日期：2024-11-02 23:19:56 浏览次数： 2622

作者：老贾探AI

微信搜一搜，关注“老贾探AI”

检索增强生成（RAG）技术在许多基于知识的任务中有效增强 LLMs，但在知识密集型推理任务中面临挑战。现有RAG方法难以准确识别关键信息并进行全局推理。本文提出了一种新的框架 StructRAG，旨在通过推理时混合信息结构化来增强 LLMs 在知识密集型推理任务中的表现。它能够根据任务需求识别最佳结构类型，将原始文档重构为该结构格式，并基于该结构进行答案推断。

StructRAG核心内容

StructRAG框架致力于解决知识密集型推理任务中的信息分散问题，具体方法包括：

1. 混合结构路由器：根据任务需求选择最适合的结构类型。此路由器利用问题和文档的核心内容来决定最佳结构类型。其工作原理如下：

其中，(C) 是选择的结构类型。

混合结构路由器的工作原理
a.核心内容提取:从文档中提取每篇文档的核心内容，通常是标题或前几个句子。
b.结构类型选择:根据问题和文档的核心内容，从五种候选结构类型中选择最合适的一种:表格(统计任务)、图表(长链任务)、算法(规划任务)、目录(总结任务)和文本块(简单单跳任务)。
c.训练方法:采用基于 DPO算法的训练方法，通过合成-模拟-判断的管道构建训练数据，使模型学习如何选择合适的数据结构类型。

2. 分散知识结构化器：将原始文档转换为结构化知识。该结构化器利用LLM的理解和生成能力，从文档中提取结构化知识。具体的公式为：

这里，是问题，是选择的结构类型，是第篇文档，是提取的结构化知识，是结构化知识的描述。

3. 结构化知识利用器：将复杂问题分解为简单的子问题，并通过结构化知识进行精确的知识提取和最终答案推理。具体的公式如下：

分解子问题:

提取精确知识:

推理最终答案:
其中，是分解的子问题，是所有子问题的精确知识，是最终答案。

4. 混合结构路由器的训练：

数据构建：使用LLMs合成新任务并模拟不同结构类型的解决方案，生成偏好对进行训练。
偏好训练：采用DPO算法训练路由器模块，无需额外的奖励模型。

实验设计

数据集选择：实验选择了Loong基准和Podcast Transcripts数据集。Loong基准包含四个任务（Spotlight Locating, Comparison, Clustering, 和 Chain of Reasoning），每个任务有四种文档长度设置。Podcast Transcripts是一个查询聚焦的摘要任务。
实现细节：基于Qwen2系列模型构建了框架，混合结构路由器使用Qwen2-7B-Instruct作为基础模型并实现DPO训练。分散知识结构化器和结构化知识利用器直接使用Qwen2-72B-Instruct作为基础模型。
训练数据构建：由于缺乏选择最佳结构类型的训练数据，设计了一种合成-模拟-判断的方法来构建偏好对。具体步骤包括使用LLMs合成新任务、模拟不同结构类型的解决方案，并通过LLM判断生成偏好对。

结果分析

整体结果：StructRAG在大多数任务和文档长度设置中表现优异，特别是在任务复杂性增加时，性能提升更为显著。
模块消融实验：验证了每个模块在StructRAG中的积极作用。移除任何模块都会导致显著的性能下降，表明所有模块都是不可或缺的。其中，混合结构路由器的选择对性能影响最大。

固定结构类型的缺点：实验表明，使用单一固定类型的信息无法在多样任务中取得良好性能。相比之下，选择最适合任务需求的结构类型可以显著提升性能。

总结

本文提出了一种新的框架StructRAG，通过混合信息结构化机制来构建和利用结构化知识，从而有效解决知识密集型推理任务中的信息分散问题。StructRAG包括一个混合结构路由器来精确选择最佳结构类型，然后是一个散布知识结构化器将原始文档转换为结构化知识，最后是一个结构化知识利用器来分解复杂问题并通过构建的结构化知识推断出最终答案。此外，为了获得高性能的混合结构路由器，我们通过合成-模拟-评判流程构建训练数据，然后通过DPO算法实现偏好训练。实验结果表明，StructRAG在多个知识密集型任务中取得了SOAT的性能，尤其在任务复杂性增加时，性能提升更为显著。本文提出了一种有前景的方向，专注于混合结构化知识，以在未来开发更强大的RAG系统。