LongRAG：长检索单元增强LLM问答能力

发布日期：2024-06-26 07:46:54 浏览次数： 2981

作者：奇点智源

微信搜一搜，关注“奇点智源”

滑铁卢大学的研究人员开发了一种名为LongRAG的新型人工智能框架，该框架结合了长文本检索单元和长上下文大型语言模型，以提高检索增强生成系统的效率和准确性。

论文介绍

Retrieval-Augmented Generation (RAG) 方法通过从庞大的语料库中检索外部知识来增强大型语言模型 (LLM) 的能力。这种方法对于开放域问答特别有用，在开放域问答中，详细而准确的答案至关重要。通过利用外部信息，RAG 系统可以克服仅仅依赖 LLM 中嵌入的参数化知识的局限性，使其在处理复杂查询方面更有效。

RAG 系统中的一个重大挑战是检索器和阅读器组件之间的不平衡。传统框架通常使用较短的检索单元，例如 100 字的段落，这需要检索器筛选大量数据。这种设计给检索器带来了沉重的负担，而阅读器的任务仍然相对简单，导致效率低下，并且由于文档截断而导致潜在的语义不完整。这种不平衡限制了 RAG 系统的整体性能，因此需要重新评估其设计。

当前 RAG 系统中的方法包括 Dense Passage Retrieval (DPR) 等技术，该技术侧重于从大型语料库中找到精确、简短的检索单元。这些方法通常涉及召回许多单元并采用复杂的重新排序过程以实现高精度。虽然这些方法在一定程度上是有效的，但由于它们依赖于较短的检索单元，因此仍然需要解决其固有的低效性和不完整的语义表示问题。

为了应对这些挑战，滑铁卢大学的研究团队引入了一种名为 LongRAG 的新型框架。该框架包含一个“长检索器”和一个“长阅读器”组件，旨在处理每个单元约 4K 个 token 的较长检索单元。通过增加检索单元的大小，LongRAG 将单元数量从 2200 万个减少到 600,000 个，显着减轻了检索器的工作量并提高了检索分数。这种创新方法使检索器能够处理更全面的信息单元，从而提高系统的效率和准确性。

LongRAG 框架的工作原理是将相关文档分组为长检索单元，然后长检索器处理这些单元以识别相关信息。为了提取最终答案，检索器过滤前 4 到 8 个单元，并将它们连接起来并输入到长上下文 LLM 中，例如 Gemini-1.5-Pro 或 GPT-4o。这种方法利用了长上下文模型的先进功能来有效地处理大量文本，确保了信息的彻底和准确提取。

具体而言，该方法涉及使用一个编码器将输入问题映射到一个向量，并使用另一个编码器将检索单元映射到向量。计算问题和检索单元之间的相似度以识别最相关的单元。长检索器搜索这些单元，减少了语料库的大小并提高了检索器的精度。然后将检索到的单元连接起来并输入到长阅读器中，长阅读器使用上下文生成最终答案。这种方法确保阅读器处理一组全面的信息，从而提高系统的整体性能。

LongRAG 的性能非常出色。在 Natural Questions (NQ) 数据集上，它实现了 62.7% 的精确匹配 (EM) 分数，与传统方法相比取得了重大进步。在 HotpotQA 数据集上，它达到了 64.3% 的 EM 分数。这些令人印象深刻的结果证明了 LongRAG 的有效性，与最先进的微调 RAG 模型的性能相匹配。与传统方法相比，该框架将语料库大小减少了 30 倍，并将答案召回率提高了约 20 个百分点，在 NQ 上的 answer recall@1 分数为 71%，在 HotpotQA 上为 72%。

LongRAG 处理长检索单元的能力保留了文档的语义完整性，从而可以提供更准确、更全面的答案。通过减轻检索器的负担并利用先进的长上下文 LLM 的能力，LongRAG 为检索增强生成提供了一种更加平衡和有效的方法。滑铁卢大学的研究不仅为 RAG 系统设计的现代化提供了宝贵的见解，而且还突出了该领域进一步发展的巨大潜力，为检索增强生成系统的未来带来了乐观的前景。

总之，LongRAG 代表着在解决传统 RAG 系统的低效率和不平衡方面迈出的重要一步。采用长检索单元并利用先进的 LLM 的能力，可以提高开放域问答任务的准确性和效率。这种创新框架提高了检索性能，并为检索增强生成系统的未来发展奠定了基础。