我要投稿

MemoRAG：通过受记忆启发的知识发现迈向下一代RAG

发布日期：2024-09-25 20:05:57 浏览次数： 2456

作者：AI 搜索引擎

微信搜一搜，关注“AI 搜索引擎”

今天分享的是一篇由北京人工智能研究院与中国人民大学高瓴人工智能学院联合发布的文章：

MEMORAG: MOVING TOWARDS NEXT-GEN RAG VIA MEMORY-INSPIRED KNOWLEDGE DISCOVERY

MemoRAG：通过受记忆启发的知识发现迈向下一代RAG

论文链接: https://arxiv.org/abs/2409.05591

代码地址：https://github.com/qhjqhj00/MemoRAG

摘要

本篇文章介绍了一种新型的检索增强生成模型——MemoRAG。MemoRAG 采用双系统架构：一方面，它使用轻量但长距离的 LLM 形成数据库的全局记忆。当任务出现时，它生成草稿答案，引导检索工具定位数据库中的有用信息。另一方面，它利用一种复杂但表达能力强的 LLM，根据检索到的信息生成最终答案。它解决了现有 RAG 系统在处理模糊信息需求和非结构化知识方面的局限性。实验表明，MemoRAG 在复杂和简单任务中均表现出色。

方法

上图展示了标准RAG与MemoRAG在处理需要对整个数据库进行深入理解的查询时的比较。在左图中，由于输入查询的隐式性质，标准RAG难以准确定位所需的上下文，从而导致答案不太准确。在右图中，MemoRAG框架引入了一个智能接口，将任务与数据库中的相关知识连接起来。对于每个给定的任务，MemoRAG 会通过记忆模块生成检索线索。这些线索本质上是基于数据库压缩表示（即记忆）生成的草稿答案。尽管可能包含一些错误的细节，但这些线索能够明确揭示任务的底层信息需求。通过将这些线索作为查询，MemoRAG 能够有效地从数据库中检索必要的上下文，从而得出精确而全面的答案。

根据上述机制，记忆模块需要具备以下两点能力：

1 保持性：能够记住整个数据库的全局信息；
2 指导性：能够提供有用的线索以全面检索所需知识。

因此，作者引入了双系统架构，使用轻量的 LLM 作为记忆模块，重型 LLM 用于执行检索增强生成。

MemoRAG框架的工作过程可以表示为：

其中和分别表示生成模型和检索模型。( ) 代表输入查询，( ) 是从相关数据库 ( ) 中检索到的上下文， ( ) 是最终答案，( ) 代表一个可能不完整或缺乏细节的暂定答案，作为一组答案线索，指导从 ( ) 中检索最相关的上下文。

下面将详细介绍每一阶段：

生成线索：

在获取到问题与数据库后，采用记忆模型作为输入查询和相关数据库之间的语义桥梁生成有助于检索的线索。

检索相关文档：

在获取到优化后的检索线索后，通过检索模型在数据库中搜索相关的上下文。

生成答案：

在获取到问题与相关的上下文后，采用生成模型生成最终回答。

实验

本篇文章在三个基准上使用了三种不同的生成器（Llama3-8B-Instruct-8K、Phi-3-mini-128K、Mistral-7B-Instruct-v0.2-32K）测试了MemoRAG的性能，结果表明 MemoRAG 在各种数据集和查询类型上显著提升了标准 RAG 方法和其他基线的性能。