HippoRAG:模拟大脑记忆思索机制的 RAG

发布日期：2024-09-20 10:35:18 浏览次数： 3266

作者：深入LLM Agent应用开发

微信搜一搜，关注“深入LLM Agent应用开发”

人类大脑通过不断积累和更新知识来适应环境，而大型语言模型（LLMs）虽具智能，却缺乏这种动态更新能力。为解决这一问题，研究人员开发了一种名为“HippoRAG”的新框架，模仿了大脑新皮质和海马体的工作机制，显著提升了多跳问题解答的性能，比现有 RAG 方法高出 20%。HippoRAG 不仅成本低、速度快，在单一检索步骤中还优于迭代 IRCoT 方法。这展示了如何将生物学原理应用于提高 LLMs 的效率。RAG 通过将数据集分块并索引于矢量数据库中，实现高效检索。然而，传统 RAG 在涉及多块知识整合的现实任务（如法律、医学和科学领域的多跳问题解答）上表现不佳。以前的研究，如 Self-Ask^[1] 和 IR-CoT^[2]，通过多重检索和 LLM 生成迭代连接知识块，但在处理信息分散且无直接联系的任务上仍有不足。

例如，想找到斯坦福教授托马斯进行阿尔茨海默症研究的记录，传统 RAG 可能难以完成此任务，除非有段落同时提到斯坦福和阿尔茨海默症。然而人类则能通过联想记忆迅速联想到这两点。这就是 HippoRAG 的灵感来源。

1. 海马记忆索引理论

海马记忆索引理论^[3]描述了人类长期记忆的工作机制，涉及三个区域：

新皮质^[4]
副海马区(PHR)^[5]
海马体^[6]

它们协同完成两大功能：

模式分离：将不同经历存储为不同记忆
模式补全：从部分线索中检索完整记忆

感官输入经过新皮质处理为抽象特征，通过副海马区传递至海马体存储。当试图回忆时，海马体匹配部分线索并重建记忆。这种过程通过改变海马体索引，而不是直接更新新皮质表征，完成新信息的整合。

2. HippoRAG

HippoRAG 模仿了这一记忆流程，分为两个阶段：

离线索引，相当于记忆编码
在线检索，相当于记忆检索

2.1 离线索引

此阶段模仿大脑编码记忆的方式，使用 LLM 提取知识图谱三元组（主语、谓语、宾语），例如“爱因斯坦出生于德国”可被表述为：

主语：爱因斯坦
谓语：出生在
宾语：德国

这些三元组构成了人工海马体索引。通过余弦相似度，进一步添加连接边，使知识图谱更具连通性，类似于副海马区的功能。

2.2 在线检索

这一阶段模仿海马体的部分线索检索。基于 LLM 提取查询实体并将其链接到知识图谱中的查询节点，节点权重根据其特异性（类似于 IDF），使用个性化页面排名（PPR）^[7]算法，优先检索相关路径，最后排序语料库中的段落，指导检索系统找出最可能包含答案的段落。上图展示了 HippoRAG 与传统 RAG 的区别，后者仅孤立编码，而 HippoRAG 创建了类似大脑的关联图。

2.3 HippoRAG 的表现

HippoRAG 在三个多跳问答数据集上的表现均优于基线方法，单步检索任务的召回率提升了 20%。在多步骤检索任务中，特别是结合 IRCoT 时，也有类似表现。与 IRCoT 相比，HippoRAG 不仅性能优越，检索成本还降低了 10-30 倍，速度提升了 6-13 倍。

HippoRAG 的改进使其在问题解答上表现更佳，精确匹配（EM）和 F1 分数也更高。

3. 总结

个人觉得 HippoRAG 同样也是基于 KG 的一种 RAG，对于多跳问题天生具有优势。它使用 LLM 提取知识图谱三元组和相似度添加更多的关系连接，建立索引。它的创新在于检索机制，先获取查询语句中的实体，然后在使用 Personalized PageRank 来优先检索相关的路径，最后给出结果。简单讲，感觉就是使用 PPR 来对子图查询排序。从以上描述来看，相较于微软的 GraphRAG