HippoRAG：模拟人类记忆的大语言模型

发布日期：2024-06-17 19:57:40 浏览次数： 3411

作者：AI每日资讯

微信搜一搜，关注“AI每日资讯”

哺乳动物的大脑可以储存大量信息。这对于大型语言模型（LLM）也是可能的，它们可以在其参数中保存大量知识。与LLM不同的是，大脑还能够不断整合新的经验，而不会丧失先前获得的知识。

为了部分解决这个问题，已有一些解决方案，例如检索增强生成（RAG）。RAG是一种外部记忆，可以将新信息呈现给模型。尽管LLM在预训练时具有静态和固化的记忆，但得益于RAG，它可以检索到模型训练日期之后的信息。

RAG的一个问题是：它找到文本片段并将它们作为上下文传递给模型时，这种方式并不能有效整合知识，特别是当这些新知识跨越段落边界时。实际上，每个片段都有明确的边界，但在长文档中，一些相关信息可能在另一个片段中，无法被找到。这个问题对医学、法律和科学等重要领域尤为敏感。事实上，对于许多现实世界的任务，需要找到并整合可能分散在语料库中的大量信息。这个问题可以通过多步骤查找方式部分解决，如下图所示，其中包括查找文档和进行推理。

上面这种方法的问题在于，它们难以找到未在同一片段中提到的两个实体之间的联系。像“X是谁，它推翻了Y的理论？”这样的问题很难回答，因为可能有几个片段讨论了这个问题，但其主题是隐含的。此外，多步推理的成本很高。

在人的大脑中，人类长期记忆的理论似乎揭示了它是如何解决这个问题的。根据这一理论，我们的大脑使用一种基于情境的方法来更新记忆。当前概念的表现在新皮层中，但这些概念会在C形的海马体中被索引。海马体索引是一组相互连接的索引，它们指示了新皮层中哪些记忆单元代表某个特定的记忆，以及它们之间如何关联。

海马体编码构成情景记忆的地点和事件序列，并将它们连接在一起，从而形成一种组织结构，使人能够在不同的经验之间进行推理关联。

为什么不在 RAG 中实施类似措施？

毕竟，对于我们学习的每个片段，我们都会学习一个上下文表示。真正缺少的是这些记忆单元之间的关系

受这些假设的启发，斯坦福大学的研究人员提出了 HippoRAG。在这种情况下，我们可以将 RAG 视为新皮质中的记忆，并在其中添加知识图谱（KG）作为我们的人工海马索引。这样，我们就可以对知识图谱进行推理，找到我们感兴趣的子图。

作者利用指令微调的 LLM 来提取知识图谱 (KG) 三元组。他们正在进行信息抽取，以从每个步骤中提取实体和关系。对于语料库中的每个段落，都会提取构成 KG 三元组的一组名称和关系。此外，使用用于检索的稠密微调编码器可以在相似但并不完全相同的名称之间提供额外的边

在检索过程中，会从查询中提取突出实体（称为查询命名实体）。检索编码器用于计算节点和查询中的实体之间的相似度。一旦我们找到这些相似的查询命名实体，我们就会使用个性化 PageRank（一种 PageRank 变体，它仅通过用户定义的源节点集来在图中分配概率）。然后我们找到我们感兴趣的节点并对其进行排序。此时，我们继续语料库中的步骤并向 LLM 提供上下文。