GNN-RAG：一种无需昂贵计算资源投入将LLM效率和效果提升的新型 AI 方法

发布日期：2024-06-03 13:02:11 浏览次数： 3332

作者：Agent智能体

微信搜一搜，关注“Agent智能体”

LLM 凭借对海量文本数据的预训练，展现出卓越的自然语言理解力，但面临新知或特定领域内容时适应性受限，可能降低准确性。知识图谱（KG）作为结构化数据载体，有效助力信息更新与问答任务提升。

检索增强生成（RAG）框架通过融合 KG，显著增强了 LLM 在 QA 任务中提供精确答案的能力。单纯依赖 LLM 的检索机制，在处理复杂图形信息时显得力有不逮，制约了多级知识图谱问答（KGQA）的表现。

知识图谱问答（KGQA）技术分为两大类：语义解析（SP）法与信息检索（IR）法。SP 方法涉及将问题转化成逻辑查询形式，在知识图谱上执行以抽取答案，但这类方法依赖于带有标注的查询模板，有时生成的查询无法执行。

相比之下，IR 方法在较宽松的监督环境下运作，直接从知识图谱中检索相关信息以回答问题，无须依赖明确的查询标注。通过将图神经网络（GNN）与检索增强生成（RAG）模型结合，可以进一步优化 KGQA 过程，该策略利用 GNN 进行高效信息检索，并借助 RAG 完成深度推理，整体表现超越了当前的诸多方法。

GNN-RAG

明尼苏达大学的研究团队介绍了一种创新方法—— GNN-RAG，该方法旨在强化知识图谱问答（KGQA）中的检索增强生成（RAG）技术。GNN-RAG 巧妙运用了图神经网络（GNN）来处理知识图谱中复杂的图形结构数据，尽管 GNN 在自然语言理解方面有所局限，但却在图形表示学习上展现出卓越能力。

该方法通过 GNN 执行检索任务，聚焦于密集的知识图谱子图进行深入推理，以此辨认出可能的解答候选。接下来，系统会抽取出链接问题提及的实体与 GNN 选定答案之间的最短路径，将这些路径转化为语言表述，并借助 RAG 框架，将这些路径信息送入大规模语言模型（LLM）进行深度推理。

此外，研究还探索了基于 LLM 的检索器对 GNN-RAG 的进一步增强，旨在通过这一整合策略，实现 KGQA 性能的显著提升。

GNN-RAG 框架综合运用了图神经网络（GNN），专门针对密集子图进行深度推理，进而辨识并检索出候选答案，同时从知识图谱（KG）中抽取出关键的推理路径。这些路径随后被转换成可理解的文本形式，并馈入一个基于大型语言模型（LLM）的 KGQA 系统中，该系统利用了 RAG 技术。

GNN 之所以被采纳，是因为它们在解析复杂图形关系和解决多步推理问题上表现出色，这对于挖掘 KGQA 中至关重要的推理路径尤为关键。

受到不同预训练语言模型选择的启发，多种 GNN 架构能够生成多样化的输出，这进一步增强了基于 RAG 的 KGQA 系统的效能。相比之下，尽管 LLM 凭借其强大的自然语言理解能力，在处理直接或单步问题上更为高效，但它们在多跳推理上的效能受限。

为了弥补这一局限性并推动性能升级，采用检索增强（RA）策略，如 GNN 与基于 LLM 的检索机制的融合，显得尤为重要。这种结合不仅拓宽了答案的多样性，还显著提升了召回率，在共同作用下，极大提高了整个知识图谱问答（KGQA）任务的完成质量。

GNN-RAG优势

与其他方法相比较，GNN-RAG 显著展现出更高的性能水平。特别是在引入检索增强（RA）后，GNN-RAG+RA 更是一枝独秀，不仅超越了 RoG 方法，而且在更经济的计算资源消耗下，能够比肩乃至超过搭载了 GPT-4 的 ToG 系统。

尤其值得强调的是，GNN-RAG 在处理涉及多步骤推理和多个实体的问题时表现卓越，充分验证了其在复杂图形结构分析中的高效性与实用性。

检索增强技术，尤其是将 GNN 与基于大型语言模型（LLM）的检索相结合的策略，成为了提升答案全面性和查找准确性的关键所在。此外，GNN-RAG 还成功优化了多种 LLM 的表现，即便是对性能较弱的模型也实现了显著的性能提升。

综上所述，GNN-RAG 已被证实为一种广泛适用且高效的策略，能够有效强化不同应用场景及多种 LLM 架构下的知识图谱问答（KGQA）能力。

GNN-RAG 开创性地融合了图神经网络（GNN）与大规模语言模型（LLM），在基于 RAG 的知识图谱问答（KGQA）领域内，带来了几项核心贡献。首要的是，它创新性地应用 GNN 于信息检索过程，为 LLM 的推理能力添砖加瓦。通过检索分析，GNN-RAG 为检索增强技术注入了动力，进一步提升了整体系统的效能。

其次，GNN-RAG 在 WebQSP 和 CWQ 等基准测试中展现出了行业领先的性能，有力证明了其在捕获多跳信息方面的能力，这对于确保LLM推理的准确性和完整性至关重要。这些多跳信息的高效检索是 KGQA 中的一大挑战，而 GNN-RAG 的成功实践为此难题提供了有效的解决方案。

再者，GNN-RAG 在不增加额外计算负担的前提下，显著提升了基础 LLM 在 KGQA 任务上的表现，甚至在某些情况下，其性能可媲美或超越那些经过 70 亿参数微调的高端 LLM，如 GPT-4。这一成就凸显了 GNN-RAG 在优化 KGQA 领域、尤其是提升模型效率与效果方面的巨大潜力，无需昂贵的计算资源投入即可实现显著的性能飞跃。