微软：RAG 任务分类法玩转LLM外部知识

发布日期：2024-10-11 08:00:31 浏览次数： 2595

作者：悠悠智库

微信搜一搜，关注“悠悠智库”

问题

RAG 任务分类法的核心是什么？
RAG 任务分类法对解决工程问题带来什么帮助？
RAG 任务分类法如何结合RAG工具提高任务效率？

四个级别，明确LLMs任务复杂度

RAG任务分类方法，根据所需的外部数据类型和任务的主要焦点，将用户查询分为四个层次：

• Level-1 显性事实：此类查询涉及直接从数据中提取明确存在的事实，无需进行任何形式的额外推理。这构成了最基础的查询类型，其中模型的主要任务是精确定位并提取相关信息。例如，“2024年夏季奥运会在哪里举行？”

• Level-2 隐性事实：这些查询要求揭示数据中隐含的事实，可能需要一些常识推理或简单的逻辑推断。信息可能分散在不同的数据片段中，或者需要通过简单的推理过程来获取。例如，“目前哪个国家正在举办堪培拉所在国家的执政党会议？”这个问题可以通过结合堪培拉位于澳大利亚的事实和当前执政党的信息来解答。

• Level-3 可解释的推理：在这一层级，查询不仅要求对事实的掌握，还要求模型能够理解并应用与数据背景密切相关的领域特定推理依据。例如，在制药领域，LLMs 需要解读美国食品药品监督管理局（FDA）的指导文件，以评估药品申请是否符合监管要求。在客户支持场景中，LLMs 必须遵循预定义的工作流程来有效响应用户查询。在医学领域，LLMs 可以开发成一个专门管理胸痛的专家系统，遵循权威的诊断手册和标准化指南。这种能力确保了 LLMs 的输出不仅在事实上正确，而且在上下文中也相关，且严格遵守监管和操作规范。

• Level-4 隐式推理：这一级别的查询进入了一个更具挑战性的领域，其中推理依据并未明确记录，而是需要通过分析历史数据中的模式和结果来推断。例如，在IT运营领域，LLMs 需要从云运营团队解决的历史事件中挖掘隐性知识，识别成功的策略和决策过程。在软件开发中，LLMs 必须从以往的调试错误记录中提取出指导性原则。通过整合这些隐含的推理依据，LLMs 提供的回答不仅准确，而且能够反映出经验丰富的专业人士的隐性知识和问题解决技巧。

将查询划分为不同层次，既体现了 LLMs 需要理解的复杂性和多样性，也指明了各个层次的关注点，如图2所示。前两个层级——显性事实和隐性事实，主要聚焦于事实信息的检索，无论是直接呈现的还是需要基本推理得出的。这些层级考验的是 LLMs 从数据中提取和综合信息以形成连贯事实的能力。与此相对，后两个层级——可解释的推理和隐式推理，则将重点转向了 LLMs 学习和应用数据背后逻辑的能力。这些层级要求更高层次的认知介入，LLMs 必须要么与专家的思维方式保持一致，要么从非结构化的历史数据中提炼出洞见。

对于显性事实查询，准确的回答依赖于在庞大的外部数据库中精确定位具体的外部数据信息；而对于隐性事实查询，答案通常需要从多个相互关联的事实中综合得出，因此，全面检索并整合有效信息成为了这一类查询的关键挑战。可解释的推理查询任务是将多样的外部逻辑关系输入大语言模型，并确保其精确遵循这些逻辑指导来生成回应；而对于隐式推理查询，从外部示例或知识库中提炼并识别出解决问题的策略则成为至关重要的任务。

不同层级解决方案

在处理显性事实查询时，其关键挑战在于如何在数据库中精确地定位事实，因此，基础的 RAG（Retrieval-Augmented Generation，检索增强生成）方法成为了首选策略。对于隐性事实查询，这类查询要求整合多个相关事实，所以采用迭代式的 RAG 方法或基于图结构、树结构的 RAG 实现更为适宜，因为它们能够同时检索独立事实并建立数据点之间的联系。在需要广泛数据互联的情况下，Text-to-SQL 技术则显得尤为重要，它可以通过数据库工具来增强外部数据的搜索能力。

针对可解释推理查询，运用提示调优和链式推理提示技术可以增强 LLMs 对外部指令的遵循度。而最具挑战性的隐藏推理查询，则需要从大量数据中自动提炼出问题解决策略。在这种情况下，离线学习、上下文学习以及模型的微调就成为了解决问题的关键手段。

总体而言，研究员们认为，开发者作为领域专家在着手开发特定的大语言模型应用之前深入洞察预期任务，明确相关查询的复杂性，并选取恰当的技术手段来解决问题十分必要。这些方法主要可以通过以下三种机制向 LLMs 注入知识，如图所示：

a) 根据查询需求，从领域数据中提取部分内容作为 LLMs 的上下文输入；

b) 训练一个规模较小的模型，该模型在特定领域数据上训练后，用于引导外部信息的整合，并最终输入至 LLMs；

c) 直接利用外部的领域知识对通用大语言模型进行微调，从而将其转化为领域专家模型。

回到问题

RAG 任务分类法的核心是什么？
根据任务的主要焦点，将用户查询分为四个层次，并根据层次，采用对应解决方案。
RAG 任务分类法对解决工程问题带来什么帮助？
将外部数据接入大模型问题具象化，提供解决思路。可根据任务快速构思解决思路。类似设计模式。同时，也为数据增强的研究提供了重要的参考价值
RAG 任务分类法如何结合RAG工具提高任务效率？
最近两年，出来很多RAG技术，向量模型、Rerank、RAPTOR、GraphRAG、MemoRAG等，这些技术主要解决到level2层级，对于level2以下任务可采用相应技术，MemoRAG也可以尝试解决level3层级问题，但是，隐含推理角度的任务效果一直待考验，CoT结合模型可以解决一些显示推理任务场景任务，Agentic RAG是个方向（外部工作流规划）。基础模型推理能力提升，也对任务效果提升有很大帮助（例如：openai o1，模型内部推理规划)。