AGI：呼唤更好的检索技术，而非仅仅依赖于LLMs

发布日期：2024-12-05 08:15:05 浏览次数： 2760

作者：大模型之路

微信搜一搜，关注“大模型之路”

Artificial General Intelligence（AGI，通用人工智能）代表了技术发展的至高境界。这一概念设想了一种能够像人类一样快速学习新信息、灵活适应各种任务的人工智能。尽管大型语言模型（Large Language Models，LLMs）已在众多科学、技术、工程和数学（STEM）领域中取得了令人瞩目的成绩(LLM的擅长与不擅长：深入剖析大语言模型的能力边界)，但真正的AGI仍然遥不可及。

一、AGI 的发展现状与瓶颈

（一）AGI 的概念与追求目标

AGI，即通用人工智能，旨在开发出能够像人类一样在运行过程中学习新信息的人工智能。当前的大型语言模型（LLMs）虽然在几乎每个 STEM 学科中都能跻身前 10%，但距离真正实现 AGI 仍有差距。真正的 AGI 需要模型具备更强的情境理解能力，能够连接知识库，并像人类记忆一样无缝检索信息。

（二）现有检索技术的局限

基本语义搜索的主导地位与不足
在生产中的绝大多数 AI 系统依赖基本语义搜索来提供上下文，如目前大多数检索增强生成（RAG）系统仅通过向向量数据库进行单次检索调用来获取信息(微软最新研究：RAG（Retrieval-Augmented Generation）的四个级别深度解析)。这种方式在实际应用中表现出明显的局限性，除了简单的 “大海捞针” 式搜索外，难以完成更复杂的任务。例如，在面对需要深度理解数据关系、进行多步骤推理或精确筛选的查询时，基本语义搜索往往力不从心。
缺乏有效评估机制
很少有开发者对其检索管道进行正式评估，以确定在哪些情况下这种简单的检索方式会失效。在大多数情况下，评估仅在终端用户阶段通过简单的反馈机制（如点赞 / 差评）进行，且无法准确关联差评与具体问题所在，如无法确定是用户体验问题、LLM 的幻觉、检索管道失败还是语料库本身缺乏正确信息(RAG(Retrieval-Augmented Generation)评测：评估LLM中的幻觉现象)。这种缺乏有效评估的现状导致开发者难以针对性地改进检索系统。

二、常见检索问题实例分析

（一）否定语义查询

例如，当查询 “Which electric vehicle articles do not include any reference to Elon Musk?” 时，基于关键词和语义的搜索往往会错误地检索出包含对 Elon Musk 提及的电动汽车文章，而无法准确找到符合 “不包含” 这一否定条件的文章。这表明现有的检索技术在处理否定语义时存在明显缺陷，无法准确理解用户的意图，从而导致检索结果与期望相差甚远。

（二）多跳查询

以 “If the acquiring company fails to hold a shareholder’s meeting, what is the penalty?” 为例，回答此查询需要多步骤推理。首先要找到关于未能召开股东大会后果的段落，假设搜索结果表明在这种情况下协议将被终止，然后还需进一步搜索因协议终止而产生的处罚。然而，简单的语义搜索只能返回与股东大会和各种处罚相关的段落，无法将两者联系起来，不能将 “终止处罚” 相关内容提升到首要结果位置，无法满足多跳查询对信息整合和推理的要求。

（三）模糊筛选查询

在医学研究领域，如查询 “What diagnostic methods are suggested for early - stage cancer, in papers with a sample size of over 2000”，样本量信息通常在文章引言部分，而具体诊断方法可能在文章深处。现有的 RAG 管道可能会检索出不符合样本量要求的早期癌症诊断方法相关文章，且当 “超过 2000” 这样的筛选条件较为罕见时，正确答案几乎难以找到。这显示出在处理模糊筛选条件时，检索系统无法准确匹配分散在不同部分的相关信息，导致检索结果不准确且不完整。

三、检索评估的重要性与挑战

（一）检索评估对 AI 产品的关键意义

检索评估（大模型检索增强RAG评测）是构建有用且可靠 AI 产品的关键步骤。准确的检索能够为 AI 提供正确的上下文信息，减少错误信息的引入，从而降低 AI 产生幻觉的概率，提升其智能水平。如果检索系统无法准确获取相关信息，即使 LLM 具有强大的语言处理能力，也无法生成高质量、准确的回答，最终影响用户对 AI 产品的信任和使用体验。

（二）检索评估面临的困难

数据需求复杂
与 LLM 评估仅需（输入，输出）对不同，检索基准测试需要查询、在特定时间点的整个语料库快照以及准确的真实引用（即正确检索结果应来自哪些文档），且这些引用往往跨多个文档。构建这样的基准测试极为困难，需要投入大量的人力和时间来收集、整理和标注数据。
缺乏自动化评估方法
目前，大多数评估依赖手动审查查询，这一过程劳动密集、不一致且在大规模应用中不切实际。缺乏自动化的评估方法导致难以快速、准确地评估检索系统的性能，阻碍了检索技术的改进和优化。

四、解决检索问题的探索

（一）构建检索基准框架

为解决检索评估（五大开源RAG（Retrieval-Augmented Generation）评估框架详解）的难题，一些研究团队正在努力构建开源的基准创建框架，如 ZeroEntropy 致力于构建一个能够利用 LLMs 自主定义和构建基准的框架，以计算召回率、精确率、平均倒数排名等确定性指标。这样的框架有望为开发者提供标准化的评估工具，帮助他们更准确地评估检索管道的性能，从而有针对性地改进检索算法和系统。

（二）利用 LLMs 提升检索能力

LLMs 不仅在语言处理方面表现出色，还可在检索过程中发挥重要作用（检索增强思考 RAT（RAG+COT）：提升 AI 推理能力的强大组合）。例如，通过将 LLMs 与检索系统相结合，可以利用其对自然语言的理解能力来优化查询理解和结果筛选。LLMs 可以帮助解析复杂查询，理解用户意图，对检索结果进行重新排序和筛选，提高检索结果的相关性和准确性。此外，LLMs 还可以协助生成更准确的检索基准，通过模拟用户查询和预期结果，为评估检索系统提供更丰富、多样化的数据。

（三）对 AGI 发展的推动作用

更好的检索能力对于实现 AGI 至关重要。准确、高效的检索系统能够为 AGI 提供坚实的知识基础，使其能够快速获取所需信息，更好地理解和处理各种复杂任务。随着检索技术的不断改进和评估方法的完善，AGI 将能够更接近人类的智能水平，实现更广泛、深入的应用。例如，在医疗、法律、金融等领域，AGI 可以通过精准的检索和分析大量专业文献和数据，为专业人士提供更准确、有价值的决策支持。