如何用用 Parent-Child 分割提升问答系统的准确性？

发布日期：2024-11-19 07:03:52 浏览次数： 3110

作者：智能体AI

微信搜一搜，关注“智能体AI”

在构建大规模文档检索系统时，如何高效、准确地检索信息是一个关键挑战。传统的检索方法在处理长文档和复杂查询时，通常面临诸如文档长度过长、检索精度不高、上下文连贯性差等问题。为了应对这些挑战，Parent-Child Splitting and Retrieval 技术提供了一种创新解决方案。本文将详细介绍这一技术的背景、原理、应用场景及具体步骤，帮助读者更好地理解和应用该技术，从而提升文档检索系统的性能和用户体验。

一、背景介绍

1. 文档检索系统的现状与痛点

随着信息时代的飞速发展，文档检索系统被广泛应用于多个领域，如电子商务、知识管理、法律和医疗文献检索、问答系统等。然而，传统的文档检索方法在处理大规模和复杂信息时，面临如下问题：

文档长度过长：现代文档往往包含大量信息，例如企业的内部报告、法律文书、科研论文等。如果直接将长文档嵌入到向量空间中进行检索，容易出现信息冗余，甚至降低检索的效率和精度。
检索精度不高：许多文档检索系统在面对较长的文档时难以精准匹配用户的查询。这种情况下，用户的查询结果往往与其期望值有偏差，尤其是在查询较短且具体时，直接检索长文档难以提供理想的答案。
上下文连贯性差：为了提高检索精度，系统可能会将文档细分为更小的块。然而，这种做法往往会牺牲上下文的连贯性，导致用户在获得片段化信息时无法完整理解文档的内容。

面对这些问题，Parent-Child Splitting and Retrieval 技术应运而生。它通过将文档分割为多级结构的文本块，结合向量嵌入和检索算法，来提高系统的检索精度和效率，避免上述问题的发生。

二、技术原理

Parent-Child Splitting and Retrieval 技术通过将文档分割为多级文本块，并使用向量嵌入技术来提高检索系统的精度。具体原理可分为以下几个步骤：

1. 文档分割

Parent Chunks 分割：首先，将文档分割成较大的文本块，称为 Parent Chunks。每个 Parent Chunk 代表文档中的一个较大部分，通常包含多个段落或章节，大小可根据需求进行调整，常见设定为 2000 个字符左右。通过这样的分割，系统能够在保证上下文连贯性的同时，保持信息的整体性。
Child Chunks 分割：每个 Parent Chunk 进一步细分为更小的块，称为 Child Chunks。每个 Child Chunk 通常包含一个段落或几句话，大小同样可以根据需求设定，一般为 400 个字符。这一分割方式既能保留 Parent Chunk 的上下文关系，又能提高检索的精度。

2. 向量嵌入

Child Chunks 嵌入：使用预训练的模型（例如 BERT、GPT 等）将每个 Child Chunk 转换为向量。这些向量代表了文本块的语义信息，可以通过向量检索算法来进行比对和匹配。
保持关联关系：Child Chunks 与其对应的 Parent Chunk 保持关联，在后续的检索过程中可以对 Parent Chunk 进行合并，确保用户获取的信息上下文连贯。这种多层次分割结构不仅提高了检索的精度，还能保持文档整体的连贯性。

3. 检索过程

Query 嵌入：用户的查询被转换为向量形式，并与存储在数据库中的 Child Chunk 向量进行匹配。
Child Chunks 搜索：在向量数据库中搜索与查询向量相似的 Child Chunks。通过这种方式，系统能够精准匹配用户的查询，尤其是在短查询的情况下，Child Chunk 的检索精度更高。
Parent Chunks 确定：根据检索到的 Child Chunks，系统可以快速定位这些子块所属的 Parent Chunks，确保用户能够获得与查询上下文相关的完整信息。

4. 结果合并

合并 Parent Chunks：当检索结果返回多个相关的 Child Chunks 时，系统会自动合并这些子块对应的 Parent Chunks，形成一个完整的文档部分。
排序和过滤：为了确保用户获得最相关的结果，系统会对返回的 Parent Chunks 进行排序和过滤，以保证用户看到的内容是最符合其查询需求的。

三、应用场景

Parent-Child Splitting and Retrieval 技术的应用场景非常广泛，尤其适用于大规模文档检索和复杂查询的处理。以下是几个典型的应用场景：

1. 电子商务搜索

在电商平台上，用户通常希望快速找到符合其需求的商品信息。然而，商品描述文本通常较长，直接进行全文搜索可能导致匹配度不高或检索效率低下。通过使用 Parent-Child Splitting and Retrieval 技术，可以将商品描述细分为多个子文本块，确保更精确的匹配结果，同时保持商品信息的完整性。用户的查询不仅能快速匹配，还能在保持商品描述的连贯性基础上，提供更准确的搜索结果。

2. 知识库检索

企业内部的知识管理系统通常包含大量的技术文档和操作手册。为了提高检索效率，使用 Parent-Child Splitting and Retrieval 技术可以将每个技术文档进行合理的分割，从而提高用户查询的匹配精度。通过细分子文本块，系统能够更好地满足用户的特定需求，提高信息检索的准确性和时效性。

3. 法律和医疗文献检索

在法律和医疗等专业领域，文档通常较长且信息高度集中。传统的检索方法往往难以精确匹配用户的查询，而 Parent-Child Splitting and Retrieval 技术通过将文档分割为多个子文本块，能够更精准地匹配特定领域的查询。无论是医疗论文中的治疗方法还是法律文件中的条款细节，用户都能获得更加精准的搜索结果。

4. 问答系统

智能问答系统通常需要从大量文档中提取准确的答案，传统检索方法容易产生碎片化信息，影响上下文的连贯性。通过使用 Parent-Child Splitting and Retrieval 技术，智能问答系统能够更精确地提取相关信息，提供符合用户需求的答案，并且保持文档内容的连贯性和完整性。

四、具体步骤详解

为了帮助读者更好地理解和应用 Parent-Child Splitting and Retrieval 技术，本文将以实际代码为例，展示如何实现该技术的主要步骤。

1. 文档分割

from langchain.text_splitter import RecursiveCharacterTextSplitterfrom langchain_community.document_loaders import TextLoader
# 加载文档loaders = [TextLoader("example_data/FDR_State_of_Union_1944.txt"),TextLoader("example_data/Lincoln_State_of_Union_1862.txt"),]docs = []for loader in loaders:docs.extend(loader.load())
# 创建Parent Chunksparent_splitter = RecursiveCharacterTextSplitter(chunk_size=2000)# 创建Child Chunkschild_splitter = RecursiveCharacterTextSplitter(chunk_size=400)

2. 向量嵌入

from langchain_community.vectorstores import Chromafrom langchain_openai import OpenAIEmbeddingsfrom langchain.storage import InMemoryStore
# 创建向量存储vectorstore = Chroma(collection_name="split_parents", embedding_function=OpenAIEmbeddings())# 创建存储层store = InMemoryStore()
# 创建检索器retriever = ParentDocumentRetriever(vectorstore=vectorstore,docstore=store,child_splitter=child_splitter,parent_splitter=parent_splitter,)
# 添加文档retriever.add_documents(docs)

3. 检索过程

# 获取存储的文档数量print(len(list(store.yield_keys())))
# 搜索相似的Child Chunkssub_docs = vectorstore.similarity_search("justice breyer")print(sub_docs[0].page_content)
# 获取相关的Parent Chunksretrieved_docs = retriever.get_relevant_documents("justice breyer")print(len(retrieved_docs[0].page_content))

五、总结

Parent-Child Splitting and Retrieval 技术通过多层次的文档分割和向量检索，大大提升了文档检索系统的效率和精度。它在处理长文档和复杂查询时表现尤为突出，适用于电子商务、知识管理、法律和医疗等多个领域。通过本文的介绍和示例代码，读者可以轻松理解该技术的原理和应用，进而在实际项目中应用这一技术。