直接嵌入文档中的原始文本而不进行摘要，往往会导致嵌入结果包含大量无关信息。例如，原始文本可能包含格式化的痕迹、样板语言等，这些内容对于理解核心内容并没有帮助，反而增加了嵌入向量的维度，形成了噪声。
比如在一篇产品文档中，可能存在大量的版权声明、页码标注等信息，这些在对文档主要内容进行理解和检索时是干扰因素。
关键概念稀释
（二）检索效率低下
匹配用户查询效果不佳
提供正确上下文困难
二、小型语言模型的优势
尽管大型语言模型在性能和功能上具有显著优势，但小型语言模型在RAG系统中同样扮演着重要角色。以下是小型语言模型在RAG系统中的几大优势：
资源高效：小型语言模型（Llama3.2 1B与3B：轻盈而强大的AI新势力）相较于大型模型，具有更低的计算复杂度和资源消耗。这使得它们能够在资源有限的场景下，如企业级应用或云端部署中，实现更为高效的运行。
易于部署：小型模型的体积小、重量轻，使得它们更容易在各类硬件平台上进行部署和集成。
适用性强：对于某些特定任务，如文本摘要、关键词提取等，小型语言模型同样能够展现出出色的性能。这些任务在RAG系统中至关重要，因为它们直接关系到信息的检索效率和准确性
三、小型语言模型在RAG中的应用
在RAG系统中，小型语言模型可以发挥多种作用。以下是一些典型的应用场景：
文本摘要与索引：利用小型语言模型对大型文档进行摘要和索引，可以显著提高RAG系统的检索效率。通过对文档进行摘要处理，可以去除冗余信息，保留核心要点，从而生成更为紧凑和高效的索引结构。
生成嵌入向量：小型语言模型还可以用于生成文本的嵌入向量。这些向量能够捕捉到文本的主要内容和特征，从而支持更准确的文本检索和匹配。
错误自校正：在RAG系统的生成过程中，小型语言模型还可以用于自我校正输出中的错误。通过不断迭代和优化生成过程，可以提高输出的准确性和可靠性。
四、使用小型 LLM 进行 RAG 的具体步骤
（一）离线数据处理
1、环境配置，导入必要的包
import pandas as pdimport fitz# PyMuPDFfrom transformers import AutoModelForCausalLM, AutoTokenizerimport torchimport lancedbfrom sentence_transformers import SentenceTransformerimport jsonimport pyarrow as paimport numpy as npimport re
2、定义辅助函数
定义一个函数 create_prompt，它可以根据 LLAMA 3.2 模型的格式创建提示。该函数接受一个问题作为输入，并返回一个符合模型要求的提示模板，其中包含系统消息和用户问题等部分。def create_prompt(question):"""Create a prompt as per LLAMA 3.2 format."""system_message = "You are a helpful assistant for summarizing text and result in JSON format"prompt_template = f'''<|begin_of_text|><|start_header_id|>system<|end_header_id|>{system_message}<|eot_id|><|start_header_id|>user<|end_header_id|>{question}<|eot_id|><|start_header_id|>assistant1231231222<|end_header_id|>'''return prompt_template
2）处理提示函数
定义函数 process_prompt，它使用模型和分词器处理提示。通过设置温度为 0.1，使模型更具确定性，减少创造性（即减少幻觉）。该函数对输入的提示进行编码，生成响应，并提取出助手的回复。
def process_prompt(prompt, model, tokenizer, device, max_length=500):"""Processes a prompt, generates a response, and extracts the assistant's reply."""prompt_encoded = tokenizer(prompt, truncation=True, padding=False, return_tensors="pt")model.eval()output = model.generate(input_ids=prompt_encoded.input_ids.to(device),max_new_tokens=max_length,attention_mask=prompt_encoded.attention_mask.to(device),temperature=0.1# More deterministic)answer = tokenizer.decode(output[0], skip_special_tokens=True)parts = answer.split("assistant1231231222", 1) if len(parts) > 1:words_after_assistant = parts[1].strip()return words_after_assistantelse:print("The assistant's response was not found.") return "NONE"
3、加载模型
model_name_long = "meta-llama/Llama-3.2-1B-Instruct"tokenizer = AutoTokenizer.from_pretrained(model_name_long)device = torch.device("cuda" if torch.cuda.is_available() else "cpu")log.info(f"Loading the model {model_name_long}")bf16 = Falsefp16 = Trueif torch.cuda.is_available():major, _ = torch.cuda.get_device_capability()if major >= 8:log.info("Your GPU supports bfloat16: accelerate training with bf16=True")bf16 = Truefp16 = False# Load the modeldevice_map = {"": 0}# Load on GPU 0torch_dtype = torch.bfloat16 if bf16 else torch.float16model = AutoModelForCausalLM.from_pretrained(model_name_long,torch_dtype=torch_dtype,device_map=device_map,)log.info(f"Model loaded with torch_dtype={torch_dtype}")
4、数据解析
这里我们假设原始文件是pdf文件，我们需要解析pdf文件然后进行向量化存储。file_path = './data/troubleshooting.pdf'dict_pages = {}# Open the PDF filewith fitz.open(file_path) as pdf_document:for page_number in range(pdf_document.page_count):page = pdf_document.load_page(page_number)page_text = page.get_text()dict_pages[page_number] = page_textprint(f"Processed PDF page {page_number + 1}")设置向量数据库和embedding模型
# Initialize the SentenceTransformer modelsentence_model = SentenceTransformer('all-MiniLM-L6-v2')# Connect to LanceDBdb = lancedb.connect('./data/my_lancedb')# Define the schema using PyArrowschema = pa.schema([pa.field("page_number", pa.int64()),pa.field("original_content", pa.string()),pa.field("summary", pa.string()),pa.field("keywords", pa.string()),pa.field("vectorS", pa.list_(pa.float32(), 384)),# Embedding size of 384pa.field("vectorK", pa.list_(pa.float32(), 384)),])# Create or connect to a tabletable = db.create_table('summaries', schema=schema, mode='overwrite')
5、摘要和存储数据
循环处理每一页
对于 PDF 文档中的每一页文本，首先创建一个包含要求生成摘要和关键词的问题的提示。然后使用模型和辅助函数处理提示，获取摘要和关键词的 JSON 格式输出。
错误处理和 JSON 解析
如果最初获取的输出无法正确解析为 JSON 格式，则重新提示模型纠正错误，并再次尝试解析。
生成嵌入向量并存储数据
对于正确解析的摘要和关键词，使用 SentenceTransformer 模型生成相应的嵌入向量，并将页面编号、原始内容、摘要、关键词以及嵌入向量等数据存储到 LanceDB 数据库表中。
# Loop through each page in the PDFfor page_number, text in dict_pages.items():question = f"""For the given passage, provide a long summary about it, incorporating all the main keywords in the passage.Format should be in JSON format like below:{{"summary": <text summary>,"keywords": <a comma-separated list of main keywords and acronyms that appear in the passage>,}}Make sure that JSON fields have double quotes and use the correct closing delimiters.Passage: {text}"""prompt = create_prompt(question)response = process_prompt(prompt, model, tokenizer, device)# Error handling for JSON decodingtry:summary_json = json.loads(response)except json.decoder.JSONDecodeError as e:exception_msg = str(e)question = f"""Correct the following JSON {response} which has {exception_msg} to proper JSON format. Output only JSON."""log.warning(f"{exception_msg} for {response}")prompt = create_prompt(question)response = process_prompt(prompt, model, tokenizer, device)log.warning(f"Corrected '{response}'")try:summary_json = json.loads(response)except Exception as e:log.error(f"Failed to parse JSON: '{e}' for '{response}'")continuekeywords = ', '.join(summary_json['keywords'])# Generate embeddingsvectorS = sentence_model.encode(summary_json['summary'])vectorK = sentence_model.encode(keywords)# Store the data in LanceDBtable.add([{"page_number": int(page_number),"original_content": text,"summary": summary_json['summary'],"keywords": keywords,"vectorS": vectorS,"vectorK": vectorK}])print(f"Data for page {page_number} stored successfully.")6、使用 LLM 纠正输出
处理格式错误
当 LLM 生成的摘要和关键词输出不符合预期格式（如 JSON 格式错误）时，可以利用 LLM 本身来纠正这些输出。通过重新提示模型修复错误，确保数据格式正确，以便进行下游处理。
通过 LLM Agents 扩展自纠正
LLM Agents 可以进一步自动化这个过程。它可以检测错误，自主决定如何纠正错误，无需明确的指令。LLM Agents 可以解析输出、验证格式，在遇到错误时重新提示 LLM，并记录错误和纠正信息，用于未来参考和模型微调。
# Use the Small LLAMA 3.2 1B model to create summaryfor page_number, text in dict_pages.items():question = f"""For the given passage, provide a long summary about it, incorporating all the main keywords in the passage.Format should be in JSON format like below: {{"summary": <text summary> example "Some Summary text","keywords": <a comma separated list of main keywords and acronyms that appear in the passage> example ["keyword1","keyword2"],}}Make sure that JSON fields have double quotes, e.g., instead of 'summary' use "summary", and use the closing and ending delimiters.Passage: {text}"""prompt = create_prompt(question)response = process_prompt(prompt, model, tokenizer, device)try:summary_json = json.loads(response)except json.decoder.JSONDecodeError as e:exception_msg = str(e)# Use the LLM to correct its own outputquestion = f"""Correct the following JSON {response} which has {exception_msg} to proper JSON format. Output only the corrected JSON.Format should be in JSON format like below: {{"summary": <text summary> example "Some Summary text","keywords": <a comma separated list of keywords and acronyms that appear in the passage> example ["keyword1","keyword2"],}}"""log.warning(f"{exception_msg} for {response}")prompt = create_prompt(question)response = process_prompt(prompt, model, tokenizer, device)log.warning(f"Corrected '{response}'")# Try parsing the corrected JSONtry:summary_json = json.loads(response)except json.decoder.JSONDecodeError as e:log.error(f"Failed to parse corrected JSON: '{e}' for '{response}'")continue
五、检索和生成过程
（一）处理用户查询
用户问题向量
将用户的问题使用与索引时相同的 SentenceTransformer 模型转换为嵌入向量。
相似性搜索
使用查询嵌入向量在 LanceDB 向量数据库中搜索最相似的摘要，并返回前 3 个结果（可以根据实际情况调整）。这些结果包括页面编号和摘要内容。
（二）对检索到的摘要进行排名
使用 LLM 排名
将检索到的摘要列表传递给语言模型，提示它根据与用户问题的相关性对摘要进行排名，并选择最相关的一个。这种使用 LLM 进行排名的方法比单纯使用 K - Nearest Neighbour 或 Cosine 距离等算法更能考虑到上下文嵌入（向量）匹配和语义相关性。
（三）提取选定的摘要并生成最终答案
获取原始内容
通过解析出选定摘要的页面编号，从 LanceDB 中获取与之相关的原始内容。
生成答案
使用获取的原始内容作为上下文，提示语言模型生成对用户问题的详细答案。通过设置较低的温度（如 0.01），减少模型产生幻觉的可能性，使答案更加准确可靠。
通过使用小型 LLM 如 LLAMA 3.2 1B Instruct（Llama3.2 1B与3B：轻盈而强大的AI新势力），可以高效地对大型文档进行摘要和提取关键词。这些摘要和关键词可以被嵌入并存储在像 LanceDB 这样的数据库中，从而为 RAG 系统提供高效的检索能力（Astute RAG（Retrieval-Augmented Generation）：LLM信息检索与利用的新思路）。在整个工作流程中，小型 LLM 不仅在生成阶段发挥作用，还在检索增强过程中起到了关键作用，包括对检索到的摘要进行排名等。这种方法在降低计算成本的同时，能够为用户提供较为准确和相关的答案，提高了 RAG 系统的实用性和经济性。
粤ICP备14082021号
免费POC，
零成本试错
