RAG测评关键指标

# 创建一个 GPT-4 小模型实例，用于生成对话。可以通过指定 API 密钥和 base URL 进行自定义调用。model = ChatOpenAI(model="gpt-4o-mini", openai_api_key="",openai_api_base="",temperature=1)# 加载博客文章或其他文本数据。loader = TextLoader("your_name")documents = loader.load()# 使用字符分割器将文本按 1000 个字符大小进行切片，且切片之间不重叠。text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)texts = text_splitter.split_documents(documents)# 将切片后的文本数据向量化，以便于后续的检索操作。embeddings = OpenAIEmbeddings(model="text-embedding-3-large",openai_api_key="", openai_api_base="")# 将向量化后的文档存入 FAISS 向量存储中，便于进行相似度检索。vectorstore = FAISS.from_documents(texts, embeddings)# 将向量存储转换为检索器，使其能够基于嵌入向量进行文档检索。retriever = vectorstore.as_retriever()# 设置系统提示，告诉模型其角色是基于检索的上下文回答问题，且答案需要简洁。system_prompt = ( "You are an assistant for question-answering tasks. ""Use the following pieces of retrieved context to answer ""the question. If you don't know the answer, say that you ""don't know. Use three sentences maximum and keep the ""answer concise.""\n\n""{context}")# 定义一个对话提示模板，包含系统消息和用户输入部分。将检索到的上下文嵌入到回答逻辑中。prompt = ChatPromptTemplate.from_messages([("system", system_prompt),("human", "{input}"),])# 创建用于文档处理的 QA 链（基于检索内容回答问题的链条）。question_answer_chain = create_stuff_documents_chain(model, prompt)# 将检索器整合进问答链，形成一个完整的 RAG（检索增强生成）链，用于实现基于检索的生成式问答。rag_chain = create_retrieval_chain(retriever, question_answer_chain)from datasets import Datasetfrom ragas import evaluatefrom ragas.metrics import (faithfulness, answer_relevancy, context_recall, context_precision,)# 示例问题questions = ["question1", "question2", "question3"]# 真实答案ground_truths = [["true_answer1"], ["true_answer2"], ["true_answer3"]]# 存储推导的答案和上下文answers = []contexts = []# 迭代每个问题，生成答案并获取相关上下文for query in questions:# 生成答案answer = rag_chain.invoke(query)answers.append(answer if isinstance(answer, str) else answer['text'])# 获取与问题相关的文档内容relevant_docs = retriever.get_relevant_documents(query)contexts.append([doc.page_content for doc in relevant_docs])# 将数据转换为字典形式data = { "question": questions, "answer": answers, "contexts": contexts, "ground_truths": ground_truths}# 创建数据集dataset = Dataset.from_dict(data)# 评估结果result = evaluate(dataset=dataset, metrics=[context_precision, context_recall, faithfulness, answer_relevancy,],)# 将结果转换为 Pandas DataFrame 格式df = result.to_pandas()print(df)