1 概述

RAG的评估是比较难的，目前一般有以下几种评估方式：

• 人工评估：使用多人评估进行投票通常是最准的，但这种方式在实际工作中成本过高，效率非常低，基本上不具备可操作性

• 使用LLM出现前的BLEU、ROUGE等指标评估：这种方式需要参考答案，较少考虑语义，目前在RAG的评估中比较少用

• 使用RAGAS评估：这种方式是在论文RAGAS：Automated Evaluation of Retrieval Augmented Generation中提出的自动化测评方法，这种方式不需要参考答案，基本上是目前RAG评估的主流方法

• 使用GPT-4进行打分：这种方法虽然有争议，但实际应用中，只要Prompt优化几轮，与人工评估的一致性还是比较高的，这种方式需要参考答案

• 使用语义相似度+关键词进行加权打分：这种方式一般应用在竞赛中，实际企业级文档问答开发中较少使用，因为需要有正确答案，而且答案需要有关键词列表

通常的认知是，自动化评估精度并不高，在吴恩达的DeepLearning.AI网站中的Building and Evaluating Advanced RAG课程提到，目前自动化测评，总体与人工测评的一致性，只有80%多，这个指标供大家参考，但实际情况下一般不会这么低，一方面是这个课程是23年大语言模型总体上还没现在这么强的时候出的，另一方面是，课程中介绍的方法（也是本文要介绍的方法）没有参考答案，而实际工作中一般是会准备参考答案的，在有参考答案的情况下，自动化评估与人工评估的一致性，还是容易达到比较高的水平的

本文所要介绍的方法，借助TruLens库，评估三个指标，TruLens称之为RAG三元组（RAG triad），由三个评估指标组成：上下文相关性（Context Relevance）、依据性（Groundedness）和答案相关性（Answer Relevance）。如下图所示。这三个评估指标，可以看做是RAGAS的子集，我们后面会有文章介绍如何使用RAGAS进行评估。

• 上下文相关性（Context Relevance）：任何RAG应用程序的第一步是信息检索；为了验证检索的质量，需要确保每个上下文片段与输入查询密切相关。这一点至关重要，因为LLM将使用这些上下文来形成答案，因此任何不相关的信息都可能导致幻觉。TruLens通过使用序列化记录的结构来评估上下文的相关性

• 依据性（Groundedness）：检索到上下文之后，LLM将其形成答案。LLM经常会偏离提供的事实，夸大或扩展成听起来正确的回答。为了验证RAG的依据性，可以将回答分解成单独的陈述，并在检索到的上下文中独立寻找支持每个陈述的证据

• 答案相关性（Answer Relevance）：回答仍然需要帮助解决原始问题，可以通过评估最终回答与用户输入的相关性来验证这一点

TruLens默认使用OpenAI的模型作为打分模型，本文提供了更多的选项，可以使用OpenAI兼容的LLM，例如千问，也可以使用Ollama提供的模型

本文代码已开源，地址在：https://github.com/Steven-Luo/MasteringRAG/blob/main/evaluation/01_trulens_evaluation.ipynb

2 准备环境

2.1 Ollama

首先访问Ollama官方网站，下载对应操作系统的版本，并安装，接下来下载模型，这个模型将用来作为RAG中基于知识片段回答用户问题的LLM

ollama pull qwen2:7b-instruct

2.2 Python

本文所有示例在安装Anaconda环境后，再安装下面的Python库即可。整个代码已经在Google Colab进行了测试：

pip install -U langchain langchain_community pypdf sentence_transformers chromadb trulens_eval langchain_openai

本文所使用的版本为：

文中所用到的问答对、原始数据，可以从代码仓库中取用。

3 核心代码

import os
import pandas as pd

EMBEDDING_MODEL_PATH = 
dt = 
version = 

output_dir = os.path.join(os.path.pardir, , )

os.environ[] = 
os.environ[] =

加载问答对

qa_df = pd.read_excel(os.path.join(output_dir, ))

3.1 文档处理

   PyPDFLoader

loader = PyPDFLoader(os.path.join(os.path.pardir, , ))
documents = loader.load()

   uuid4
 
 

   RecursiveCharacterTextSplitter
   Chroma

 (documents, filepath, chunk_size=, chunk_overlap=, seperators=[, ], force_split=):
 os.path.exists(filepath)   force_split:
()
 pickle.load((filepath, ))

    splitter = RecursiveCharacterTextSplitter(
        chunk_size=chunk_size,
        chunk_overlap=chunk_overlap,
        separators=seperators
    )
    split_docs = splitter.split_documents(documents)
 chunk  split_docs:
        chunk.metadata[] = (uuid4())

    pickle.dump(split_docs, (filepath, ))

 split_docs

splitted_docs = split_docs(documents, os.path.join(output_dir, ), chunk_size=, chunk_overlap=)

向量化

   HuggingFaceBgeEmbeddings
 

device =   torch.cuda.is_available()  
()

embeddings = HuggingFaceBgeEmbeddings(
    model_name=EMBEDDING_MODEL_PATH,
    model_kwargs={: device},
    encode_kwargs={: }
)

   tqdm

 (docs, store_path, force_rebuild=):
  os.path.exists(store_path):
        force_rebuild = 

 force_rebuild:
        vector_db = Chroma.from_documents(
            docs,
            embedding=embeddings,
            persist_directory=store_path
        )
:
        vector_db = Chroma(
            persist_directory=store_path,
            embedding_function=embeddings
        )
 vector_db

vector_db = get_vector_db(splitted_docs, store_path=os.path.join(os.path.pardir, output_dir, , ))

3.2 问答全流程Pipeline

   Ollama
   StrOutputParser
   RunnablePassthrough
   PromptTemplate

 (docs):
 .join(doc.page_content  doc  docs)

llm = Ollama(
    model=,
    base_url=
)

prompt_tmpl = 











prompt = PromptTemplate.from_template(prompt_tmpl)
retriever = vector_db.as_retriever(search_kwargs={: })

rag_chain = (
    {: retriever | format_docs, : RunnablePassthrough()}
    | prompt
    | llm
    | StrOutputParser()
)

3.3 评估

3.3.1 准备测试集

prediction_df = qa_df[qa_df[] == ][[, , , ]]

3.3.2 初始化Feedback函数

TruLens默认使用的是OpenAI的LLM，下面提供了使用自定义OpenAI兼容的API，以及Ollama的方式

   ChatOpenAI

llm_chain = ChatOpenAI(
    api_key=os.environ[],
    base_url=os.environ[],
    model_name=
)

或者也可以使用Ollama提供的模型

# from langchain.llms import Ollama

# llm_chain = Ollama(
# model='qwen2:7b-instruct',
# base_url="http://192.168.31.92:11434"
# )

可以使用如下方式使用此LLM

llm_chain.invoke()

   App
   Feedback

   
   OpenAI
   Langchain  LangchainProvider

provider = LangchainProvider(chain=llm_chain)
context = App.select_context(rag_chain)


f_groundedness = (
    Feedback(provider.groundedness_measure_with_cot_reasons, name = )
    .on(context.collect()) 
    .on_output()
)


f_answer_relevance = (
    Feedback(provider.relevance_with_cot_reasons, name = )
    .on_input_output()
)

f_context_relevance = (
    Feedback(provider.context_relevance_with_cot_reasons, name = )
    .on_input()
    .on(context)
    .aggregate(np.mean)
)

✅ In Groundedness, input source will be set to __record__.app.first.steps__.context.first.invoke.rets[:].page_content.collect() .
✅ In Groundedness, input statement will be set to __record__.main_output or `Select.RecordOutput` .
✅ In Answer Relevance, input prompt will be set to __record__.main_input or `Select.RecordInput` .
✅ In Answer Relevance, input response will be set to __record__.main_output or `Select.RecordOutput` .
✅ In Context Relevance, input question will be set to __record__.main_input or `Select.RecordInput` .
✅ In Context Relevance, input context will be set to __record__.app.first.steps__.context.first.invoke.rets[:].page_content .

3.3.3 创建TruLens记录器

   TruChain, Tru
tru = Tru()
tru.reset_database()

注意，如果在同一个目录下，有多个版本在迭代，并且希望使用TruLens把这些迭代的评估结果都记录下来，那么不要调用tru.reset_database()，否则之前的评估记录会被清除。评估记录默认是保存在一个名为default.sqlite的SQLite数据库中

? Tru initialized with db url sqlite:///default.sqlite .
? Secret keys may be written to the database. See the `database_redact_keys` option of `Tru` to prevent this.

tru_recorder = TruChain(
    rag_chain,
    app_id=,
    feedbacks=[f_answer_relevance, f_context_relevance, f_groundedness]
)

answer_dict = {}

 idx, row  tqdm(prediction_df.iterrows(), total=(prediction_df)):
 tru_recorder  recording:
        uuid = row[]
        question = row[]
        answer = rag_chain.invoke(question)
        answer_dict[question] = {
: uuid,
: row[],
: answer
        }

3.4 检查结果

tru.get_leaderboard()

total_cost为0是因为所使用的模型不是OpenAI的模型，关联不上价格

tru.run_dashboard()

Starting dashboard ...Config file already exists. Skipping writing process.Credentials file already exists. Skipping writing process.Dashboard already running at path: Network URL: http://192.168.31.92:48913 <Popen: returncode: None args: ['streamlit', 'run', '--server.headless=True'...>

使用浏览器访问上方代码运行后出现的地址

在Leaderboard中，可以直观的看到RAG triad的三个评估指标，从这个指标中可以明显的看出，当前整个流程的薄弱环节点击到Evaluations，可以看到每条测试数据的三个评估指标，点击测试数据，可以查看整个Trace详情