今天我们要讨论的是以度量为驱动的代理开发，特别是如何通过度量来评估代理在检索信息和生成答案方面的表现。这个度量驱动的方法的核心理念是，通过在我们的pipline中添加评估，我们可以更快速地迭代代理和检索生成（RAG）性能。这正是我们将在这里重点讨论的内容：如何通过Langchain将RAG应用于对话代理。
引入我们的代理
首先，我们将介绍我们的代理。我们的代理将使用Claude 3 LLM（大型语言模型），这是由Anthropic开发的模型。这个代理将是一个XML代理，并且我们将使用Langchain进行实现。代理的一个关键工具是RAG工具，它将连接到一个存档数据集，我们称之为搜索工具。这个搜索工具将连接到我们的RAG管道。
高层次架构
在高层次来看，RAG管道将从搜索工具接收查询，将其转换为嵌入（embedding），使用Cohere V3模型生成查询向量（xq）。然后，这个向量将被发送到我们的向量数据库Pine Cone，它包含了所有预先嵌入的存档论文。数据库将返回一组相似或相关的上下文，这些上下文将被传回搜索工具，然后传给代理。代理将基于这些上下文和初始查询生成一个响应。
在这个过程中，RAGAS（用于评估RAG组件的工具）评估检索和生成组件的表现。我们将关注两种评估检索的度量和两种评估生成的度量。
设置和集成RAGAS
这里我们使用RAGAS 0.1版库，并集成RAGAS以评估检索和生成组件的表现。这意味着我们需要提取检索组件的输出（即上下文）以进行评估。
为了获取这些中间步骤，我们需要在初始化代理执行器时设置return_intermediate_steps参数为true。这样我们就可以提取这些中间步骤，并且可以评估检索部分和生成部分的输出。
评估数据集格式
为了进行评估，我们需要一个特定格式的数据集。这个数据集包含原始问题、最相关的上下文、标准答案等。这些数据由RAGAS自动生成，但我们建议手动检查和调整数据，以确保准确性。
迭代和生成答案
我们将遍历数据集中的所有问题，并将这些问题提交给代理。代理返回的上下文、生成的答案和实际的标准答案将被记录在一个数据框中。
评估度量
我们将使用RAGAS提供的评估功能来评估生成的答案和上下文。评估度量包括：
检索度量
上下文召回率（Context Recall）：计算检索到的相关结果占总相关结果的比例。
上下文精确度（Context Precision）：计算检索到的相关结果占总检索结果的比例。
生成度量
忠实度（Faithfulness）：评估生成答案与检索上下文的一致性。
答案相关性（Answer Relevancy）：评估生成答案与原始问题的相关性。
检索度量详细讲解
检索度量主要关注上下文召回率和上下文精确度。
生成度量详细讲解
生成度量主要关注忠实度和答案相关性。
通过这些度量，我们能够更全面地评估RAG管道的表现，并根据这些评估结果进行优化和迭代。
结论
通过将评估集成到我们的开发过程中，我们可以更快速、可靠地迭代检索和生成组件的性能。这使得我们的对话代理能够提供更高质量的答案，并显著提升用户体验。
粤ICP备14082021号
免费POC，
零成本试错
