BM25算法被多种RAG开源框架和向量库的向量查询中提到或使用到。本文介绍BM25算法的基本原理，并通过一个可运行的例子来说明如何使用BM25算法。
BM25（Best Match 25）是一种用于信息检索的概率模型，常用于搜索引擎和问答系统中。在RAG（Retrieval-Augmented Generation）框架中，BM25用于从大规模文档库中检索与查询最相关的文档。
BM25基于词频（TF）和逆文档频率（IDF）计算文档与查询的相关性，结合了文档长度归一化，能够有效处理不同长度的文档。
BM25的基本使用
下面是一个使用Python实现BM25算法的完整示例。我们将使用rank_bm25库，这是一个常用的BM25实现库，可以方便地计算文档与查询的相关性。
安装依赖库
pip install rank-bm25
编写测试代码
代码的基本逻辑如下：
（1）分别对每个文档和问题进行分词处理
（2）通过分词后的文档列表来初始化BM25算法
（3）计算问题(query)与分词列表进行相似度比较
（4）从文档列表中找到相关性分数最大的文档，该文档即是我们要找的文档。
代码的实现如下：
from rank_bm25 import BM25Okapi
import jieba # 用于中文分词
# 示例文档库
documents = [
"猫是一种可爱的动物，喜欢抓老鼠。",
"狗是人类的好朋友，喜欢追猫。",
"老鼠是一种小型啮齿动物，猫喜欢抓它们。"
]
print(documents)
# 用户查询
query = "猫喜欢抓什么动物？"
print("问题: "+ query)
# 对文档和查询进行分词
def tokenize(text):
return list(jieba.cut(text))
# 分词后的文档库
tokenized_documents = [tokenize(doc) for doc in documents]
# 分词后的查询
tokenized_query = tokenize(query)
# 初始化BM25模型
bm25 = BM25Okapi(tokenized_documents)
# 计算查询与文档的相关性得分
doc_scores = bm25.get_scores(tokenized_query)
# 打印每个文档的得分
for i, score in enumerate(doc_scores):
print(f"文档{i+1} 的 BM25 得分: {score}")
# 找到最相关的文档
most_relevant_doc_index = doc_scores.argmax()
print(f"\n最相关的文档是文档{most_relevant_doc_index + 1}: {documents[most_relevant_doc_index]}")
代码说明
分词：
使用jieba库对中文文档和查询进行分词。
例如，文档1分词结果为：['猫', '是', '一种', '可爱', '的', '动物', '喜欢', '抓', '老鼠', '。']
初始化BM25模型：
计算相关性得分：
排序和输出：
结果输出
['猫是一种可爱的动物，喜欢抓老鼠。', '狗是人类的好朋友，喜欢追猫。', '老鼠是一种小型啮齿动物，猫喜欢抓它们。']
问题: 猫喜欢抓什么动物？
Building prefix dict from the default dictionary ...
Loading model from cache /tmp/jieba.cache
Loading model cost 0.705 seconds.
Prefix dict has been built successfully.
文档1 的 BM25 得分: 0.3001762708496166
文档2 的 BM25 得分: -0.07080064278072501
文档3 的 BM25 得分: -0.2035654844820229
最相关的文档是文档1: 猫是一种可爱的动物，喜欢抓老鼠。
BM25在RAG中的应用
在RAG（Retrieval-Augmented Generation）框架中，结合向量检索（如基于嵌入的相似性搜索）和BM25关键词检索的混合检索方法，可以显著提高查询的准确率。这种混合检索的核心思想是利用两种检索方法的互补性，从而更全面地捕捉查询与文档之间的相关性。
向量检索和BM25检索的优缺点
向量检索（基于嵌入的相似性搜索）
BM25关键词检索
混合检索的原理
混合检索的核心原理是结合向量检索和BM25检索的优势，通过加权或排序融合的方式，生成最终的检索结果。具体步骤如下：
（1）分别计算向量检索和BM25检索的得分
（2）得分归一化
由于向量检索和BM25检索的得分范围可能不同，需要对得分进行归一化处理，使其在同一量纲上可比。
（3）加权融合
将两种检索方法的得分进行加权融合，生成最终的检索得分。例如：
Final Score=α⋅BM25 Score+(1−α)⋅Vector ScoreFinal Score=α⋅BM25 Score+(1−α)⋅Vector Score
其中，αα 是权重参数，用于调整BM25和向量检索的相对重要性。
（4）排序和返回结果
根据最终得分对文档进行排序，返回最相关的文档。
实际应用中的混合检索策略
在实际应用中，混合检索可以通过以下策略实现：
（1）加权求和
将向量检索和BM25检索的得分按一定权重相加，生成最终得分。例如：
Final Score=0.5⋅BM25 Score+0.5⋅Vector ScoreFinal Score=0.5⋅BM25 Score+0.5⋅Vector Score
（2）排序融合
分别对向量检索和BM25检索的结果进行排序，然后通过加权或插值的方式合并排序结果。例如：
（3）阈值过滤
先使用BM25检索过滤出关键词匹配的文档，再使用向量检索对过滤后的文档进行语义排序。
混合检索的代码实现
通过本地的ollama安装嵌入模型后，就可以通过该嵌入模型来生成嵌入向量。下面的代码通过本地部署的嵌入模型来计算每个文档块的嵌入向量，然后根据混合
from rank_bm25 import BM25Okapi
from sklearn.metrics.pairwise import cosine_similarity
import numpy as np
import jieba
import requests # 用于发送HTTP请求
# 示例文档库
documents = [
"猫是一种可爱的动物，喜欢抓老鼠。",
"狗是人类的好朋友，喜欢追猫。",
"老鼠是一种小型啮齿动物，猫喜欢抓它们。"
]
# 用户查询
query = "猫喜欢抓什么动物？"
# 分词函数
def tokenize(text):
return list(jieba.cut(text))
# 分词后的文档库
tokenized_documents = [tokenize(doc) for doc in documents]
# 初始化BM25模型
bm25 = BM25Okapi(tokenized_documents)
# 计算BM25得分
bm25_scores = bm25.get_scores(tokenize(query))
# 嵌入模型API地址
EMBEDDING_MODEL_URL = "http://172.16.1.54:11434/api/embeddings"
# 获取嵌入向量的函数
def get_embedding(text):
# 构造请求数据
payload = {
"model": "unclemusclez/jina-embeddings-v2-base-code:latest",
"prompt": text
}
# 发送POST请求
response = requests.post(EMBEDDING_MODEL_URL, json=payload)
if response.status_code == 200:
# 解析返回的嵌入向量
embedding = response.json().get("embedding")
return np.array(embedding)
else:
raise Exception(f"Failed to get embedding: {response.status_code} - {response.text}")
# 获取查询和文档的嵌入向量
query_embedding = get_embedding(query)
document_embeddings = [get_embedding(doc) for doc in documents]
# 计算余弦相似度
vector_scores = cosine_similarity([query_embedding], document_embeddings)[0]
# 归一化得分
bm25_scores_normalized = (bm25_scores - np.min(bm25_scores)) / (np.max(bm25_scores) - np.min(bm25_scores))
vector_scores_normalized = (vector_scores - np.min(vector_scores)) / (np.max(vector_scores) - np.min(vector_scores))
# 加权融合
alpha = 0.5
final_scores = alpha * bm25_scores_normalized + (1 - alpha) * vector_scores_normalized
# 排序并输出结果
sorted_indices = np.argsort(final_scores)[::-1]
for i in sorted_indices:
print(f"文档{i+1} 的混合得分: {final_scores[i]} - {documents[i]}")
输出：
Building prefix dict from the default dictionary ...
Loading model from cache /tmp/jieba.cache
Loading model cost 0.715 seconds.
Prefix dict has been built successfully.
文档1 的混合得分: 1.0 - 猫是一种可爱的动物，喜欢抓老鼠。
文档2 的混合得分: 0.5282365628163656 - 狗是人类的好朋友，喜欢追猫。
文档3 的混合得分: 0.0 - 老鼠是一种小型啮齿动物，猫喜欢抓它们。
说明：我这里的得分是基于我的嵌入模型而得到的，不同模型可能不同。
总结
通过结合向量检索和BM25检索，混合检索方法能够同时捕捉语义信息和关键词匹配信息，从而提高RAG框架的查询准确率。这种方法在处理多样化查询、减少漏检和误检方面具有显著优势，是提升检索增强生成系统性能的有效策略。
粤ICP备14082021号
免费POC，
零成本试错
