熟悉搜推的小伙伴可能知道，搜推中也有个叫Rerank的，因为在Rerank前面，一般还有粗排、精排，而RAG中就一个排序模型，怎么就是Rerank了呢。这是因为在RAG中，检索阶段一般只有Embedding一路召回，多的时候也只不过是稀疏+稠密的RRF集成，因此检索结果无论如何都是有顺序的，也就是说已经是排过序的了，所以此处的再次排序，叫Rerank。
既然都是排序，加Rerank的意义在哪？使用Embedding这种检索模型检索时，问题和答案都使用Embedding表示，由于问题和答案本身的表述方式、用词分布等差异比较大，直观的理解是问题首先是个问句，一般比较简短，答案通常是陈述句，一般比较详细，这俩用相同的方式表征，肯定多少是会有“对不齐”的问题的，Rerank就是把这两个放在一起，举个例子大家感受一下：
如果使用Embedding检索，就有可能把“介绍一下故宫？”检索回来了，因为这俩从Embedding的角度看实在太像了，但你如果把“介绍一下北京？<SEP>介绍一下故宫？”放一起，Rerank模型大概不会判断他们是应该在一起的，因此它的相似性得分会比较低，而“介绍一下北京？<SEP>北京市（Beijing），简称“京”，古称燕京、北平，是中华人民共和国首都、直辖市、国家中心城市、超大城市， 国务院批复确定的中国政治中心、文化中心、国际交往中心、科技创新中心，中国历史文化名城和古都之一，世界一线城市。截至2023年10月，北京市下辖16个区，总面积16410.54平方千米。2023年末，北京市常住人口2185.8万人。”类似这种表述，其实在训练集中有可能出现，因此Rerank的相似性得分会高。
下面借用一下来自Cohere官方博客的Rerank流程图：
https://cohere.com/blog/rerank
Rerank模型比较常见的架构是基于transformers的encoder-only，也就是BERT的衍生模型。BERT论文发布时，介绍了几个典型的NLP任务，其中一个是文本蕴含，它判断的是两个句子，他们之间是蕴含、矛盾、还是中立关系，Rerank模型与之类似，也是输入两个句子，中间用一个分隔符分割开，只不过输出的是这两个句子的相似度。
这应该是最有名的reranker了，cohere公司主打的就是Reranker模型。
首先访问https://dashboard.cohere.com/api-keys申请一个API Key，然后安装依赖：
注意：下面这两种方式，都需要有代理，否则来自国内的请求会被拒绝，使用时，环境变量设置http_proxy和https_proxy即可，免费用户每个月有1000次调用额度。在写这篇文章之前做实验时，它的检索效果可以与bge-reranker-large打平，但在后续再次运行时，由于超出调用额度，所以代码仓库中没有实际的运行结果，但代码是可以运行的，大家可以自行尝试。
co = cohere.Client()
docs = [
,
,
,
,
,
]
response = co.rerank(
model=,
query=,
documents=docs,
top_n=,
)
(response)
CohereRerank
os.environ[] =
cohere_rerank = CohereRerank(model=)
docs = [
,
,
,
,
,
]
query =
cohere_rerank.rerank(
documents=docs,
query=query,
top_n=
)
这个是阿里巴巴开源的reranker，HuggingFace中的模型ID为Alibaba-NLP/gte-multilingual-reranker-base，官方示例：
AutoModelForSequenceClassification, AutoTokenizer
model_name_or_path =
tokenizer = AutoTokenizer.from_pretrained(model_name_or_path)
model = AutoModelForSequenceClassification.from_pretrained(
model_name_or_path, trust_remote_code=,
torch_dtype=torch.float16
)
model.eval()
pairs = [[], [, ], [,]]
torch.no_grad():
inputs = tokenizer(pairs, padding=, truncation=, return_tensors=, max_length=)
scores = model(**inputs, return_dict=).logits.view(-, ).float()
(scores)
Jina也是一家很有实力的AI公司，之前在介绍使用Ollama和Langchain动手开发AI搜索问答助手中提到过他们出的Reader API，是需要非常简单的操作，就可以将网页解析成Markdown，大幅提高了后续问答的效果。
此处介绍的Reranker模型，是他们开源的多语言重排模型，HuggingFace中的模型ID为jinaai/jina-reranker-v2-base-multilingual。
AutoModelForSequenceClassification
model = AutoModelForSequenceClassification.from_pretrained(
,
torch_dtype=,
trust_remote_code=,
)
model.to()
model.eval()
query =
documents = [
,
,
,
,
,
,
,
,
,
,
]
sentence_pairs = [[query, doc] doc documents]
scores = model.compute_score(sentence_pairs, max_length=)
Chroma
HuggingFaceBgeEmbeddings
BM25Retriever, EnsembleRetriever
Chroma
device = torch.cuda.is_available()
embeddings = HuggingFaceBgeEmbeddings(
model_name=,
model_kwargs={: device},
encode_kwargs={: },
query_instruction=
)
vector_db = Chroma.from_documents(
splitted_docs,
embedding=embeddings,
persist_directory=persist_directory
)
chz_cut_bm25_retriever = BM25Retriever.from_documents(splitted_docs, preprocess_func= text: (jieba.cut(text)))
retriever = EnsembleRetriever(
retrievers=[vector_db.as_retriever(search_kwargs={: }), chz_cut_bm25_retriever], weights=[, ]
)Reranker准备，此处以BGE Reranker为例，其他几种方式请查看代码仓库：
FlagReranker
AutoModelForSequenceClassification, AutoTokenizer
reranker = FlagReranker(, use_fp16=)
(reranker, query, retrieved_docs, top_k=, debug=):
rerank_scores = reranker.compute_score([[query, doc.page_content] doc retrieved_docs])
triads = [(query, doc, score) doc, score (retrieved_docs, rerank_scores)]
triads = (triads, key= triad: triad[-], reverse=)
debug:
triads
[triad[] triad triads][:top_k]
k =
retirever_multiplier =
chunks = retriever.get_relevant_documents(question)[:k * retirever_multiplier]
chunks = rerank(reranker, question, chunks, top_k=k)
粤ICP备14082021号
免费POC，
零成本试错
