我要投稿

知识库召回功能更新：使用“多路召回”替代 “N 选 1 召回”

发布日期：2024-08-06 11:03:18 浏览次数： 3128

作者：Dify

微信搜一搜，关注“Dify”

为提升 Dify 知识库的检索精确度，我们决定对知识库检索策略进行升级和调整：

自 2024 年 9 月 1 日起，我们将停用“N 选 1 召回”策略，取而代之的是支持灵活配置的“多路召回”策略。我们建议你切换到多路召回方案，并重新调试应用的召回效果。

我们基于大量实践和社区用户反馈，发现“N 选 1 召回”策略存在明显缺陷。这种策略仅匹配单个知识库，且匹配的目标知识库严重依赖于 LLM 对知识库描述的理解。在检索匹配知识库时，可能会出现不合理的判断，导致检索结果不全面、不准确，无法提供高质量的查询答案。

考虑到这些问题，我们决定自 2024 年 9 月起停止支持“N 选 1 召回”功能，转而采用更灵活、更全面的检索策略。

? 一个更好的检索方案：可配置的“多路召回”

为了获得更好的检索效果，本次更新我们着重对“多路召回”能力进行了升级：

我们强烈建议你从现在开始使用新的多路召回配置，以获得更精确的检索效果。

? 你需要做什么？

如果你创建的应用关联了知识库且选择了“N 选 1 召回”方案，你现在可以通过以下路径手动将原有的“N 选 1 召回”策略调整为“多路召回”：上下文（Context）—> 召回策略（Retrieval Setting）

注意：如果你在 2024 年 9 月 1 日前未进行调整，系统将自动为你切换到新的多路召回配置（默认配置）。一般来说，这将为你带来更好的检索结果。你可以随时在设置界面调整语义和关键词的权重或设置 Rerank 模型，以满足你的实际需求。

? 对于 Dify 社区版或本地部署的企业版用户：

2024 年 9 月 1 日后发布的新版本中将不再支持“N 选 1 召回”功能。届时，我们将提供数据迁移脚本以便升级。请留意我们的 release 公告。

?️ 如何使用“多路召回” Rerank 设置？

多路召回下的 Rerank 设置提供了权重设置和 Rerank 模型两个配置项。

在权重设置中，你可以通过不断调试关键词和语义的权重比例来确定能够获得最佳效果的召回策略。

关键词权设置为 1：此时仅使用关键词检索模式，当用户知道确切的信息或术语时，关键词检索可以快速准确地返回匹配的结果，这种方法通常计算资源消耗较低，适合在包含大量文档的知识库中根据关键词进行快速检索。
语义值权重设置为 1：此时仅使用语义检索模式，语义检索能够理解查询背后的概念。借助 Embedding 模型，即使知识库中没有出现查询中的确切词汇，也能返回相关信息，从而提高检索的深度。此外，在需要处理多语言内容时，语义检索能够捕捉不同语言之间的意义转换，提供更加准确的跨语言搜索结果。适合在如跨语言、语义转换等模糊检索或复杂检索的情景下使用。
自定义关键词和语义的权重：除了单独的关键词和语义搜索，我们还提供了灵活的自定义权重设置。通过不断调试二者的权重，你可以找到符合业务场景的最佳比例，这在独特的需求场景或复杂知识结构的召回中尤其适用。

当然，为了追求最高的检索精确度，我们建议使用 Rerank 模型来配置你的召回策略，详细内容请查看我们的帮助文档。