我要投稿

LLM产品为什么需要混合检索？

发布日期：2024-05-30 04:29:13 浏览次数： 2973

作者：关于设计的

微信搜一搜，关注“关于设计的”

在RAG（Retrieval-Augmented Generation）检索环节中，主流的检索方法是基于向量的，即通过语义相关度匹配来实现。这项技术的核心在于将外部知识库中的文档分解成语义完整的段落或句子，然后将其转换成计算机能够理解的数字形式，也就是多维向量。同时，用户提出的问题也会经过相同的转换过程，生成对应的多维向量，以便进行语义匹配和检索。

计算机能够通过语义分析来识别用户问题与文本之间的细微相关性。例如，"猫追逐老鼠"和"小猫抓老鼠"之间的语义相关度会高于"猫追逐老鼠"和"我喜欢吃冰激凌"之间的相关度。RAG系统会利用这种语义匹配能力，找到与用户问题最相关的文本内容。一旦找到，这些文本内容将与用户问题一起作为上下文信息，提供给大型语言模型，以帮助模型更准确地理解和回答问题。

向量检索技术不仅能够进行复杂的语义文本搜索，还具有以下优势：

语义相近词汇识别：如"老鼠"与"捕鼠器"或"谷歌"与"搜索引擎"。
多语言匹配：支持不同语言之间的语义匹配，例如中文输入匹配英文内容。
多模态兼容性：能够处理文本、图像、音视频等多种数据类型的相似性匹配。
容错能力：能够处理拼写错误或模糊描述。

然而，向量检索在某些情况下效果不佳，例如：

搜索特定名称：如人名"雷军"或产品名"小米su7"。
搜索缩写词或短语：如"RAG"或"RLHF"。
搜索ID：如"gpt-3.5-turbo"或"titan-xlarge-v1.01"。

这些情况恰恰是传统关键词搜索的优势所在，关键词搜索擅长：

精确匹配：如产品名称、姓名、产品编号。
少量字符匹配：用户习惯输入少量关键词进行搜索。（通过少量字符进行向量检索时效果非常不好，但很多用户恰恰习惯只输入几个关键词）
低频词汇匹配：低频词汇往往承载重要含义。（比如“你想跟我去喝奶茶吗？”这句话中的分词，“喝”“奶茶”会比“你”“想”“吗”在句子中承载更重要的含义）

在大多数文本搜索场景中，关键是确保最相关结果出现在候选列表中。向量检索和关键词检索各有优势。

混合检索结合了这两种技术的优点，同时弥补了各自的不足。在混合检索中，需要在数据库中建立向量索引和关键词索引。用户输入问题时，两种检索器会分别在文档中检索出最相关的文本。

混合检索是一个灵活的概念，它指的是将不同的搜索技术结合起来，以提高搜索效果。本文以向量检索和关键词检索的结合为例，但混合检索并不局限于此。例如，我们可以将知识图谱技术，它擅长检索实体关系，与向量检索技术相结合。

不同的检索系统各自擅长寻找文本（段落、语句、词汇）之间不同的细微联系，这包括了精确关系、语义关系、主题关系、结构关系、实体关系、时间关系、事件关系等。可以说没有任何一种检索模式能够适用全部的情景。混合检索通过多个检索系统的组合，实现了多个检索技术之间的互补。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2026-02-05

苹果 Xcode 终于引入 AI，「Agentic Coding」攻入「果系」开发者大本营

2026-02-05

Claude Code vs. OpenAI Codex为什么更慢的模型，反而更快把事情做完

2026-02-04

Skills使用体验

2026-02-04

AgentScope 正式发布 Skills 支持 - 实现渐进式披露

2026-02-04

从“回答者”进化为“研究员”：全面解析 Deep Research

2026-02-04

刚刚，Xcode 史诗级更新：原生集成 Claude Agent SDK，苹果开发直接起飞！

2026-02-04

国产 Cowork 它来了！MCP、Skills和Expert Agents都支持，全部免费体验！

2026-02-04

混元研究博客上线姚顺雨团队最新成果：从 Context 探索语言模型的范式转变

联系获取

联系获取

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

Pencil：设计和写代码，以后就全让AI干了

2026-01-24

独家实录｜唐杰、杨植麟、林俊旸、姚顺雨...All Star 对话上，大家聊了啥？

2026-01-10

我挖到Gemini 3.0 Pro十大隐藏玩法，做网页已经落后N个版本了

2025-11-19

深度体验TRAE SOLO 正式版，总结一点技巧(附完整可重现提示词和源码)

2025-11-13

从0到1玩转Clawdbot：我花了40小时，把这些坑都踩完了

2026-01-26

2026 开年 AI 工具推荐，让你新的一年效率起飞！（建议收藏）

2026-01-01

Codex 史诗级更新！引入 Skills 技能库，直接兼容 Claude 生态，开发效率原地起飞

2025-12-09

国内版的 NotebookLM 来了，甚至更强

2025-11-12

终于！Gemini CLI支持Agent Skills，一键搬运Claude Code的“绝招”

2026-01-09

Claude赢麻了？OpenAI Codex正式支持Skills，GitHub连夜上车！

2025-12-21

大家都在问

谁动了我的电脑？谁应该抱怨？

2026-02-04

刚刚！OpenAI 正式发布 Codex App，一人指挥一支 AI 军队，Cursor 慌了？

2026-02-03

谷歌Genie 3打崩游戏股！1小时500元的AI生成游戏，真能革游戏的命？

2026-02-03

史上最强编程模型Claude 5泄露，最慌的是黄仁勋？

2026-02-02

X上点赞近万的Claude Agent SDK教程，到底讲了什么？

2026-02-02

人人都在谈论ClawdBot，但你真的懂它的技术原理吗？

2026-02-02

刚刚，谷歌版「世界模型」震撼公测！网友实测炸翻天：游戏末日来了？

2026-01-31

Transformers V5正式发布！这次更新到底香不香？

2026-01-30

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI AI知识库开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB Palantir Glean

应聘简历请发送至： [email protected]

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部