我要投稿

LLM产品为什么需要混合检索？

发布日期：2024-05-30 04:29:13 浏览次数： 3083

作者：关于设计的

微信搜一搜，关注“关于设计的”

在RAG（Retrieval-Augmented Generation）检索环节中，主流的检索方法是基于向量的，即通过语义相关度匹配来实现。这项技术的核心在于将外部知识库中的文档分解成语义完整的段落或句子，然后将其转换成计算机能够理解的数字形式，也就是多维向量。同时，用户提出的问题也会经过相同的转换过程，生成对应的多维向量，以便进行语义匹配和检索。

计算机能够通过语义分析来识别用户问题与文本之间的细微相关性。例如，"猫追逐老鼠"和"小猫抓老鼠"之间的语义相关度会高于"猫追逐老鼠"和"我喜欢吃冰激凌"之间的相关度。RAG系统会利用这种语义匹配能力，找到与用户问题最相关的文本内容。一旦找到，这些文本内容将与用户问题一起作为上下文信息，提供给大型语言模型，以帮助模型更准确地理解和回答问题。

向量检索技术不仅能够进行复杂的语义文本搜索，还具有以下优势：

语义相近词汇识别：如"老鼠"与"捕鼠器"或"谷歌"与"搜索引擎"。
多语言匹配：支持不同语言之间的语义匹配，例如中文输入匹配英文内容。
多模态兼容性：能够处理文本、图像、音视频等多种数据类型的相似性匹配。
容错能力：能够处理拼写错误或模糊描述。

然而，向量检索在某些情况下效果不佳，例如：

搜索特定名称：如人名"雷军"或产品名"小米su7"。
搜索缩写词或短语：如"RAG"或"RLHF"。
搜索ID：如"gpt-3.5-turbo"或"titan-xlarge-v1.01"。

这些情况恰恰是传统关键词搜索的优势所在，关键词搜索擅长：

精确匹配：如产品名称、姓名、产品编号。
少量字符匹配：用户习惯输入少量关键词进行搜索。（通过少量字符进行向量检索时效果非常不好，但很多用户恰恰习惯只输入几个关键词）
低频词汇匹配：低频词汇往往承载重要含义。（比如“你想跟我去喝奶茶吗？”这句话中的分词，“喝”“奶茶”会比“你”“想”“吗”在句子中承载更重要的含义）

在大多数文本搜索场景中，关键是确保最相关结果出现在候选列表中。向量检索和关键词检索各有优势。

混合检索结合了这两种技术的优点，同时弥补了各自的不足。在混合检索中，需要在数据库中建立向量索引和关键词索引。用户输入问题时，两种检索器会分别在文档中检索出最相关的文本。

混合检索是一个灵活的概念，它指的是将不同的搜索技术结合起来，以提高搜索效果。本文以向量检索和关键词检索的结合为例，但混合检索并不局限于此。例如，我们可以将知识图谱技术，它擅长检索实体关系，与向量检索技术相结合。

不同的检索系统各自擅长寻找文本（段落、语句、词汇）之间不同的细微联系，这包括了精确关系、语义关系、主题关系、结构关系、实体关系、时间关系、事件关系等。可以说没有任何一种检索模式能够适用全部的情景。混合检索通过多个检索系统的组合，实现了多个检索技术之间的互补。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2026-03-22

Google Gemini深度集成Workspace体验

2026-03-22

专访OpenAI首席科学家：我们离“AI自己做研究”有多远？

2026-03-21

编程选GPT-5.4，还是GPT-5.3-Codex？

2026-03-21

AI Coding前端实践后的复盘总结

2026-03-21

OpenAI 首席科学家：Codex 只是雏形，我们要造的是「全自动 AI 研究员」

2026-03-21

谷歌Stitch「氛围设计」干崩Figma 8.8%股价：十年经验，败给巨头一次更新（附实测）

2026-03-21

为什么 CLI 比 MCP 更适合 LLM

2026-03-21

渐进式披露（Progressive Disclosure）：Agent 从 Demo 到企业级落地的 “救命架构”

联系获取

联系获取

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

Pencil：设计和写代码，以后就全让AI干了

2026-01-24

独家实录｜唐杰、杨植麟、林俊旸、姚顺雨...All Star 对话上，大家聊了啥？

2026-01-10

2026 开年 AI 工具推荐，让你新的一年效率起飞！（建议收藏）

2026-01-01

从0到1玩转Clawdbot：我花了40小时，把这些坑都踩完了

2026-01-26

终于！Gemini CLI支持Agent Skills，一键搬运Claude Code的“绝招”

2026-01-09

Claude Code Skills 国内实践全指南：从安装部署到高阶开发

2026-01-09

深度解析——为什么Claude code CEO Dario 如此反中？

2026-01-23

谷歌没想到：Antigravity 竟成了 Claude Code 的“免费充电宝”？

2025-12-30

不会封号的Claude Code使用方法！已稳定测试一个月，还能共享给团队。

2026-01-14

我装了 9 个 Skill，终于看懂了 Google Antigravity 的野心

2026-01-21

大家都在问

专访OpenAI首席科学家：我们离“AI自己做研究”有多远？

2026-03-22

编程选GPT-5.4，还是GPT-5.3-Codex？

2026-03-21

真实测评MiniMax M2.7，不吹不夸，它到底什么水平？

2026-03-20

深度分析：Agent Harness/框架到底有没有竞争壁垒？

2026-03-19

咨询 | OpenAI、Anthropic纷纷和咨询公司合作的背后，折射除了行业落地AI什么样的趋势？

2026-03-19

大伙都在养虾，MiniMax 带着新模型来偷偷上分了？

2026-03-19

Harness Engineering 为什么是 Agent 时代的“控制论”？

2026-03-18

阿里云新品发布：Agent ID Guard，谁来管理“小龙虾们”的身份安全？

2026-03-17

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS Skill 提示词技巧 AI+电商 AI面试数字员工 ChatBI AI知识库开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB Palantir Glean Openclaw

应聘简历请发送至： ceo@53ai.com

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部