我要投稿

搭建一个本地AI知识库需要用到哪些技术栈？

发布日期：2025-01-06 19:12:36 浏览次数： 3094

作者：测试蔡坨坨

微信搜一搜，关注“测试蔡坨坨”

随着AI热度愈发火热，越来越多的产品在AI的“赋能”下不断革新和进化。

AI技术的飞速发展不仅改变了人们的生活方式，也大大提升了各行各业的生产效率和创新能力。

在此背景下，我们不妨自己动手丰衣足食，搭建一套属于自己的本地的AI ChatBot？顺便学习下“高大上”的AI技术，亲身体验和把握这股“科技潮流”？

本篇，我们将通过全局的视角来看一下 “基于本地上传的文档进行QA问答” 类似的案例，需要学习哪些知识点以及会用到哪些技术栈。

框架

目前，根据我所了解到的知识，市面上深层次的ChatBot主流实现框架基本都是大同小异。

本地大模型 + LangChain + 前端界面

结合RAG框架：上传本地文件 + 文件切片 + Embedding向量编码 + LLM大语言模型

整体流程图

doc flow 文档处理流程

首先，从本地加载文档（upload & loader），比如：pdf、txt、csv、md等
从许多不同来源加载文档，LangChain提供了100多种不同的文档加载器。
加载完成后，对文档进行处理，提取文档信息
提取完文档信息后，进行文本切分

为什么要切分文本？
因为有时候我们的文档内容比较多，比如一本书，这种情况下不可能一次性去处理，就需要将文本切成一块一块的，分块处理。
如何进行合理切分？
我们通常希望将主题相同的文本片段放在一块。例如，Markdown文件是由h1、h2、h3等多级标题组织的，我们可以根据Markdown标题分割文本内容，把标题相同的文本片段组织在一块。借助LangChain的MarkdownHeaderTextSplitter文本切割器实现。

文档切割后得到文本块
对切割完成后的文本块进行Embedding向量编号
Embedding这里我们会用到很多模型，比如可以调用OpenAI的接口（收费），还可以用HuggingFaceHub（免费）等。
将所有文本的编码全部存储到向量数据库中
例如：Faiss、Pinecone、Chroma、Milvus等。

token flow 用户提问&AI回答

用户进行提问，输入一个问题
对用户输入的问题进行Embedding编码
将用户输入的向量与数据库中所有的向量进行相似性计算，即用户的提问跟数据库里哪些文本的相关性最高
文本召回，把达到某一个阈值的相关文本全部召回
将召回的文本结合问题，形成一个上下文的模板
基于上下文模板向大模型LLM提问
获取到我们想要的答案

优点

这种实现方式有什么好处呢？

我们可以让大语言模型在回答问题的时候是基于我们提供的文档范围去回答，减少AI幻觉，避免一本正经的胡说八道。
大语言模型可能信息更新不及时，基于我们提供的文档去回答，也解决了信息不及时的问题。

以上，完。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2026-05-16

知识图谱：审计人用了几十年的人脑关联，终于可以外挂到系统里了

2026-05-09

新电网毫秒级解决方案：远景能源基于 NebulaGraph 的应用

2026-05-07

腾讯混元干了件大事：Skill Graphs

2026-04-23

从可观测到可理解：用 UModel 构建 Agent 原生的代码知识图谱

2026-04-23

Ontological Engineering：基于PolarDB-PG智能本体引擎实现“数据驱动”到“决策中心”

2026-04-22

还在关注Palantir本体论吗！看看OntoFlow本体建模平台：从数据 -> 知识图谱 -> 本体 -> 决策的完整链路功能演示

2026-04-19

碎片知识终于不乱了！这款开源 AI 工具，把笔记转为知识图谱，还能本地部署！

2026-04-07

卡帕西没做完的，开源社区48小时搞定了！完全体知识库，token省70倍

联系获取

联系获取

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

大模型时代的知识工程：OpenKG年度回顾（2025-2026）

2026-02-20

别再往 AI 的上下文里“倒垃圾”了：Agent 的尽头，是 Skill Graphs

2026-02-21

骚操作！把 Obsidian CEO 神级 Skill 灌进 Gemini，秒出 12 套知识图谱，太离谱！

2026-02-23

卡帕西没做完的，开源社区48小时搞定了！完全体知识库，token省70倍

2026-04-07

Ontology-本体论

2026-02-20

告别 AI 胡说八道！这款开源神器把代码变成知识图谱，让 Cursor 和 Claude 彻底读懂你的项目

2026-03-26

碎片知识终于不乱了！这款开源 AI 工具，把笔记转为知识图谱，还能本地部署！

2026-04-19

当 SAP 买下 Reltio：企业软件进入“上下文时代”

2026-03-28

企业级上下文工程：从Context Graph到生产级AI

2026-02-22

Ontological Engineering：基于PolarDB-PG智能本体引擎实现“数据驱动”到“决策中心”

2026-04-23

大家都在问

在大学里“知识图谱”，真的有人用吗？

2026-01-27

什么是本体（Ontology）？

2025-12-23

大模型落地最后一公里：为什么企业必须重构对“本体（Ontology）”的认知？

2025-12-01

文档知识图谱构建：AI代理如何简化复杂流程？

2025-07-29

如何搭建Agent的知识库底座？

2025-07-14

如何为客户数据构建语义视图？

2025-06-14

Agent Infra 图谱：哪些组件值得为 Agent 重做一遍？

2025-05-23

Graph-RAG全面综述：如何用知识图谱+大模型解决信息检索难题？

2025-05-23

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS Skill 提示词技巧 AI+电商 AI面试数字员工 ChatBI AI知识库开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB Palantir Glean Openclaw

应聘简历请发送至： ceo@53ai.com

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部