本地运行DeepSeek R1 + RAG系统

基本概念

? Ollama

Ollama 是一个用于在计算机上 本地运行大型语言模型 （）LLMs 的框架 。它允许您 下载、运行 AI 模型并与之交互， 而无需基于云的 API。

? 示例： ollama run deepseek-r1：1.5b – 在本地运行 DeepSeek R1

? 为什么要使用它？ 免费、私密、快速且离线工作。

? LangChain 语言链

LangChain 是一个 Python/JS 框架，用于通过与数据源、API 和内存集成LLMs来构建 AI 驱动的应用程序。

? 为什么要使用它？它有助于连接到LLMs实际应用程序，如聊天机器人、文档处理和 RAG。

? RAG（检索增强一代）

RAG 是一种 AI 技术，可检索外部数据（例如 PDF、数据库）并增强 LLM的响应。

? 为什么要使用它？通过引用实际文档来提高准确性并减少幻觉。

 ⚡ DeepSeek R1 模型

DeepSeek R1 是一个开源 AI 模型，针对推理、问题解决和事实检索进行了优化。

? 为什么要使用它？强大的逻辑功能，非常适合 RAG 应用程序，并且可以使用 Ollama 在本地运行。

入门

? 它们如何协同工作？

• • Ollama 在本地运行 DeepSeek R1。
• • LangChain 将 AI 模型连接到外部数据。
• • RAG 通过检索相关信息来增强响应。
• • DeepSeek R1 生成高质量的答案。

示例用例：一个问答系统，允许用户上传 PDF 并提出有关它的问题，由 Ollama 上的 DeepSeek R1 + RAG + LangChain 提供支持！?

? 为什么在本地运行 DeepSeek R1？

? 第 1 步：安装 Ollama

? 下载 Ollama

Ollama 适用于 macOS、Linux 和 Windows。请按照以下步骤进行安装：

1. 1. 前往 Ollama 官方下载页面
2. 2. ? 下载 Ollama^[1]
3. 3. 选择您的作系统（macOS、Linux、Windows）
4. 4. 点击下载按钮
5. 5. 按照系统特定的说明进行安装

? 第 2 步：在 Ollama 上运行 DeepSeek R1

安装 Ollama 后，您可以运行 DeepSeek R1 模型。

? 运行 ollama 服务

$ ollama serve

? 提取 DeepSeek R1 模型

$ ollama pull deepseek-r1:1.5b

? 运行 DeepSeek R1

$ ollama run deepseek-r1:1.5b

它将初始化模型并允许您发送查询。

? 第 3 步：使用 Streamlit 设置 RAG 系统

现在您已经运行了 DeepSeek R1，让我们使用 Streamlit 将其集成到检索增强生成 （RAG） 系统中。

? 先决条件

在运行 RAG 系统之前，请确保您已：

• • 已安装 Python
• • 所需的 Python 软件包

$ pip install -U langchain langchain-community
$ pip install streamlit
$ pip install pdfplumber
$ pip install semantic-chunkers
$ pip install open-text-embeddings
$ pip install faiss
$ pip install ollama
$ pip install prompt-template
$ pip install langchain
$ pip install langchain_experimental
$ pip install sentence-transformers
$ pip install faiss-cpu

? 第 4 步：运行 RAG 系统

? 创建项目

1️⃣ 创建新的项目目录

$ mkdir rag-system && cd rag-system

2️⃣ 创建 Python 脚本 （app.py）,粘贴以下基于 Streamlit 的脚本：

完整的代码文件：app.py^[2]

? 第 5 步：运行应用程序

脚本准备好后，启动 Streamlit 应用程序：

$ streamlit run app.py

使用

1. 1. 启动之后浏览器访问：http://localhost:8502/
2. 2. 然后上传一个PDF文件，然后在输入框中输入问题，如下是我上传了一个DeepSeek_V3.pdf的文件，我让他给我总结。

上面的 Demo 是在我本地 Macos M3 电脑上运行成功，如果要运行改案例，需要保障有足够的内存。