Ollama + Open WebUI 部署自己的本地大语言模型知识库, 创建自定义 Ollama 模型.

安装, 设置 Ollama

https://ollama.com/

下载安装完后, 默认跟随系统自启动, 模型默认系统盘, 所以设置无需自启动, 想什么时候启动什么时候启动; 再设置模型默认安装路径.

C:\Users\xxx\AppData\Roaming\Microsoft\Windows\Start Menu\Programs\Startup 目录下删除 Ollama 快捷方式, 就不会自启动了.

打开系统环境变量, 新建变量 OLLAMA_MODELS 变量值: 自定义的模型安装路径.

然后重启 Ollama.

安装 Open WebUI

• 安装 miniconda:

https://docs.anaconda.com/miniconda/install/

• 安装 Open WebUI:

https://github.com/open-webui/open-webui

在你要放 Open WebUI 的文件夹下创建一个环境 openwebui:

python -m venv openwebui

激活环境:

openwebui\Scripts\activate

使用清华源安装:

pip install -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple open-webui

启动 Open WebUI:

open-webui serve

启动完成后浏览器打开: http://localhost:8080

创建管理员账号 (也是本地的, 不会联网上传):

不用 openai 的 API 就关掉, 不然启动时会报一个错(但也不影响):

到此可以 https://ollama.com/search 下载各种开源大模型本地玩起来了. 上传自己的私人文件, 构建自己的知识库吧.

想玩 Ollama 模型库里没有的模型(无审查, NSFW)怎么办?

创建自己的 Ollama 模型

官方教程:

https://github.com/ollama/ollama/blob/main/docs/import.md

这里以 gguf 模型为例:

• https://hf-mirror.com/models 下载自己喜欢的模型, 放到 Ollama 模型安装目录下

• 相同目录下, 新建 Modelfile.txt 文件, 输入 FROM ./模型名.gguf

• 相同目录下, 打开 cmd, 执行 ollama create my_model -f Modelfile.txt

• 新建的 my_model 模型就可以在 Open WebUI 里使用了:

快捷启动

新建一个 run.bat 文件, 输入以下内容, 放到前面新建的环境 openwebui 目录下, 双击它启动 Open WebUI:

chcp 65001

@echo off
echo "      ___           ___           ___                ";
echo "     /\  \         /\  \         /\__\        ___    ";
echo "    |::\  \       _\:\  \       /:/ _/_      /\__\   ";
echo "    |:|:\  \     /\ \:\  \     /:/ /\  \    /:/__/   ";
echo "  __|:|\:\  \   _\:\ \:\  \   /:/ /::\  \  /::\  \   ";
echo " /::::|_\:\__\ /\ \:\ \:\__\ /:/_/:/\:\__\ \/\:\  \  ";
echo " \:\~~\  \/__/ \:\ \:\/:/  / \:\/:/ /:/  /  ~~\:\  \ ";
echo "  \:\  \        \:\ \::/  /   \::/ /:/  /      \:\__\";
echo "   \:\  \        \:\/:/  /     \/_/:/  /       /:/  /";
echo "    \:\__\        \::/  /        /:/  /       /:/  / ";
echo "     \/__/         \/__/         \/__/        \/__/  ";

REM 1. 激活环境
call "%~dp0Scripts\activate"

REM 2. 启动
open-webui serve

REM 3. 可选：保持窗口
pause