一、环境准备：系统与硬件配置
系统要求
- Ubuntu 24.04 LTS（内核 ≥6.8.0）
- 显卡驱动 ≥535（支持CUDA 12.3，默认安装是550版本）
- 内存 ≥32GB（推荐64GB，保障多任务处理，我的是64G）
硬件适配
- RTX 3060（12GB显存，支持7B/14B蒸馏模型，最终我3060拉取的是14b，显卡使用是10G）
- SSD ≥100GB（建议PCIe 4.0 NVMe，加速模型加载，我安装的是500G的m2）
二、显卡驱动安装
Ubuntu24.04安装显卡驱动参考：https://cn.linux-console.net/?p=31028 root@bkb-MS-7D95:~# ubuntu-drivers devices #####查看支持的驱动版本root@bkb-MS-7D95:~# ubuntu-drivers autoinstall ###默认自动安装驱动
如下图，自动安装驱动成功。可以看到安装的是550版本，相较于自己去官网下载驱动安装，这个auto安装省不少事，效率也快很多。
执行下述命令返回代表安装完成。可以显示显卡信息。
root@bkb-MS-7D95:~# nvidia-smi
三、Ollama 部署
Ollama 安装
Ubuntu24.04安装ollama参考链接：https://zhuanlan.zhihu.com/p/20514173947如果执行一键安装命令curl -fsSL https://ollama.com/install.sh | sh国内直接安装ollama网速过慢退出，如下图
这时候就需要加速器来加速安装ollama了，下载脚本下来替换镜像地址
参考换源：https://blog.tianhao.tech/default/ollama-installation-guide-china.html#cl-5
root@bkb-MS-7D95:/bkb# sed -i 's|https://ollama.com/download/ollama-linux-${ARCH}${VER_PARAM}|https://github.moeyy.xyz/https://github.com/ollama/ollama/releases/download/v0.3.4/ollama-linux-amd64|g' install.shroot@bkb-MS-7D95:/bkb# sed -i 's|https://ollama.com/download/ollama-linux-amd64-rocm.tgz${VER_PARAM}|https://github.moeyy.xyz/https://github.com/ollama/ollama/releases/download/v0.3.4/ollama-linux-amd64-rocm.tgz|g' install.sh换加速源后下载速度提升很多，下图是对比，原本官网安装好久才1.2%，换了后半个小时左右安装完成ollama。
四、DeepSeek 蒸馏模型部署
模型选择与下载
- 推荐版本：
deepseek-r1:8b（4.9GB，性能保留65%） - 加速下载：使用镜像源
ollama pull deepseek-r1:7b --registry-mirror （这里我执行拉取很快。并没有限速。到了90%后稍微慢一些）
启动模型服务
- 基础命令：
ollama run deepseek-r1:8b (实测这个显卡12G使用是6G多)
- ollama run deepseek-r:14b (实测这个显卡12G使用是10G多)
- GPU 加速模式：
OLLAMA_GPU_LAYER=metal ollama run deepseek-r1:7b
ollama run deepseek-r1:8b (实测这个显卡12G使用是6G多)
- ollama run deepseek-r:14b (实测这个显卡12G使用是10G多)
至此模型后端完成部署。
上面通过命令行交互不是很人性化，这时候就需要安装一个ui浏览器窗口来进行交互。
五、验证与调试
基础功能测试
- 命令行问答验证：
ollama run deepseek-r1:8b "对比3.06和3.2大小"
- WebUI 访问：
http://localhost:8080（需部署 Open WebUI）
上面我拉取了两个模型，测试了一下问答大小对比，好歹没出现3.06大哈。安装openui
这里使用docker安装，docker安装步骤跳过，自行安装哈。
docker run -d -p 8080:8080 -e OLLAMA_BASE_URL=http://192.168.10.110:11434 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
网址打开如下：
交互式使用
六、常见问题与解决方案
模型下载失败
- 手动导入模型文件：
ollama create deepseek-r1 -f Modelfile
GPU 未被调用
- 检查 Docker 配置：
nvidia-container-toolkit 安装状态 - 显存分配策略：限制单任务显存
--num-gpu 50%
粤ICP备14082021号
免费POC，
零成本试错
