Ollama 是一款本地大语言模型（LLM）运行工具，支持用户在本地设备上下载、管理和运行 AI 模型，而无需依赖云端服务。它提供简单的命令行接口，支持 DeepSeek R1 、 Llama 等多种开源模型，并可结合 GPU 加速，实现高效推理。Ollama 适用于 离线 AI 交互、代码补全、文本生成 等应用场景，是本地 AI 部署的理想选择。
安装Ollama 下载安装 Ollama ，到官网 https://ollama.com/download/windows 下载对应的安装包，默认安装。
安装成功后，在 cmd 中输入 ollama --version 检查安装是否正确，提示版本号表示安装成功。
安装ChatBoxAI ChatBoxAI 是一款开源的多功能 AI 聊天助手，支持本地和云端大语言模型（LLM），允许用户与 AI 进行交互。它兼容 Ollama、GPT-4、Claude、Mistral 等多种模型，并提供插件扩展、消息存储、自定义指令等功能。 ChatBoxAI 适用于 日常聊天、编程助手、知识查询 等场景，界面简洁，支持多平台使用，是本地 AI 聊天应用的理想选择。
安装 ChatBoxAI ，到官网 https://chatboxai.app/zh 下载对应版本软件安装。
硬件信息检测 查看本机配置，自己知道什么配置最好，如果不知道，用鲁大师， CPU-Z ，
DeepSeek R1 DeepSeek R1 是 DeepSeek AI 推出的开源大语言模型，专注于增强推理、编程和数学能力。它提供 14B（140亿参数） 和 32B（320亿参数） 两种版本，支持 中英文对话、代码补全、逻辑推理 等任务，并优化了思维链（CoT）推理能力。DeepSeek R1 兼容 Ollama、vLLM、TGI 等推理框架，可在本地部署，适用于 离线 AI 交互、编程辅助 和 自然语言处理（NLP） 任务。
在 Ollama 主页找到 DeepSeek R1 ，版本选择 32b ，其实我这电脑也就跑到 14b ，可以安装一下试一下每秒多少 token 。
复制32b对应的安装代码，在 cmd 中输入 ollama run deepseek-r1:32b ，从服务器摘取模型，32b，大概20G左右需要下载一会儿：
下载 LLM Stadio ：
实践证明32b跑不起来，差不多1-2个token，没法用。
再下个14b: ollama run deepseek-r1:14b
安装Cuda/cnDNN 本地运行大模型（如LLaMA、ChatGLM、Stable Diffusion等）通常需要强大的计算能力，而显卡（GPU）是关键组件之一。要充分利用显卡的计算能力，通常需要 CUDA 和 cuDNN 进行加速。
CUDA 的作用 CUDA（Compute Unified Device Architecture）是 NVIDIA 专有的并行计算平台 ，它允许开发者利用 GPU 进行通用计算（GPGPU）。深度学习框架（如 PyTorch、TensorFlow）通常基于 CUDA 进行计算加速：
CUDA 提供 GPU 编程接口 ，使得软件（如 PyTorch）可以直接调用 GPU 进行计算，而不是依赖 CPU。 核心库（cuBLAS、cuFFT、cuSPARSE 等） ：加速矩阵运算、傅里叶变换、稀疏矩阵运算等，都是大模型计算的关键部分。 cuDNN（CUDA Deep Neural Network Library）的作用 cuDNN 是 专门为深度学习优化的 NVIDIA 库 ，它在 CUDA 之上提供了一组高效的 GPU 计算优化：
优化神经网络计算 ：cuDNN 针对 卷积（Convolution）、池化（Pooling）、归一化（Normalization）、激活（Activation） 等操作进行了高度优化，使得大模型的推理和训练更加高效。 减少手写 CUDA 代码的需求 ：开发者不需要手动优化 CUDA 代码，cuDNN 提供了一套标准的 API，供 TensorFlow、PyTorch 等深度学习框架直接调用。 检查本机是还正确安装了cuda，在cmd下输入nvcc --version，如果正确显示版本信息，就说明正确安装。
在cmd下输入 nvidia-smi ，可以显示当前的显卡适配 cuda 的最高版本，可到官网下载对应版本cuda，最高支持cuda12.6，我下载的是12.3版，下载地址：
https://developer.nvidia.com/cuda-toolkit-archive 再安装 cuDNN ，下载地址：
https://developer.nvidia.com/zh-cn/cudnn cuDNN 下载时需要使用 Nvidia 开发者帐号，按要求注册一个，就可以正常下载。下载成功后，解压缩到cuda安装目录。我电脑cuda位置是 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.3
把cuDNN下载的包解压缩至这个目录就可以了。安装成功后，再测nvcc -V，可以看到版本信息。
配置好cuda，ollama运行时，GPU就会占用一部分。
cpu、gpu、内存均被占用。
配置ChatBox 在chatbox设置里模型提供方选Ollama api，模型中选择deepseek r1:14b或者选8b，保存。
来个测试，2024年高考数学二最后一道大题，看他能不能解出来。
本地版不支持多模态，用gpt把它转成文字：
再让它来解答，deepseek r1有个思维链，显示思考过程。我的电脑不太行，这个思考过程让我等不到他思考结束。
思考一会，还会发现自己算错了，再去找那里错了，修改后再去计算。可能这个模型不太适合进行数学计算，我把这个题发到在线的，看它能不能解出来。
在线的不能提供服务：
把同样的题给chatgpt，似乎很快得出结果：
具体结果不做展示。
编代码能力 1. Cline 插件 Cline 是 VS Code 上的一款插件，主要用于 代码补全 和 智能代码生成 ，可以通过 Claude AI 提供更强大的代码补全、解释和优化能力。
特点：
基于 Claude AI ：由 Anthropic 公司的 Claude 模型驱动，支持高级代码补全。 上下文感知 ：可以根据当前代码环境提供智能补全建议。 自动生成代码 ：能够帮助编写函数、类或者完整代码片段，提高开发效率。 可选 AI 代理 ：支持交互式 AI 助手，帮助理解代码逻辑、优化性能。 安装方式： 在 VS Code 扩展市场 搜索 Cline ，安装后登录 Anthropic Claude 账号 即可使用。
当然Cline也支持本地的Ollama模型，在设置中选择API Provider选择Ollama，Model ID选择能用的模型，就可以进行代码补全操作。
使用 Deepseek r1:8b模型，回答质量很差，基本办法使用。
这个插件再试一下调用官方api试一下效果。
最近Deepseek大火，官网上不去，现在硅基流动提供DeepSeek api服务，免费送2000万token额度。注册地址：
https://cloud.siliconflow.cn/i/JPgtFsMs
或者使用我的邀请码： JPgtFsMs 。
注册好帐号，创建API密钥：
CLine设置如下：
模型提供商为OpenAU兼容，baseURL为 https://api.siliconflow.cn/v1 ，模型ID，复制下面的ID。
为： deepseek-ai/DeepSeek-R1 ，保存。测试一下满血的R1。
可以使用，速度不快。不知道什么原因一直卡，可能是网络原因，也可能是使用的人比较多。
2. Continue 插件 Continue 是一款开源的 VS Code 插件，提供 AI 辅助编程 ，支持多种 AI 模型（如 GPT-4、Claude、Llama 2、Mistral 等），可以用于 代码补全、调试、解释和优化 。
特点：
支持多个 AI 模型 ：可以选择 OpenAI、Anthropic、Llama 2 等不同模型。 代码改进与修复 ：可以分析代码并建议优化方案，帮助修复 bug。 多语言支持 ：支持 Python、JavaScript、C++、Go 等多种编程语言。 自定义 AI 助手 ：可自定义提示词，让 AI 适应个人编码风格。 聊天交互 ：直接在 VS Code 侧边栏打开 AI 对话，询问代码问题或生成代码。 安装方式： 在 VS Code 扩展市场 搜索 Continue ，安装后配置 API Key （如 OpenAI API 或本地 AI 模型）。 VS Code安装continue插件：
插件安装成功后，选择ollama，会自动填加本地的ollama模型。
在模型下拉中选上8b。
同样的问题，在continue插件上速度比较快，很快出你想要的东西，不卡。
提出修改意见，也能很快修改。
使用过程，8g显存占用7.1g，运行比较流畅，可以放在内网环境做为代码助手。
又使用了contiune的硅基流动千问32b，也比较流畅。
这2个插件推荐使用Continue，本地ollama和deepseek api均可。
关于本地DeepSeek R1 本地跑r1，最好有显卡支持，没有显卡纯CPU，试试就好，用起来有点费劲。3070ti 8g版能流畅跑deepseek r1:7b或8b，再高就跑不起来。14b显存到少要12g，32b显存要24g，3090，4090，或者魔改版的2080。
在写这些文字时，跑了个14b，等一会没反应，回头再看，已经运行起来，速度也速可以，比8b慢，每秒20多token吧。
那就是上面提的配置要求可以再降一档。
粤ICP备14082021号
免费POC，
零成本试错
