微信扫码
添加专属顾问
我要投稿
Dify接入本地大模型的详细指南,解决企业级AI应用的关键痛点。核心内容: 1. Ollama本地部署大模型的完整步骤 2. Dify与本地模型对接的关键配置项 3. 知识库切换本地模型的实际操作演示
大家好,我是小遥,近期专注于AI 提效、AI 智能体解决方案
上一篇《如何用dify搭建企业级私有知识库?》文中接入模型处忽视了一个细节,自己测试当时没有切到本地模型。感谢小伙伴评论区留言
基于此,本文对上一篇内容做个补充,主要介绍Dify如何接入本地模型。
对于先前已经搭建好的知识库,需要简单调整。
如何用Dify接入本地大模型?
需要查看本地是否用Ollama成功部署大模型。
1、 如果你已经在本地部署了大模型。
可以直接在主页->设置->模型供应商中全局配置
配置成功后可看到Ollama
2、如果本地还没有安装模型,
详细可参考:《Ollama本地安装部署大模型》
核心步骤如下:
1、下载安装Ollama
官网地址:https://ollama.com/download/windows
点击下载windows 版本,其它版本网上自行检索
2、双击运行
点下一步,无脑安装。
3、检测是否安装成功
windows+R ,输入命令
C:\Users\admin>ollama -v
出现相应的版本号即为安装成功
4、本地部署大模型
考虑到本地机器性能,以接入DeepSeek-r1为例,用Ollama部署
选取模型规格及参数
接入deepseek-r1:14b,看到发送消息这个对话提示就是安装成了
好了,现在用Ollama部署了本地大模型。
如果Dify本地安装也未完成,可参考:Dify本地安装Winodws版本
这里不在赘述。
到此,我们具备了以下条件:
接下来正式操作如何接入本地模型?
关键点:这里需要填写以下内容
基础 URL (Base URL):ollama部署的地址。
模型名称:(必须与本地部署的大模型名字完全一致,个人使用的是deepseek-r1:14b,就配置)
模型类型:对话 (Chat)上下文
长度:4096 (根据显存情况调整)
踩坑!!!:如果你的 Ollama 跑在宿主机上,Dify 跑在 Docker 里,Base URL 千万别填 localhost!
正确姿势:
Mac/Win:http://host.docker.internal:11434
Linux: http://172.17.0.1:11434 (Docker 网关 IP)
设置中可视化配置如下:
好了,到这里基本完成Dify本地接入大模型。
最后,回到知识库本地化模型配置。
详细配置修改如下:
1、点击进入已经建好的知识库
2、点击模型设置,选择本地模型
可以看到已显示本地部署的模型
3、测试验证
比较简单,遇到问题请留言或者私聊~
往期推荐
Agent搭建一个高效工作表格" data-itemshowtype="0" linktype="text" data-linktype="2">用Agent搭建一个高效工作表格
好了,今天就聊到这里。
最近新建了 AI技术交流群【专注AI提效、AI智能体、AI工程化落地】,
加V备注【进群】,相互交流~~
<<< END >>>
作者丨小遥
芝兰生于幽谷,不以无人而不芳
53AI,企业落地大模型首选服务商
产品:场景落地咨询+大模型应用平台+行业解决方案
承诺:免费POC验证,效果达标后再合作。零风险落地应用大模型,已交付160+中大型企业
2025-12-17
Dify 从不被看好到 GitHub Top 50 的项目,垄断日本市场,它到底做对了什么
2025-12-17
Aiops探索:这个场景我决定放弃n8n而是选择Dify
2025-12-14
Aiops探索:用Dify做一个基于LLM的ChatOps,从此我们的运维工作变得超级轻松
2025-12-13
告别慢检索!Dify知识库调优指南:既快又准的平衡艺术
2025-12-10
Dify v1.10.1升级到Dify v1.10.1-fix.1遇到了唯一问题!
2025-12-08
核弹级漏洞!Dify中招,刻不容缓,立即修复!
2025-12-05
【紧急预警】Dify 用户速看:Next.js 爆 CVSS 10.0 核弹级漏洞,已被真实验证攻击
2025-12-05
Dify v1.10.1-fix.1 版本紧急发布!
2025-10-13
2025-12-05
2025-10-12
2025-09-23
2025-11-09
2025-11-11
2025-12-08
2025-09-30
2025-11-20
2025-12-05
2025-12-17
2025-11-29
2025-09-30
2025-09-23
2025-09-06
2025-09-05
2025-08-29
2025-08-18