我要投稿

Dify 教程二：使用本地大模型 Ollama

发布日期：2024-07-20 12:40:39 浏览次数： 8635

使用 Ollama

还是在设置的弹窗中选择「模型供应商」，这次我们选择 Ollama，以 qwen2:7b 模型为例：

模型名称我们填入 qwen2:7b
基础 URL 填入 http://host.docker.internal:11434
其他选项可以根据自己的需求进行配置，或者也可以保持默认
然后保存即可

回到创建的应用中，在编排页面的右上角切换大模型为 qwen2:7b:

可以看到的，由于是本地大模型，所以响应速度非常快！

知识库配置嵌入模型

因为咱们本次使用 Ollama 来作为 Dify 的 AI 模型，所以在创建知识库时会有一些问题：

这是 因为 Dify 默认的系统 Embedding 模型是 OpenAI 的 text-embedding-3-large ，但是当我们使用本地大模型时，是无法连接到这个模型的，所以我们 还需要再拉取一个 Embeddinng 模型下来，这里以 nomic-embed-text 为例 ：

ollama pull nomic-embed-text

然后在 Ollama 模型设置中选择 Text Embedding：

保存之后，我们可以 修改 Dify 的默认系统模型，点击右上角的「系统默认设置」按钮进行设置 ：

再创建一个新的知识库进行测试：

也可以成功嵌入：

测试应用

接下来我们将刚刚创建的知识库添加到应用中去，并给应用添加提示词。如果不知道怎么编写提示词，还可以点击右上角的自动编排让 AI 帮助我们完成：

点击右下角的「应用」按钮，就会自动为我们添加这些提示词和开场白到应用中了：

我们可以在知识库中添加大量的 K8s 相关的资料，打造一款 K8s 大师应用。是不是很棒?

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-08-29

Dify 1.8.0 实测：多模型管理、MCP OAuth、异步存储，真升级还是鸡肋?

2025-08-28

Dify v1.8.0大版本更新：多模型凭证系统的底层架构革新与MCP的 OAuth 集成能力突破！

2025-08-27

Dify发布了V1.8.0版本，安全性和性能有了重大改进，让我们一起来看看吧！

2025-08-25

4300字长文：使用dify搭建合同审核Agent

2025-08-23

Dify集成MCP服务

2025-08-23

Dify v1.7.2 实战爆破：6 大特性颠覆开发，23 处修复稳如老狗

2025-08-20

深度实战：我用 Dify 复刻了 1688 的 AI 搜索，“多路召回”才是灵魂

2025-08-20

Dify Java Client

了解更多

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

手把手教你在本地部署MinerU 1.3.10 API并接入Dify插件

2025-06-04

53AI Studio：高准确率是企业级AI应用的“终局之选”

2025-06-25

Dify实现AI智能体工作流实战手册

2025-06-03

Dify 支持视频生成了！附 AI 视频应用搭建教程

2025-06-02

Dify升级不成功？你只要做对这一步，升级真的太简单了！

2025-06-05

深入调研Dify，本地搭建实战案例

2025-06-10

基于Dify平台实现推荐问题点击交互功能的技术方案

2025-06-30

DifyAI关键技术深度剖析

2025-06-29

Dify MCP 保姆级教程来了！

2025-06-24

Dify 深度拆解（二）：后端架构设计与启动流程全景图

2025-06-09

大家都在问

Dify 1.8.0 实测：多模型管理、MCP OAuth、异步存储，真升级还是鸡肋?

2025-08-29

Dify功能解析四：Dify父子模式分段解决普通分段的什么问题？

2025-08-18

拆解 Dify 节点：搭建 AI 应用，这些 “积木” 怎么用？

2025-08-02

Dify 技术文档工程实践：如何构建面向 AI 时代的知识系统？

2025-07-30

万字演讲：Dify 插件如何助力 AI Agent 应用开发？

2025-06-26

万字演讲：Dify 插件如何助力 AI Agent 应用开发？

2025-06-17

如何在dify对话中使用表单 Form打造一个可对话的客服工单反馈系统？

2025-05-29

怎么用dify搭建一个工单系统？

2025-05-28

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB

应聘简历请发送至： [email protected]

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部