Dify 上使用 Ollama 本地推理框架客户端

Ollama是一个本地推理框架客户端，允许一键部署诸如Llama 2、Mistral、Llava等大型语言模型(LLMs)。Dify支持集成通过Ollama部署的大型语言模型和文本嵌入能力。

快速集成

1. 下载并启动Ollama

   对于其他模型，访问Ollama模型以获取更多详情。

• 访问https://ollama.ai/download下载适用于您系统的Ollama客户端。
• 运行Ollama并与Llava聊天：

  ollama run llava
  

• 成功启动后，Ollama将在本地端口11434上启动API服务，可在http://localhost:11434访问。

• 在Dify中集成Ollama

  点击“保存”以在应用程序中使用模型，之后确认没有错误。

  嵌入模型的集成方法与LLM相似，只需将模型类型更改为文本嵌入。

• 模型名称：llava
• 基础URL：http://<你的ollama端点域名>:11434
• 输入Ollama服务可访问的基础URL。
• 如果使用docker部署Dify，考虑使用本地网络IP地址，例如http://192.168.1.100:11434 或 docker主机机器IP地址，例如http://172.17.0.1:11434。
• 对于本地源代码部署，使用http://localhost:11434。
• 模型类型：聊天
• 模型上下文长度：4096
• 最大令牌限制：4096
• 支持视觉：是
• 在“设置 > 模型提供商 > Ollama”中填写：

使用Ollama模型

在需要配置的App的Prompt Eng.页面，选择Ollama提供商下的llava模型，并在配置模型参数后使用它。






FAQ

• 如果您使用docker部署Dify和Ollama，可能会遇到以下错误：

  httpconnectionpool(host=127.0.0.1, port=11434): max retries exceeded with url:/cpi/chat (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x7f8562812c20>: fail to establish a new connection:[Errno 111] Connection refused'))
  

  这个错误是因为Ollama服务无法从docker容器中访问。localhost通常指的是容器本身，而不是宿主机或其他容器。要解决此问题，您需要将Ollama服务暴露给网络。

• 设置Mac上的环境变量

• 如果Ollama作为macOS应用运行，应使用launchctl设置环境变量：

  launchctl setenv OLLAMA_HOST "0.0.0.0"
  

  重启Ollama应用程序。

• 设置Linux上的环境变量

• 如果Ollama作为systemd服务运行，应使用systemctl设置环境变量：

  systemctl daemon-reload
  systemctl restart ollama
  

• 设置Windows上的环境变量

• 在Windows上，Ollama继承您的用户和系统环境变量。首先退出Ollama，然后从控制面板编辑系统环境变量，为您的用户帐户编辑或创建新变量(如OLLAMA_HOST, OLLAMA_MODELS等)，点击OK/Apply保存，然后从新的终端窗口运行ollama。

如何在我的网络上暴露Ollama？Ollama默认绑定127.0.0.1端口11434。使用OLLAMA_HOST环境变量更改绑定地址。