Dify+谷歌翻译 使用中文提示词实现本地文生图

文章主要内容：

• • StableDiffusion WebUI 安装踩坑

• • Dify 安装使用

• • Dify 集成 Stable Diffusion WebUI 聊天生成图片

Stable Diffusion WebUI 安装

首先是 Stable Diffusion WebUI^[1] 的安装， AUTOMATIC1111 / stable-diffusion-webui 这个项目提供了各个平台的安装脚本，但是由于他的脚本使用了 venv 本地创建了一个 Python 虚拟环境，加之网络、证书等问题，还是出现了不少波折。

苹果芯片

我使用了 MacOS 系统（苹果的芯片），貌似比 Windows\Linux 复杂些，作者专门写了个页面来说明：

《Installation on Apple Silicon》^[2]

基础库安装

安装一些 SD WebUI 环境需要的一些基础库

brew install cmake protobuf rust python@3.10 wget

代码库下载

下载代码：

git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui

然后进入目录：

cd stable-diffusion-webui

然后执行 ./webui.sh 命令就好了。

执行过程中遇到了些问题，可能少部分人也会遇到。

Pip ssl certificate error

在 SD WebUI 自己创建的环境中，执行 pip install 的时候说证书错误。

WARNING: Retrying (Retry(total=0, connect=None, read=None, redirect=None, status=None)) after connection broken by 'SSLError(SSLCertVerificationError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:997)'))': /simple/torch/ Could not fetch URL https://pypi.org/simple/torch/^[3]: There was a problem confirming the ssl certificate: HTTPSConnectionPool(host='pypi.org', port=443): Max retries exceeded with url: /simple/torch/ (Caused by SSLError(SSLCertVerificationError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:997)'))) - skipping

对于这个问题最简单的方案是让 pip 信任对应的站点。

可以修改 webui-macos-env.sh 文件，

增加 pip install 参数:

• • --trusted-host pypi.org

• • --trusted-host files.pythonhosted.org

修改后的命令如下：

export TORCH_COMMAND="pip install --trusted-host pypi.org --trusted-host files.pythonhosted.org torch==2.3.1 torchvision==0.18.1"

好处是执行 pytorch 安装成功了，不好的是还有别的安装失败了。

Github 网络问题

WebUI 安装 clip 等包的时候要从 Github 上下载 Zip 包，网络的问题自然是下载失败了。

我的解决方案是，手动下载 Zip 包放到本地，然后修改环境变量：

export CLIP_PACKAGE="--trusted-host pypi.org --trusted-host files.pythonhosted.org  ~/Downloads/CLIP-d50d76daa670286dd6cacf3bcd80b5e4823fc8e1.zip"
export OPENCLIP_PACKAGE="--trusted-host pypi.org --trusted-host files.pythonhosted.org  ~/Downloads/open_clip-bb6e834e9c70d9c27d0dc3ecedeebeaeb1ffad6b.zip"

Pip 全局证书信任

后续其他包还有 SSL 证书不认的情况，我们可以把这个忽略SSL的指令加到全局。

执行 pip config list -v 查看 Pip 配置文件位置：

> pip config list -v
For variant 'global', will try loading '/Library/Application Support/pip/pip.conf'
For variant 'user', will try loading '/Users/shuyi/.pip/pip.conf'
For variant 'user', will try loading '/Users/shuyi/.config/pip/pip.conf'

我们修改 ~/pip/pip.conf 文件，信任这几个网址：

[global]
trusted-host = pypi.python.org
               pypi.org
               files.pythonhosted.org

Linux 和 Windows 也可以这样修改哈，文件位置是：

• • Unix - $HOME/.config/pip/pip.conf

• • Windows - %APPDATA%\pip\pip.ini

接下来再执行启动命令：

sh webui-macos-env.sh; sh webui.sh --no-half

系统会使用默认浏览器自动打开网址 http://127.0.0.1:7860/ ，可以看到熟悉的界面了：

我们让它来画一只猫，提示就是简单的 a cat：

API 模式运行

如果要让 Dify 调用 SD Web UI ，必须让 SD Web UI 以 API 监听的模式运行，增加 --api --listen 参数：

sh webui-macos-env.sh; sh webui.sh --api --listen --no-half

Dify 安装

Dify 支持本地源码运行、容器运行，之前使用源码运行，过了很长一段时间发现也没啥修改源码的地方，所以推荐搭建全部用 容器运行。

我们可以参考 Dify 容器部署文档^[4] 来部署。

克隆项目

首先克隆项目：

git clone https://github.com/langgenius/dify.git

复制修改环境变量

进入目录复制 ENV 环境变量：

cd dify/docker
cp .env.example .env

如果要修改环境变量，可以修改 .env 文件，比如：

• • 开启调试

• • 服务端口

• • 服务地址等等

启动 Dify 容器

使用 Compose 服务启动中间件和 Dify 服务：

docker compose up -d

可以看到一共有如下容器启动：

[+] Running 11/11
 ✔ Network docker_ssrf_proxy_network  
 ✔ Network docker_default             
 ✔ Container docker-redis-1           
 ✔ Container docker-ssrf_proxy-1      
 ✔ Container docker-sandbox-1         
 ✔ Container docker-web-1             
 ✔ Container docker-weaviate-1        
 ✔ Container docker-db-1              
 ✔ Container docker-api-1             
 ✔ Container docker-worker-1          
 ✔ Container docker-nginx-1           

访问 Dify

启动成功， 访问 http://localhost，设置完用户密码，即可看到 Dify 的界面了：

更新项目

如果要更新 Dify，也很简单，停止容器、更新代码、重新启动即可。

cd dify/docker
docker compose down
git pull origin main
docker compose pull
docker compose up -d

集成 Stable Diffusion 工具

前面我们已经将 Stable Diffusion Web UI 使用 API 模式运行起来了，可以在 Dify 工具中直接配置即可。Dify 也提供了 SD 集成文档^[5]，大家有兴趣可以查看。

点击 Dify 的工具Tools 页签，打开工具页面，搜索 stable，选择 Stable Diffusion：

然后点击 To Authorize 按钮进行认证：

有两个参数 Base URL 和 Model：

由于 Dify 是在容器中运行，Base URL 不能填写 localhost，Docker 提供了主机名host.docker.internal 来代替宿主机地址。我们填写：

• • http://host.docker.internal:7860

接下来是模型名称， 模型列表可以浏览器访问如下网址获得：

• • http://127.0.0.1:7860/sdapi/v1/sd-models

格式化之后，可以清楚看到模型名称，

为了方便起见，我写个命令给大家获取模型名称，执行下面命令，

curl http://127.0.0.1:7860/sdapi/v1/sd-models | python -m json.tool | grep model_name

可以直接提取到模型名称：

挑选一个我们喜欢的 模型，填入即可，比如：

realisticVisionV20_v20

点击确定，可以看到认证成功：

创建应用

接下来我们来创建应用：

• • 点击 Studio 进入应用页面

• • 点击 Create from Blank 创建一个空白应用

• • 选择Chatbot 和 Chatflow

• • 选择应用图标，填写应用名称

• • 点击创建

在工作区中点击右键，选择添加块，

然后搜索选择 Stable Diffusion WebUI 工具：

把开始节点连接到 WebUI 工具：

点击 WebUI 工具进行设置，Prompt 输入框输入 / 可以选择变量，我们选择 sys.query 作为提示词：

为了快速验证，我们把图片的 宽度和高度 都改成 512，这样绘图的时间不会太长。

然后选择默认生成的 LLM 节点，按 DEL 键删掉，查新连线如下图：

选中最后一个 「回答」 节点，设置回答内容内 files：

点击预览按钮进行测试，在聊天输入框中输入 a tiger 发送消息， 过一会可以看到 应用返回了一张老虎图片：

翻译

同样的方法，我们在画布右击，选择 谷歌翻译 这个工具，添加到画布上：

重新连线如下：

设置翻译工具的内容为 sys.query，目标语言为 English，

调整 Stable diffusion WebUI 工具的提示词为 Translate / {x} text：

下面我们写一个复杂一些的提示：

一大群人举着巴勒斯坦旗帜和气球，自由巴勒斯坦，

应用也给出了可用的图片：

翻译的必要性

前面我没有讲到绘画时翻译的必要性。

Stable Diffusion 是可以理解简单的中文的，但是仅仅限于简单简单的词语，比如一只猫，老虎 等单个词语，

如果是一个句子，Stable Diffusion 就理解不了，比如我们上面的那句话，如果直接发送给 SD，结果可能很随机：

所以使用 Stable Diffusion 还是要英文提示词，所以我们在英文不好的时候，通过翻译自动翻译给 StableDiffusion 还是很有必要的。

翻译之后，虽然说不上多专业，但是一些普通的使用还是可以满足的。

发布

一切就绪，我们来发布应用。

点击发布按钮，在弹框中点击「发布」或「更新」即可：

使用

我们点击 Explore 或者 Dify Logo 回到首页，都可以看到我们刚刚创建的应用：

点击应用然后开始聊天吧：

总结

Dify 提示了众多的工具让我们使用，我们可以通过流程编排来实现一些工具的串联， 这样的话如果没有额外逻辑我们就不需要编写代码了，可以节省很大工作量。

如果有额外的需求，我们也可以编写服务，然后使用自定义工具的方式来实现，这个咱们下期再讲。