给 Dify 接入 SD 实现 AI 绘画自由

发布日期：2024-08-03 17:05:32 浏览次数： 4060

作者：三金得鑫

微信搜一搜，关注“三金得鑫”

Dify 中也支持接入 Stable Diffusion AI 绘画、DALLE 2 和 3 绘画，不过在国内使用 DALLE 绘图比较麻烦，如果能使用 DALLE 还不如一步到位使用 MJ，不巧的是这俩三金都没有。

所以前几天三金在电脑上部署了下 SD（MacOS 部署 Stable Diffusion 实现 AI 绘画自由），并从 C 站上下载了XXMix_9realisticSDXL 模型来试试水。

以下是三金这两天使用 SD 生成的图片：

prompt : (masterpiece, detailed, cyberpunk, dramatic lighting:1.3), mesmerizing xxmixgirl character, detailed feminine features, intricate facial expressions, time square background filled with neon lights and bustling crowds, cyberpunk elements subtly integrated, shadowy atmosphere enhancing the mood, lighting inspired by Bill Sienkiewicz's style, dynamic composition, vibrant colors contrasting with dark shadows, intense and dramatic ambiance, SimplepositiveXLv1 filter at 70% opacity for a touch of modernity and edge.

一个赛博朋克风格的小姐姐就此诞生啦～

prompt : (masterpiece, surreal, dramatic lighting, detailed:1.3), enchanting xxmixgirl character silhouetted against a beautiful sunset, intricate details in the scene, surreal atmosphere created by the lighting, shadows adding depth and mystery, inspired by the styles of Brandon Woelfel and Ryan McGinley, lo-fi analog filter resembling Kodak film, warm tones enhancing the sunset, dreamlike quality to the setting, captivating and serene vibe, focusing on the beauty of the moment and the character, rich storytelling through light and shadow play.

接下来我们就将 SD 接入 Dify 看看。

接入 Stable Diffusion

首先，我们要 Dify 的工具页面，设置 Stable Diffusion 授权：

⚠️注意：如果要使用 SD 的 API 服务，在 MacOS 和 Linux 系统上需要使用 ./webui.sh --api --listen 命令启动 SD，Windows 系统则是通过 ./webui.bat --api --listen 启动。

这里 SD 的服务器地址如果是本地部署的就写：http://host.docker.internal:7860；如果是部署在云服务器上的就写「服务器 IP:7860」。

然后模型名称就是截图红框框住的部分，比如三金的模型名 xxmix9realisticsdxl_v10，不需要点号后面的内容即可。

设置好之后点击保存，没啥问题我们就可以使用 SD 了。

在应用中使用

我们新建一个 agent 应用，里面可以嵌入工具：

这样我们就在这个 agent 中加入了 Stable Diffusion 绘图工具啦～

先来试试它的普通对话能力：

可以正常使用，接下来我们试试 Stable Diffusion 的绘图能力。

Prompt : (detailed, surreal, contemporary:1.2), xxmixgirl portrayed in a surreal setting with intricate details, blending gradients of contemporary artistry, immersed in nature with a touch of street-art and urban-life elements, vibrant colors and emotions captured in a photographic style, inspired by Marta Bevacqua's work, rich storytelling through portraits, lo-fi analog filter reminiscent of Kodak film, dreamlike and ethereal atmosphere, depth in character expression and surroundings, a fusion of art and photography creating a visually stunning and contemplative scene.