AI大模型学习十八、利用Dify+deepseekR1 +本地部署Stable Diffusion搭建 AI 图片生成应用
一、说明
最近在学习Dify工作流的一些玩法，下面将介绍一下Dify + Stable Diffusion实现文生图工作流的应用方法
Dify与Stable Diffusion的协同价值
Dify作为低代码AI开发平台的优势：可视化编排、API快速集成
Stable Diffusion的核心能力：高效文生图、多模态生成
二者结合的意义：降低AI绘画开发门槛，加速创意落地
二、安装Stable-Diffusion-WebUI
参考文章
（七）腾讯cloudstudio+Stable-Diffusion-webui AI绘画教程-安装Stable-Diffusion-WebUI_cloudstudio怎么打开webui-CSDN博客
https://blog.csdn.net/jiangkp/article/details/144322367?spm=1011.2415.3001.5331
其中 5、修改部分代码
webui-user.sh export COMMANDLINE_ARGS="--api --listen --enable-insecure-extension-access --xformers"我已经重新安装了一遍，所以没问题
这篇文章是用了透传，我们这里不用透传，地址后面会给出
下载国风3
xiaolxl/GuoFeng3 at main
地址为
https://gzwqtc--7860.ap-beijing.cloudstudio.work/
三、文生图工作流（SD工具）
1、创建SD工具
2、创建应用发布为工具
3、通过大模型将自然语言转换成SD提示词
点击保存
修改之后的图
上面在调试是不好调试，我们可以不按照上图填写，按下图，可以在llm中直接输入调试
系统提示词
# 角色
你是一个专业的SD提示词提取专家，擅长从描述性画面中精准提取SD提示词。## 技能
### 技能 1: 提取SD提示词
1. 当用户提供描述性画面时，仔细分析画面内容。
2. 精准提取其中与SD相关的提示词。
3. 将提取的提示词清晰罗列展示给用户。
4. 提示词内容用逗号隔开。
===回复示例===
1gril,street
===示例结束===
### 技能 2: 提示词转换
将具体的提示词转换成stable diffusion能够识别的字符## 限制:
- 只围绕从描述性画面中提取SD提示词展开，拒绝回答无关话题。
- 所输出的内容必须清晰罗列展示提取的提示词，不能偏离框架要求。
测试LLM
提示词：
月光下的少女，红色头发，白色连衣裙，以及夜晚，在海边
4、 使用Stable Diffusion工具生成图片
添加第三个节点
参数修改，可以看stable diffusion的说明
单个节点测试一下
添加end节点
添加输出变量
5、测试
剩下的就是等
生成的图片不准啊
我准备用国风3.3或3.4看看 下载好慢喔
xiaolxl/GuoFeng3 at mainhttps://hf-mirror.com/xiaolxl/GuoFeng3/tree/main
选择为国风3.3
测试步骤河上面一样
提示词改一下
一天晚上，在海边，月光下的少女，红色头发，白色连衣裙，
还是没有海边啊
换为国风3.4版本
更换版本后，第一次运行会出错误，主要是后台有一个更换模型的过程，第二次运行就好了
提取的SD提示词：
moonlight, beach, girl, red hair, white dress
再来一次，这个好像可以有海了
四、发布为工具
发布为工具可以在其它应用中使用
配置下，就可以了 ，没啥按要求填
五、创建应用
再创建一个应用，应用工具即可，就不写文档了，前面不足差不多一个开始，一个调用工具，一个结束，