当前位置: 首页 > ds >正文

【ComfyUI】涂鸦 ControlNet 涂鸦参考引导生成

今天给大家演示一个基于 DreamShaper 模型ControlNet Scribble 相结合的 ComfyUI 工作流。这个流程通过导入基础模型和 VAE,结合图像的边缘检测预处理,再配合正向与负向提示词的控制,使生成结果在画面风格和细节上都能保持高质量。整个流程的重点是将输入图像经过 Canny 算子提取特征,再利用 ControlNet 引导生成,最终输出具备高度还原与艺术表现力的图像效果。这样一来,无论是广告创意、角色 Q 版化设计,还是场景细节的再现,都能获得更灵活且稳定的生成体验。

文章目录

  • 工作流介绍
    • 核心模型
    • Node节点
  • 工作流程
  • 应用场景

工作流介绍

该工作流以 DreamShaper_8_pruned.safetensors 作为核心基础模型,配合 vae-ft-mse-840000-ema-pruned.safetensors 的解码器保证细节的丰富度,并引入 control_v11p_sd15_scribble_fp16.safetensors 来实现手绘线稿式的 ControlNet 控制。通过这一组合,工作流既能保证图像的整体艺术质量,又能让输入图像在边缘、构图等层面得到准确的约束和优化。在节点设计上,工作流涵盖了从模型加载、图像预处理、提示词编码、采样生成到最终图像保存的完整链路。整体的节点分工清晰,既突出了生成的灵活性,也保证了效果的稳定性。

在这里插入图片描述

核心模型

在核心模型部分,工作流加载了三个关键模型:DreamShaper 用于生成图像的主要风格与画质,VAE 负责高质量的解码细节,而 ControlNet Scribble 则在图像约束与边缘保持中发挥了决定性作用。这一组合让生成结果既保留了创作自由度,又能忠实遵循输入图像的结构与轮廓,特别适合场景还原、风格化角色创作等场景。

模型名称说明
DreamShaper_8_pruned.safetensors核心基础模型,负责整体图像风格与高质量生成
vae-ft-mse-840000-ema-pruned.safetensorsVAE 模型,提升解码阶段的清晰度与色彩还原度
control_v11p_sd15_scribble_fp16.safetensorsControlNet Scribble 模型,用于边缘约束和手绘风格控制

Node节点

在节点构成上,工作流通过 CheckpointLoaderSimple、VAELoader、ControlNetLoader 等基础节点完成核心模型的加载与配置;利用 CLIPTextEncode 节点对正向与负向提示词进行编码,从而精确控制画面内容;再通过 LoadImage 与 Canny 节点完成输入图像的导入与边缘检测,配合 ControlNetApplyAdvanced 进行约束调整;最后使用 KSampler、VAEDecode、SaveImage 完成生成与结果输出。这样的节点设计保证了整个流程的完整性和可控性。

节点名称说明
CheckpointLoaderSimple加载基础生成模型 DreamShaper
VAELoader加载 VAE 模型以保证解码效果
ControlNetLoader加载 ControlNet Scribble 控制模型
CLIPTextEncode编码正向与负向提示词,引导生成内容
LoadImage导入外部参考图像
Canny对输入图像进行边缘检测,提取结构特征
ControlNetApplyAdvanced将提示词与 ControlNet 约束结合,控制生成结果
KSampler通过采样器生成潜变量图像
VAEDecode将潜变量解码为最终图像
SaveImage / PreviewImage保存并预览生成结果

工作流程

该工作流的执行过程从模型与 VAE 的加载开始,随后进入图像的输入与预处理,再到提示词的正负向编码与 ControlNet 的约束结合,最终通过采样与解码生成图像。整体流程分为模型准备、图像结构提取、提示词控制、采样生成与结果输出五个阶段。模型准备保证了生成的质量与风格基调,图像结构提取确保输入素材的构图能被充分识别,提示词控制让生成结果与创作者意图高度匹配,采样生成则将潜变量逐步迭代成像,最后通过解码和保存实现成品输出。每个阶段均有对应的节点承担关键功能,使整个流程既高效又直观。

流程序号流程阶段工作描述使用节点
1模型准备加载基础模型与 VAE,建立生成环境CheckpointLoaderSimple、VAELoader、ControlNetLoader
2图像结构提取导入外部参考图像并进行边缘检测,提取输入特征LoadImage、Canny
3提示词控制编码正向与负向提示词,引导生成的画面元素与风格CLIPTextEncode
4ControlNet约束将提示词与图像特征结合,通过 ControlNet 精准控制生成内容ControlNetApplyAdvanced
5采样与输出使用采样器生成潜变量,再经 VAE 解码并保存为图像KSampler、VAEDecode、SaveImage、PreviewImage

应用场景

该工作流在多种创意与生产场景中具有广泛应用价值。通过 DreamShaper 提供的高质量生成能力,以及 ControlNet Scribble 对输入图像结构的约束,可以将普通图像转化为艺术化的设计素材。例如在广告创意中,能够快速生成具有独特风格的宣传图;在角色设计中,可以借助手绘式的线稿控制生成 Q 版人物;在教育与展示中,则可用于生成直观的示例图像,提升表达效果。整个流程不仅适合设计师与插画师,还适合需要图像定制化内容的用户群体,最终实现结构清晰、风格统一、表现力突出的图像输出。

应用场景使用目标典型用户展示内容实现效果
广告创意快速生成高质量宣传图广告设计师产品展示图、活动宣传图高质感、创意突出的广告画面
角色设计基于线稿生成风格化角色图像插画师、游戏设计师Q版角色、二次元角色设定图结构准确、风格统一的角色创作
教学演示生成图像示例用于教学与展示教师、培训人员示例图像、对比效果图表达直观、内容具象化
创意生产将照片转化为艺术化图像创作者、爱好者风格化插画、艺术作品个性化、艺术化的视觉效果
http://www.xdnf.cn/news/20168.html

相关文章:

  • django全国小米su7的行情查询系统(代码+数据库+LW)
  • 论文介绍:Fast3R,更快的多视图 3D 重建的新范式
  • 计算机原理(一)
  • 4.5.8版本来了~山海鲸最新内容抢鲜看
  • 2025 全国大学生数学建模竞赛题目-B 题 碳化硅外延层厚度的确定 问题二完整思路
  • Coze插件AI复刻之:网页截图
  • 数据结构准备:包装类+泛型
  • 大语言模型推理的幕后英雄:深入解析Prompt Processing工作机制
  • 时序数据库IoTDB的六大实用场景盘点
  • 基于机器学习的缓存准入策略研究
  • 服务器异常磁盘写排查手册 · 已删除文件句柄篇
  • 安装与配置Jenkins(小白的”升级打怪“成长之路)
  • AI-Agent智能体提示词工程使用分析
  • leetcode212.单词搜索II
  • SQL优化与准确性提升:基于RAG框架的智能SQL生成技术解析
  • webrtc之高通滤波——HighPassFilter源码及原理分析
  • 正则表达式,字符串的搜索与替换
  • 【面试题】介绍一下BERT和GPT的训练方式区别?
  • Ansible 项目管理核心要点总结
  • 进程与线程详解, IPC通信与RPC通信对比,Linux前台与后台作业
  • Android入门到实战(八):从发现页到详情页——跳转、传值与RecyclerView多类型布局
  • 深度学习——ResNet 卷积神经网络
  • Python快速入门专业版(二):print 函数深度解析:不止于打印字符串(含10+实用案例)
  • Docker多阶段构建Maven项目
  • K8s资源管理:高效管控CPU与内存
  • React学习之路永无止境:下一步,去向何方?
  • Jmeter基础教程详解
  • STM32H750 RTC介绍及应用
  • 国产GEO工具哪家强?巨推集团、SEO研究协会网、业界科技三强对比
  • 用C++实现日期类