【ComfyUI】涂鸦 ControlNet 涂鸦参考引导生成
今天给大家演示一个基于 DreamShaper 模型 与 ControlNet Scribble 相结合的 ComfyUI 工作流。这个流程通过导入基础模型和 VAE,结合图像的边缘检测预处理,再配合正向与负向提示词的控制,使生成结果在画面风格和细节上都能保持高质量。整个流程的重点是将输入图像经过 Canny 算子提取特征,再利用 ControlNet 引导生成,最终输出具备高度还原与艺术表现力的图像效果。这样一来,无论是广告创意、角色 Q 版化设计,还是场景细节的再现,都能获得更灵活且稳定的生成体验。
文章目录
- 工作流介绍
- 核心模型
- Node节点
- 工作流程
- 应用场景
工作流介绍
该工作流以 DreamShaper_8_pruned.safetensors 作为核心基础模型,配合 vae-ft-mse-840000-ema-pruned.safetensors 的解码器保证细节的丰富度,并引入 control_v11p_sd15_scribble_fp16.safetensors 来实现手绘线稿式的 ControlNet 控制。通过这一组合,工作流既能保证图像的整体艺术质量,又能让输入图像在边缘、构图等层面得到准确的约束和优化。在节点设计上,工作流涵盖了从模型加载、图像预处理、提示词编码、采样生成到最终图像保存的完整链路。整体的节点分工清晰,既突出了生成的灵活性,也保证了效果的稳定性。
核心模型
在核心模型部分,工作流加载了三个关键模型:DreamShaper 用于生成图像的主要风格与画质,VAE 负责高质量的解码细节,而 ControlNet Scribble 则在图像约束与边缘保持中发挥了决定性作用。这一组合让生成结果既保留了创作自由度,又能忠实遵循输入图像的结构与轮廓,特别适合场景还原、风格化角色创作等场景。
模型名称 | 说明 |
---|---|
DreamShaper_8_pruned.safetensors | 核心基础模型,负责整体图像风格与高质量生成 |
vae-ft-mse-840000-ema-pruned.safetensors | VAE 模型,提升解码阶段的清晰度与色彩还原度 |
control_v11p_sd15_scribble_fp16.safetensors | ControlNet Scribble 模型,用于边缘约束和手绘风格控制 |
Node节点
在节点构成上,工作流通过 CheckpointLoaderSimple、VAELoader、ControlNetLoader 等基础节点完成核心模型的加载与配置;利用 CLIPTextEncode 节点对正向与负向提示词进行编码,从而精确控制画面内容;再通过 LoadImage 与 Canny 节点完成输入图像的导入与边缘检测,配合 ControlNetApplyAdvanced 进行约束调整;最后使用 KSampler、VAEDecode、SaveImage 完成生成与结果输出。这样的节点设计保证了整个流程的完整性和可控性。
节点名称 | 说明 |
---|---|
CheckpointLoaderSimple | 加载基础生成模型 DreamShaper |
VAELoader | 加载 VAE 模型以保证解码效果 |
ControlNetLoader | 加载 ControlNet Scribble 控制模型 |
CLIPTextEncode | 编码正向与负向提示词,引导生成内容 |
LoadImage | 导入外部参考图像 |
Canny | 对输入图像进行边缘检测,提取结构特征 |
ControlNetApplyAdvanced | 将提示词与 ControlNet 约束结合,控制生成结果 |
KSampler | 通过采样器生成潜变量图像 |
VAEDecode | 将潜变量解码为最终图像 |
SaveImage / PreviewImage | 保存并预览生成结果 |
工作流程
该工作流的执行过程从模型与 VAE 的加载开始,随后进入图像的输入与预处理,再到提示词的正负向编码与 ControlNet 的约束结合,最终通过采样与解码生成图像。整体流程分为模型准备、图像结构提取、提示词控制、采样生成与结果输出五个阶段。模型准备保证了生成的质量与风格基调,图像结构提取确保输入素材的构图能被充分识别,提示词控制让生成结果与创作者意图高度匹配,采样生成则将潜变量逐步迭代成像,最后通过解码和保存实现成品输出。每个阶段均有对应的节点承担关键功能,使整个流程既高效又直观。
流程序号 | 流程阶段 | 工作描述 | 使用节点 |
---|---|---|---|
1 | 模型准备 | 加载基础模型与 VAE,建立生成环境 | CheckpointLoaderSimple、VAELoader、ControlNetLoader |
2 | 图像结构提取 | 导入外部参考图像并进行边缘检测,提取输入特征 | LoadImage、Canny |
3 | 提示词控制 | 编码正向与负向提示词,引导生成的画面元素与风格 | CLIPTextEncode |
4 | ControlNet约束 | 将提示词与图像特征结合,通过 ControlNet 精准控制生成内容 | ControlNetApplyAdvanced |
5 | 采样与输出 | 使用采样器生成潜变量,再经 VAE 解码并保存为图像 | KSampler、VAEDecode、SaveImage、PreviewImage |
应用场景
该工作流在多种创意与生产场景中具有广泛应用价值。通过 DreamShaper 提供的高质量生成能力,以及 ControlNet Scribble 对输入图像结构的约束,可以将普通图像转化为艺术化的设计素材。例如在广告创意中,能够快速生成具有独特风格的宣传图;在角色设计中,可以借助手绘式的线稿控制生成 Q 版人物;在教育与展示中,则可用于生成直观的示例图像,提升表达效果。整个流程不仅适合设计师与插画师,还适合需要图像定制化内容的用户群体,最终实现结构清晰、风格统一、表现力突出的图像输出。
应用场景 | 使用目标 | 典型用户 | 展示内容 | 实现效果 |
---|---|---|---|---|
广告创意 | 快速生成高质量宣传图 | 广告设计师 | 产品展示图、活动宣传图 | 高质感、创意突出的广告画面 |
角色设计 | 基于线稿生成风格化角色图像 | 插画师、游戏设计师 | Q版角色、二次元角色设定图 | 结构准确、风格统一的角色创作 |
教学演示 | 生成图像示例用于教学与展示 | 教师、培训人员 | 示例图像、对比效果图 | 表达直观、内容具象化 |
创意生产 | 将照片转化为艺术化图像 | 创作者、爱好者 | 风格化插画、艺术作品 | 个性化、艺术化的视觉效果 |