【生成模型】【模型介绍】（二）图像编辑 主体驱动 光照调整
| 模型/参考工作流 | 类型 | 生成推理时间 | 总推理时间 |
|---|---|---|---|
| phantom | 主体驱动 视频生成 | ||
| ICEdit | 图像编辑 | ||
| Step1X-Edit | 图像编辑 | ||
| HiDream-E1 | 图像编辑 | ||
| Flux-Kontext | 图像编辑 | ||
| IC-Light ｜ SD1.5 based | 光照修改 (前景+背景(可选)+光强mask，方向光可通过渐变光强mask模拟) 可以提取法线贴图(Normal Mapping） | ||
| LBM ｜comfy example ｜ Flux based(IC-Light升级版) | 前景+背景，自适应调整光照 |
ICEdit / Step1X-Edit / HiDream-E1
ICEdit / Step1X-Edit 对比workflow
图像编辑
任务分类与难点
| 图像编辑类型 | 子类 | 例子 |
|---|---|---|
| 图片级修改 | low-level修图 | De-rain/De-fog: make the image clearer 上色: color this image 光照调整：Darken the scene |
| ~ | 风格迁移 | Convert to a line drawing/watercolor style |
| ~ | 运镜修改 | |
| 主体布局级修改 | ||
| 主体级修改 | 主体增加 | |
| ~ | 主体移除 | |
| ~ | 主体替换/背景修改 | |
| 属性级修改 | 主体颜色/材质修改 | |
| ~ | 主体肖像编辑 | |
| ~ | 主体动作修改 | |
| ~ | ||
| 文字修改 |
难点：（GPT4的长处）
- 多主体生成
- 光影一致性
- 文字生成/修改
- 世界知识的理解
- 生成解剖图
- 画出勾股定理 / 强化学习教程图
- 多图参考，通过图片给出要替换的主体形象
Flux-Kontext
ComfyUI提示词教程 |
光照：IC-Light
- 输入： 前景+背景(可选)+光强mask
- 方向光可通过渐变光强mask模拟，通过SpineEditor指定方向，再转换成光强mask
- 可以生成法线贴图(Normal Mapping）
光照：LBM
- 输入：前景+背景，自适应调整光照
- 可提取normal和depth
