AIGC-SD3、控制

1、ControlNet

paper: https://arxiv.org/pdf/2302.05543

https://zhuanlan.zhihu.com/p/660924126?utm_id=0&wd=&eqid=aa52871300189a9d0000000665aa4d28

2、ControlNet++

[2404.07987] ControlNet++: Improving Conditional Controls with Efficient Consistency Feedback

字节提出ControlNet++：更强更可控的图像生成框架！通过高效的一致性反馈改进条件控制!-CSDN博客

通过明确优化生成的图像和条件控制之间的像素级循环一致性来改善可控生成。

(a)现有方法在潜在空间去噪损失的指导下，在扩散模型去噪过程中引入基于图像的条件控制，实现隐式可控性。

(b)controlnet++利用判别奖励模型通过像素级周期一致性损失来明确优化G的可控性。

(a)默认奖励微调策略管道。奖励模型微调