AI绘画专栏之statble diffusion SD XL 1.0 修复脸部 (29)

2023-11-15 14:27:22 浏览数 (1)

原理

识别图片中人,人脸,手部等部分,将其mask掉。将mask范围扩大并执行inpaint(重绘),然后取其原始mask大小的区域放回原图,如此一来重绘的部分就能和背景融合在一起。

因此,face_yolov8n等模型并非绘图模型,而是目标识别模型,各种模型的识别效果在作者的视频中讲得非常清楚。至于为什么选择不同模型会带来不同的重绘效果,那是因为不同模型识别目标的中心点和范围不一样,导致mask的区域不一样,从而造成了inpaint的结果不一样。

整合包插件下载

代码语言:javascript复制
Adetailer模型https://pan.quark.cn/s/d9ed10123be0

模型存放位置

webui/models/adetailer

Adetailer模型:

下载:https://huggingface.co/Bingsu/adetailer

代码语言:javascript复制
https://github.com/switchablenorms/DeepFashion2.git

2.共同点

这个脚本的特别之处在于,它将识别到的面部用512*512的分辨率进行重绘,在放回原来的脸部进行融合。局部重绘是无法达到这样的效果的,因为全身图脸崩的原因就是脸部所占画面比例太小,而且AI不知道哪里是脸,哪里要重点画,所以占比小的就画的不精细,容易脸崩。这个放大重绘就解决了AI在小比例上无法绘制精细面部画面的问题

都可以对脸部细节进行重绘增加修复细节,但对画面的元素不会增加,如果想要对画面元素增加建议搭配add_detail的Lora

都需要提示词控制

3.区别

Adetailer 有独立的模型搭配,可控制其他部位,例如:手部模型

Face editor 通过选择face、hand等选项控制,主要针对脸部

我正在参与2023腾讯技术创作特训营第三期有奖征文,组队打卡瓜分大奖!

0 人点赞