SD1.6版本
SDXL的底模搭配SD1.5竟然没有报错
更正：有些Lora并不起作⽤，但是不会报错
⾃然语⾔的⽀持：
SDXL原⽣⽀持Controlnet啦~~
1.在哪下整合包
1 ControlNet SDXL1.0模型https://pan.quark.cn/s/8bff6e05dc96
2.怎么玩
CN版本为ControlNet v1.1.406
和原来的CN⽤法⼀样，但是注意SDXL的基础环境搭配基本常识：SDXL底模不能与SD1.5的Lora搭配使⽤，反之亦然
今⽇福利
1 「压缩后8G资料等24个⽂件」来⾃UC⽹盘分享
2 https://drive.uc.cn/s/33cd069970884
4 「12000 AI绘画关键词 等2个⽂件」来⾃UC⽹盘分享
5 https://drive.uc.cn/s/4009c2e9dc254官⽅：https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Features#stable
diffusion-20
webUI：https://github.com/AUTOMATIC1111/stable-diffusion-webui
原理：https://github.com/CompVis/stable-diffusion
模型：https://github.com/CompVis/stable
diffusion/blob/main/Stable_Diffusion_v1_Model_Card.md
SD
1 稳定扩散（Stable Diffusion）是⼀种⽤于图像⽣成的⼈⼯智能模型，它基于扩散过程。扩散过程是
指，将⼀个图像经过多次迭代，逐渐变得模糊、扩散的过程。在这个过程中，图像的细节信息会逐渐消
失，只保留下整体的结构信息。稳定扩散这个名字来源于这个过程的稳定性，即在扩散过程中，模型能
够学习到图像的稳定特征，从⽽⽣成具有较⾼质量的图像。
2 稳定扩散模型通常使⽤⽣成对抗⽹络（GAN）进⾏训练。GAN 由两个部分组成：⽣成器和判别器。⽣成
器负责⽣成图像，判别器负责判断图像是真实图像还是⽣成的图像。在训练过程中，⽣成器和判别器互
相对抗，⽣成器试图⽣成更真实的图像以欺骗判别器，判别器则试图识别出真实图像和⽣成图像。通过
不断的迭代训练，⽣成器能够提⾼⽣成图像的质量。
3 U-Net 是⼀种特殊的⽣成对抗⽹络结构，它主要⽤于图像⽣成任务。U-Net 的结构呈“U”形，它将⽣成
器和判别器都拆分成两个部分，分别位于“U”形的两端。其中，⼀端的⽣成器负责⽣成低分辨率的图
像，另⼀端的⽣成器负责⽣成⾼分辨率的图像。判别器也同样分为两部分，分别对应低分辨率和⾼分辨
率的⽣成器。
4 U-Net 之所以有效，是因为它采⽤了⼀种称为“跳跃连接”的技术。跳跃连接允许低分辨率⽣成器直接获
取⾼分辨率⽣成器的输出，从⽽帮助低分辨率⽣成器更好地学习到⾼分辨率图像的细节信息。通过这种⽅式，U-Net 能够⽣成⾼质量、⾼分辨率的图像。
Stable Diffusion
Latent Diffusion Models
VAE:⽤来将推理时反向扩散最后⽣成的 denoised latents 转换回图像格式
https://link.zhihu.com/?target=https://huggingface.co/stabilityai/sd-vae-ft-mse-original
https://link.zhihu.com/?target=https://huggingface.co/hakurei/waifu-diffusion-v1-
4/tree/main/vaeSD vs MJ
https://photutorial.com/midjourney-vs-stable
diffusion/#:~:text=Midjourney and Stable Diffusion are two of the,ima
ges, while Stable Diffusion is open-source and free.
Adetailer：https://github.com/Bing-su/adetailer
FaceEditor：https://github.com/ototadana/sd-face-editor
这个脚本的特别之处在于，它将识别到的⾯部⽤512*512的分辨率进⾏重绘，在放回原来的脸部进⾏融
合。局部重绘是⽆法达到这样的效果的，因为全⾝图脸崩的原因就是脸部所占画⾯⽐例太⼩,⽽且AI不
知道哪⾥是脸，哪⾥要重点画，所以占⽐⼩的就画的不精细，容易脸崩。这个放⼤重绘就解决了AI在
⼩⽐例上⽆法绘制精细⾯部画⾯的问题
--ad-no-huggingface
显存优化：xformers and cuDNN
1 python webui.py --deepdanbooru --no-half --precision full --port 6006 --share -
-disable-safe-unpickle --xformers
1 https://huggingface.co/docs/diffusers/optimization/fp16图⽚反推：BLIP CLIP ⽂本理解
https://huggingface.co/spaces/Salesforce/BLIP
SDXL：改进⽤于⾼分辨率图像合成的潜在扩散模型（⼆阶段的
级联扩散模型）
1 官⽹
2 refiner：https://github.com/wcde/sd-webui-refiner.git
3 https://zhuanlan.zhihu.com/p/643420260
4 论⽂：https://arxiv.org/abs/2307.01952
切换底模是真的慢，下载refiner只能达到不⽤⼆次创作切换，底模切换需要更好的读写固态
搭配底模 SDXL-VaeLora
采样⽅法测试
参数训练量为101亿 其中BASE模型35 亿 加REFINER模型66
亿
1. 对Stable Diffusion原先的U-Net，VAE，CLIP Text Encoder三⼤件都做了改进。
2. 增加⼀个单独的基于Latent（潜在）的Refiner(炼制)模型，来提升图像的精细化程度。
3. 设计了很多训练Tricks(技巧)，包括图像尺⼨条件化策略，图像裁剪参数条件化以及多尺度训练
等。
4. 先发布Stable Diffusion XL 0.9测试版本，基于⽤⼾使⽤体验和⽣成图⽚的情况，针对性增加数据集
和使⽤RLHF技术优化迭代推出Stable Diffusion XL 1.0正式版。
5. 采样⽅法禁⽤DDIM ，不需要开启CN
6. 直接出1024分辨率图⽚模型下载
https://data.yanshiqwq.cn/software/other/stable_diffusion/models/LoRA
艺术⻛格
https://clio.so/rabbitsxl
预设 需要魔法打开
https://www.reddit.com/r/StableDiffusion/comments/15afvnb/sdxl_various_styles_keywords/
200
预设在根⽬录（在与启动器同级别的⽬录）下的styles.cv ⽤本
地记事本txt打开！！！！！！！不要更改格式和编码
如果你误操作了怎么办？？只能保存⼀个空⽂件放在那⾥，就
不报错啦！！！！！E:sd-webui-akisd-webui-aki-v4modelsStable-diffusion
E:sd-webui-akisd-webui-aki-v4modelsLora
Low
Lora and checkpoint
在lora或者⼤模型的⽬录直接新建分类⽂件夹
1.设置封⾯
与模型同名的以PNG结尾
users_LORA_603722589067595268_UE_20230717224732-000003.safetensors
users_LORA_603722589067595268_UE_20230717224732-000003.PNG
2.civit help
我正在参与2023腾讯技术创作特训营第二期有奖征文，瓜分万元奖池和键盘手表
