混元DIT环境指南

2024-09-04 14:47:58 浏览数 (2)

一. 环境说明

环境中已预装混元DIT 1.2。python环境采用conda安装,进入方式:conda activate comfyui

请仔细阅读HunyuanDiT.ipynb中的流程,其中代码和大部分权重文件都已经下载好,无需再次下载

二. 使用说明

1. jupyter-lab

启动命令:HF_ENDPOINT=https://hf-mirror.com jupyter lab --port 443 --allow-root

访问方式:http://ip:端口?token=hai_hunyuan

默认token & 密码为:hai_hunyuan

2. ComfyUI

ComfyUI文件夹是comfyui的程序文件夹,可以用于灵活的配置模型的推理(具体可以网上学习下ComfyUI怎么搭建模型工作流)

启动命令:cd ComfyUI && python main.py --port 6889 --listen 0.0.0.0

访问方式:http://ip:端口

如果你训练好了lora想在ComfyUI做测试,可以直接把文件移动到ComfyUI/models/lora文件夹里,刷新或者重启ComfyUI后即可选择加载模型

3. kohya训练UI

启动命令:

conda activate hydit-kohya

python kohya_gui.py --listen 0.0.0.0 --port xxx

访问方式:http://ip:7860

三. 训练指南

1. 数据集一键打标

运行以下代码,即可为每张图片得到一个同名的txt文件,里面存放着对应图片的描述 "/root/demo_images_wukong" 可以替换为你自己上传解压后的数据集路径 如何解压自己上传的压缩包?命令:! unzip xxx.zip -d ./xxx

代码语言:txt复制
# 演示用
! unzip /root/xxx.zip -d ./root/xxx
代码语言:txt复制
# 一键打标数据集
� HunyuanDiT
! python mllm/caption_imgs_with_txt.py 
    --model_path "./ckpts/captioner" 
    --mode "caption_zh" 
    --image_folder "/root/demo_images_wukong"
� /root

2. 使用kohya_ss gui训练

勾选下面的选项以节省显存,防止显存不够用。(位置:Parameters -> Advanced -> Gradient Checkpointing)

image.pngimage.png

点击下面按钮,开始训练。

image.pngimage.png

3. 到ComfyUI测试模型效果

训练好lora后,可以在模型输出路径里(这里图上填写的是/root/kohya_ss/outputs)找到对应的模型权重文件(.safetensors格式结尾看最近时间的文件),复制到ComfyUI/models/loras/目录下使用ComfyUI做lora测试

代码语言:txt复制
! cp /root/kohya_ss/outputs/last-step00001600.safetensors /root/ComfyUI/models/loras/ && echo "复制完成"

0 人点赞