一. 环境说明
环境中已预装混元DIT 1.2。python环境采用conda安装,进入方式:conda activate comfyui
请仔细阅读HunyuanDiT.ipynb中的流程,其中代码和大部分权重文件都已经下载好,无需再次下载
二. 使用说明
1. jupyter-lab
启动命令:HF_ENDPOINT=https://hf-mirror.com jupyter lab --port 443 --allow-root
访问方式:http://ip:端口?token=hai_hunyuan
默认token & 密码为:hai_hunyuan
2. ComfyUI
ComfyUI文件夹是comfyui的程序文件夹,可以用于灵活的配置模型的推理(具体可以网上学习下ComfyUI怎么搭建模型工作流)
启动命令:cd ComfyUI && python main.py --port 6889 --listen 0.0.0.0
访问方式:http://ip:端口
如果你训练好了lora想在ComfyUI做测试,可以直接把文件移动到ComfyUI/models/lora文件夹里,刷新或者重启ComfyUI后即可选择加载模型
3. kohya训练UI
启动命令:
conda activate hydit-kohya
python kohya_gui.py --listen 0.0.0.0 --port xxx
访问方式:http://ip:7860
三. 训练指南
1. 数据集一键打标
运行以下代码,即可为每张图片得到一个同名的txt文件,里面存放着对应图片的描述 "/root/demo_images_wukong" 可以替换为你自己上传解压后的数据集路径 如何解压自己上传的压缩包?命令:! unzip xxx.zip -d ./xxx
代码语言:txt复制# 演示用
! unzip /root/xxx.zip -d ./root/xxx
代码语言:txt复制# 一键打标数据集
� HunyuanDiT
! python mllm/caption_imgs_with_txt.py
--model_path "./ckpts/captioner"
--mode "caption_zh"
--image_folder "/root/demo_images_wukong"
� /root
2. 使用kohya_ss gui训练
勾选下面的选项以节省显存,防止显存不够用。(位置:Parameters -> Advanced -> Gradient Checkpointing)
点击下面按钮,开始训练。
3. 到ComfyUI测试模型效果
训练好lora后,可以在模型输出路径里(这里图上填写的是/root/kohya_ss/outputs)找到对应的模型权重文件(.safetensors格式结尾看最近时间的文件),复制到ComfyUI/models/loras/目录下使用ComfyUI做lora测试
代码语言:txt复制! cp /root/kohya_ss/outputs/last-step00001600.safetensors /root/ComfyUI/models/loras/ && echo "复制完成"