Stablediffusion训练通用命令:ControlNet与Dreambooth、Lora示例
需积分: 0 11 浏览量
更新于2024-08-03
收藏 3KB TXT 举报
本文件主要介绍了如何在自用环境中对Stable Diffusion模型进行控制网络(ControlNet)和LoRA(Lightweight Recurrent Attention)的训练,同时包含了针对这两个模型的通用训练命令。以下是关于这两个模型训练的关键知识点:
1. ControlNet训练:
- 使用`CUDA_VISIBLE_DEVICES=1 python train_controlnet_ori_hh.py`命令行工具进行训练。
- 需要指定预训练模型的位置,如`--pretrained_model_name_or_path="/data/disk1/00_sd/00_runwayml_sd15"`,这是模型的初始参数。
- 训练参数包括:输出目录`--output_dir="modelout_hh/out"`, 数据集名称`--dataset_name="modelout_hh/data"`, 图像列名`--image_column=image`和文本列名`--caption_column=text`。
- 配置分辨率`--resolution=512`,学习率`--learning_rate=1e-5`,训练批次大小`--train_batch_size=4`,以及训练轮数`--num_train_epochs=100`。
- 还启用了Xformers内存高效注意力(`--enable_xformers_memory_efficient_attention`),并设置检查点保存间隔`--checkpointing_steps=500`,以及报告训练数据到Towandb(`--report_towandb`)。
2. Dreambooth + LoRA训练:
- 对于LoRA的训练,使用`CUDA_VISIBLE_DEVICES=1 python train_dreambooth_lora.py`,同样基于预训练模型路径`--pretrained_model_name_or_path`。
- 数据集指定了特定的路径`--dataset_name="/home/linlin/00_00/02_Project/stablediffusion/03_diffusers_finetune/diffusers_new_20231109/examples/controlnet/modelout_hh/paper_cut"`。
- 这个模型配置了更高的分辨率`--resolution=1024`,图像列名保持不变`--image_column=image`,但文本列名改为`--caption_column=label`,可能表示标签而不是直接的文字描述。
- 设置了较短的训练轮数`--num_train_epochs=2`,数据加载器的工作线程数`--dataloader_num_workers=8`,单次训练批次大小`--train_batch_size=1`,最大训练步数`--max_train_steps=5000`,以及相同的低学习率`--learning_rate=1e-5`。
- 还提供了其他增强选项,如中心裁剪`--center_crop`和随机翻转`--random_flip`,用于模型的数据增强。
这份文件提供了一个基础框架来指导如何使用预训练的Stable Diffusion模型进行ControlNet和LoRA的微调,包括必要的参数调整和训练设置,以适应不同的任务需求和数据集特征。用户可以根据实际项目中的具体需求进行适当的配置和优化。
2023-10-04 上传
2019-10-13 上传
2023-05-09 上传
2023-03-28 上传
2024-08-30 上传
2024-02-25 上传
2024-02-22 上传
2024-08-12 上传
2023-04-26 上传
桥呗
- 粉丝: 82
- 资源: 12
最新资源
- 单片机串口通信仿真与代码实现详解
- LVGL GUI-Guider工具:设计并仿真LVGL界面
- Unity3D魔幻风格游戏UI界面与按钮图标素材详解
- MFC VC++实现串口温度数据显示源代码分析
- JEE培训项目:jee-todolist深度解析
- 74LS138译码器在单片机应用中的实现方法
- Android平台的动物象棋游戏应用开发
- C++系统测试项目:毕业设计与课程实践指南
- WZYAVPlayer:一个适用于iOS的视频播放控件
- ASP实现校园学生信息在线管理系统设计与实践
- 使用node-webkit和AngularJS打造跨平台桌面应用
- C#实现递归绘制圆形的探索
- C++语言项目开发:烟花效果动画实现
- 高效子网掩码计算器:网络工具中的必备应用
- 用Django构建个人博客网站的学习之旅
- SpringBoot微服务搭建与Spring Cloud实践