教程
如何使用制图机,训练Flux LoRA模型
Flux AI模型是Diffusion AI绘画模型的最新模型,在生成的图片的质量、对提示词的理解、生成文字(英文,暂时不支持中文)、人体结构如手等各个方面,都远超过SDXL, Midjourney等AI绘画模型和工具。和Stable Diffusion一样,可以在Flux基础模型上,使用自己的图片,训练Flux风格、任务、物品等LoRA模型。
制图机使用出色的Flux LoRA训练软件Ostris’s AI Toolkit作为训练引擎,在具有80G显存的H100 GPU服务器上,进行Flux LoRA模型训练,一般可在20分钟左右完成LoRA模型训练,完成训练后,将自动在制图机部署一个私有、可运行的模型。您可以运行该模型,生成图片。
LoRA模型简介
LoRA模型,也叫做小模型,能够用独特的风格、人物、物体、概念等,来微调大模型。例如艺术家希望能够使用自己独特的风格,让AI生成图片时,需要使用自己的作品来训练风格LoRA模型;如果需要用自己的形象来生成图片,也可以用自己的个人照片,训练人物LoRA模型。
LoRA模型需要与基础模型进行配套训练和使用。制图机的Flux LoRA模型,使用Flux 1 Dev作为基础模型,生成的模型,也需要与Flux 1 Dev配合使用。
在完成训练后,制图机将为训练结果,自动生成一个在制图机可直接运行的模型。用户可以直接在线使用该模型生成图片,也可以下载生成的LoRA模型文件,在自己的电脑上使用。
使用Collage Art Style 拼图风LoRA模型生成
使用Haunted LineworkLoRA模型生成
使用hsd 3dLoRA模型生成
使用Whimsical IllustrationsLoRA模型生成
使用制图机训练Flux LoRA模型的步骤
准备训练素材
了解训练成本
在线创建、提交训练任务
使用LoRA模型生成作品
1. 准备训练素材
进行LoRA模型训练,需要准备一组代表你想教会大模型的风格、人物或者物体概念的图片。这些图片应该有足够的多样性,能够代表训练对象的各个方面。例如训练一个人物LoRA,需要准备该人物的不同姿势、光线、角度、距离等的图片。
如果您刚开始LoRA训练,可以参考以下指南:
一般准备10到20张素材图片,就能取得不错的效果
熟练后,可以使用更多图片测试训练效果
使用JPEG/PNG格式的图片,最小512 x 512尺寸,图片清晰。如果是人物或者物体,主体应该在照片中间位置,图片无需裁剪。
根据需要,准备.txt格式的标注文件,每张图片一个同名的标注文件,例如素材a123.jpg
的标注文件为a123.txt
。由于Flux模型对图片本身有极强的理解能力,通常不进行标注,也能取得不错的效果。
准备好素材图片后,可以使用制图机训练页面,单张上传,或者将素材与标注文件(如果有)打包到一个zip格式文件,整个上传。
2. 了解训练成本
制图机的LoRA模型训练,使用H100 80G GPU,按每个训练任务的执行时间长度(以秒为单位)计费,当前价格为2.2 算力/秒, 即0.022元/秒(1元=100算力)。
按常规训练,使用20张图片,训练步骤为1000步,默认参数,一般需要20分钟完成训练。提交训练时,设置的步数约多,训练时间越长,所需要的成本约高。制图机将按步数估算所需要的算力,预先扣除算力。
如果使用默认设置,步数为1000步,需要2640算力(26.40人民币元);500步则为其一半,即1320算力(13.20人民币元); 2000步则为2倍,即5280算力(52.80人民币元)。训练完成后,按实际训练时间结算。如果训练失败,预扣除的点数将全额返回到您的账户。
请注意,训练费用仅按使用GPU的时长计费。训练前预处理、训练后处理时间均不记入训练费用。
3. 在线创建、提交任务
准备好素材后,前往制图机的训练页面,创建训练任务,上传素材,设置参数,提交训练。
您需要为LoRA模型取一个名字,设置一个简要说明,便于后续参考、记忆。
您可以将训练图片,单张上传,也可以压缩为一个zip文件,整体上传。
然后需要为您的LoRA模型,选择一个触发词。触发词用于在使用LoRA模型时,激活LoRA模型所代表的概念。提示词要求为英文字母,独一无二,例如TKKY,或者cybr_pnk等,避免选择常用词汇。因为大模型可能已经了解常用词汇的概念,运行时可能会带来不想要的效果。
训练步数可以使用1000作为默认步数。在熟练掌握LoRA模型的训练的技能和各项参数前,其他各项参数如学习率等可以都使用默认值。
准备就绪后,提交训练任务,等待训练结束,生成可运行的模型卡。
4. 使用LoRA模型生成作品
模型训练完成后,制图机将会为您的模型自动生成一个可运行的模型卡,训练页面将会展示该模型卡的链接。打开链接的页面,使用提示词,运行该LoRA模型,在线生成图片。
使用Dreamscape IllustraionLoRA模型生成
使用Dreamscape IllustraionLoRA模型生成
使用Dreamscape IllustraionLoRA模型生成
使用Retro Cartoon 复古卡通LoRA模型生成
使用Retro Cartoon 复古卡通LoRA模型生成
使用Retro Cartoon 复古卡通LoRA模型生成
使用Yarn Art毛线艺术LoRA模型生成
使用Yarn Art毛线艺术LoRA模型生成
使用Yarn Art毛线艺术LoRA模型生成
使用Polaroid Photo Style宝莱纳照片风格LoRA模型生成
使用Polaroid Photo Style宝莱纳照片风格LoRA模型生成
使用Polaroid Photo Style宝莱纳照片风格LoRA模型生成