Stable Diffusion里Lora有什么用?

2024-05-07 19:54:50| 发布者:小编 | 查看: 872

首页 / Ai教程 / Stable Diffusion教程

当我们没有使用Lora生成出来的图像时,有可能观察到人脸等内容并不美观,甚至可能生成一些奇怪的图像。这是因为我们没有使用与之对应的Lora模型。

Lora是一个模型,类似于前面提到的大模型。

Lora与大模型的区别主要体现在以下几个方面:

1)大模型占用的内存非常大,通常超过1GB。这是因为大模型是通过成百上千张图片进行训练得到的,它学习了非常多的知识和信息。模型中记录的数据也会非常庞大。基于其学习到的知识,当我们输入关键词时,大模型可以生成对应的图片。然而,如果模型没有学习过相应的内容,无论我们输入什么关键词,它都无法生成对应的图片。例如,如果我们输入"汉服"这个关键词,大模型可能无法生成与汉服相关的图片。这时候,就可以借助Lora来帮助我们生成。Lora可以补充大模型所缺乏的信息。训练一个Lora模型只需要二三十张照片,时间较短,所需存储的内存也较少。因此,Lora对于控制图片的生成更加精准。

使用 Lora 与没使用 Lora 的区别,如图:

image.png

通过上面的图像可以明显观察到使用Lora的效果更好。Lora模型不仅可以补充衣服的信息,还可以控制人脸、动作和画风等方面。例如,在上面生成的图像中,它们都呈现出极佳的美观效果。在这种情况下,我们可以为图像添加一个漂亮女性的人脸Lora。

image.png

注意:下载下来的 Lora 存放的位置也要正确,存放位置:F:aisdsd-webui-aki-v4.4sd-webui-aki-v4.4modelsLora (取决于 SD 存在于哪个盘符),下载下来存放好之后要在 SD 的 web-ui 界面找到 Lora 的位置点击刷新按钮,就可以看到我们下载好的 Lora 了


Lora 如何使用:

1)当我们下载并存放好位置之后直接点击对应的 Lora 就可以看到我们的提示词的窗口就会自动加入 Lora 的关键词

image.png

2)当使用 Lora 的时候要注意对应的 Lora 有没有触发词,有的话必须加上对应的触发词,否则 Lora 加了也是不会有作用的,如图:

image.png

3)并不是所有的 Lora 都是需要触发词的,有的要,也有的不要,那么我们如何知道对应的 Lora 有没有触发词了,当你在下载对应的 Lora 模型的时候,如果需要触发词,作者都会标记好对应的触发词的这个时候如果需要你直接加上就好,如图:

image.png

4)那我们下载的 Lora 模型那么多,不可能每次要使用的时候都去查看对应的触发词和推荐的权重,答案当然是不用的,这里有个小技巧,如图:

image.png

5)当你添加多个 Lora 的时候,Lora 与 Lora 之间也要用英文状态下的逗号分隔开,Lora 与关键词之间也是需要使用英文状态下的逗号分隔开的,这里也推荐几个常用的真人 Lora 搭配大模型麦橘写实或者极氪写实的效果会很好,如图:

image.png

6)注意:Lora 设置的权重不一样,出来的人脸也会不一样,Lora 也不要混用太多,不是越多越好,不然模型之间会相互污染,出来的照片也会变得很奇怪。具体可以慢慢去配置尝试不同的权重,然后生成对应好看的图。

在生成图片时,即使配置的大模型、关键词和参数设置完全相同,也无法生成完全相同的图片。这是因为生成图片的过程中使用了随机数种子。随机数种子对于生成噪点图的形状起着控制作用。

当将迭代步数设置为1步时,每次点击生成时都会得到不同形状的噪点图。而生成的图片下方的"Seed"就对应着所使用的随机数种子。只有当随机数种子设置相同时,生成的形状才会相同。

因此,只有在大模型、关键词、参数配置以及随机数种子完全相同的情况下,才能生成差不多相似的图片

C 站:

C 站(https://civitai.com/)是一个非常出名的模型网站,需要适当的网络访问,如图:

image.png

<
>
QQ在线咨询
售前咨询热线
400-9999-531
售后服务热线
13831235958
返回顶部