二、辅助模型介绍-LoRA

Stable Diffusion教程2年前 (2023)发布 Jerry
2,156 0

在使用Stable Diffusion WebUI时,除了基础模型之外,它还允许我们加载额外的辅助模型,这其中最常用的两种模型,就是LoRA模型和Textual Inversion模型。在C站的搜索工具中,我们也可以看到对应的两种模型的搜索选项。

二、辅助模型介绍-LoRA

本篇教程主要介绍lora的使用方法以及一些推荐模型

什么是LoRA

LoRA的全称是Low-Rank Adaptation,即大型语言模型的低阶自适应。通过在基础模型的权重基础上,用少量的图片进行训练微调的方式,达到对基础模型进行定向的引导能力。由于所需的训练数据量很小,因此也催发了LoRA模型的繁荣,在C站中搜索可以看到,每天都有大量的新LoRA模型出现,大部分人“炼丹”所用的也是LoRA模型。

在绘图过程中加载一个LoRA模型,会引导模型绘制特定的服装、角色、面部特征等等内容,但由于其提供的权重是基于基础模型的最小调整,因此它难以为模型引入新的概念(例如让一个绘制建筑的基础模型画出美女)。

如何使用LoRA

大部分LoRA模型文件体积在几十到几百兆之间,如果你没有自己训练LoRA的计划,可以前往C站下载自己心仪的LoRA使用。本文中我们用当前C站中比较热门的一个模型“娜乌斯嘉nwsj_realistic”,这个模型是作者自己的脸部模型训练,欢迎大家关注作者B站账号:娜乌斯嘉

Step1:下载模型

前往C站可以搜索相关模型名称,查看模型的效果图、其他作者使用该模型的作品,确认这是你心仪的模型之后,可以进行模型的下载二、辅助模型介绍-LoRA

注意:在标题下有这个模型的不同版本可以选择,查看作者的描述来了解各个版本的改进

下载的模型需要保存至Stable Diffusion项目文件夹/models/Lora

二、辅助模型介绍-LoRA 二、辅助模型介绍-LoRA

Step2:在WebUI中查看并使用你的LoRA

LoRA模型下载完成后,可以启动你的Stable Diffusion WebUI了。在上次我们的部署和简单应用的教程中,我们有提到,在Generate按钮下面,我们有一个油画形状的按钮,它会展开我们的辅助模型画廊。

没看过上一篇的同学可以先点击查看:

二、辅助模型介绍-LoRA

简单的点击其中一个lora模型,它会在prompt栏中插入一条模型引入的关键词,一般格式如下:

<lora:[name_of_model]:[weight]>

例如:<lora:nwsjmajic-10:1>

只有符合该语法,并且准确输入的模型名称才能够成功引入LoRA模型,所以建议最好不要手动输入模型名称。

模型的权重和其他关键词的权重用法一致,默认为1,越低则对画面影响越小,在很多模型的C站描述中,作者会告诉你模型最佳的权重大概在哪个范围。(一般来说LoRA模型不会使用大于1的权重,过高的权重可能会导致画面的崩坏)

另外很多LoRA模型还需要对应模型的一些激活词(Trigger Words),用于激活LoRA的引导效果,特别一些概念较为特殊的模型。比如我们例子用使用的“娜乌斯嘉nwsj_realistic”,它的最新版本就需要用到激活词“PerfectNwsjMajic”。

激活词可以在C站的模型信息中获取,在后面的教程中我们会介绍Civitai Helper插件,它将能够让我们在WebUI界面中直接引入C站的激活词

二、辅助模型介绍-LoRA

当然即便是注明需要激活词模型,在没有输入激活词的情况下,也依旧会产生一定的效果,只是效果可能不稳定。

下面我们看看这个模型的效果(本图用的是最初的1.0版本模型)

二、辅助模型介绍-LoRAGeneration Data

(8k, RAW photo, best quality, masterpiece:1.2), (realistic, photo-realistic:1.37), <lora:nwsjmajic-10:0.6>, 1girl,mole,half body, white shirt,perfect light effect, <lora:FilmG3:0.2>, filmg, <lora:koreandolllikenessV20_v20:0.3>
Negative prompt: {Multiple people}, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpegartifacts, signature, watermark, username, blurry, bad feet, cropped, poorly drawn hands, poorly drawn face, mutation, deformed, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, extra fingers, fewer digits, extra limbs, extra arms, extra legs, malformed limbs, fused fingers, too many fingers, long neck, cross-eyed, mutated hands, polar lowres, bad body, bad proportions, gross proportions, text, error, missing fingers, missing arms, missing legs, extra digit, paintings, sketches, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, bad anatomy,(long hair:1.4), Deep Negative, (fat:1.2),facing away, looking away, tilted head
Steps: 20, Sampler: DPM++ SDE Karras, CFG scale: 7, Seed: 739803311, Face restoration: CodeFormer, Size: 512×768, Model hash: fc2511737a, Model: chilloutmix_NiPrunedFp32Fix, Denoising strength: 0.7, Hires upscale: 1.5, Hires upscaler: Latent

多个LoRA模型可以叠加使用,但具体叠加效果要看LoRA的具体内容,比如两个服装相关的LoRA联合使用效果可能就不会太好,但一个脸型和一个服装的LoRA就能够完美配合。具体能够结合出什么样的“艺术品”就看各位小伙伴的想象力了。

LoRA模型推荐

人物模型

Doll-Likeness系列

最初的作者可能是Kbr,他发布了包括日本娃娃(JapaneseDollLikeness)、韩国娃娃(KoreanDollLikeness)、台湾娃娃(TaiwanDollLikeness)、中国娃娃(ChinaDollLikeness)等一系列模型,能够生成完美的并且带有一定地区特征的美女图片,并且不会过分偏向于某个具体的人物或者明星,非常适合制作人物肖像图。和chilloutmix基础模型配合的很好。

现在在C站中,也出现了很多其他命名为DollLikeness的模型,它们算是这个系列思路的一种模仿,基本上提供的都是风格化的美女模型。

Kbr的HuggingFace项目主页:https://huggingface.co/Kanbara/doll-likeness-series

Adventures

该模型能够生成经典的冒险者形象,根据不同的激活关键词,可以画出战士、骑士、牧师、魔法师等多种不同的角色,与写实或漫画风格的基础模型都可以很好的进行配合。

C站模型页面:https://civitai.com/models/14792

Humanoid Robots

该模型能够生成人形机器人形象,适当的调低权重并且配合一些人类形象的模型一起使用,将会画出一些赛博风格的人机结合的形象,非常科幻。

C站模型页面:https://civitai.com/models/6888

风格化模型

FilmGirl

该模型会为图片增加一种胶片照片的风格,有一种复古的感觉,不过由于主要用了女性照片的图片进行训练,可能需要生成女性形象的时候才有最好的效果。

C站模型页面:https://civitai.com/models/33208

Hipoly 3D Model

该模型可以生成非常华丽的类似CG人物风格的形象,配合一些首饰、衣服纹路的描述时可以有很好的表现。使用写实的基础模型时也可以有不错的表现。

C站模型页面:https://civitai.com/models/8730

Fashion Magazine – Style

该模型可以生成杂志封面风格的图片,会为女性面部添加非常精致的妆容和灯光效果,倾向于生成纯色的背景,但同时也会生成一些杂乱的文字内容(模拟封面)。如果不需要生成文字内容,可以在Negative prompt中添加较高权重的text、watermark、signature等关键词

C站模型页面:https://civitai.com/models/43093

结语

C站中每天都在涌出大量的新的模型,大家可以随时去看看,跟上潮流的脚步。请注意C站中很多模型是NSFW的内容,为了保护你的节操,未登录账号的情况下默认会隐藏起来,因此需要查看全部模型的话需要先进行登录。

下一步我们将会介绍另一类常用的辅助模型Textual Inversion的下载和使用,各位敬请期待。

© 版权声明

相关文章

暂无评论

暂无评论...