lora训了很多 ,加入naked 来做正则化的方法 是没想过的,mark一下。
作者 rerorerorero
前言
一些角色的cosplay lora很好做,有很多人cos她们。但不是所有角色都那么幸运,她们甚至自己都没有足够的素材(
如果你想要lora学习这个角色的衣服,结果就会发现头部的特征也被学习了,特别是一些小特征没有对应的tag,导致这些小特征难以控制和去除。
接下来我就介绍一个小技巧,来尽可能地减少对角色头部的学习。
拿莉拉的睡袍举例:
准备
嘛我只能找到10张图,这里我选出2/3以上的数量,也就是7。
然后用工具,用色块将莉拉的脸遮挡起来。
你会问,就这么简单?
事实是就这么简单,但接下来,请注意:在我们打标时,务必打上identity censor和faceless。
否则这些色块就会变得不可控。
一些其他小技巧
加点裸女
有点类似正则化。我往数据集里放了几张有全裸妹子的图——她们的发色要尽可能跟原角色不同(在这个例子中莉拉是白发所以这些裸体人最好别也是白发),且不要被打码。
这样能一定程度改善画风和发色等等的过拟问题,同时让这个衣服更容易调整。
加点特写
由于睡袍莉拉就10张图,我们可能会担心AI学不好最关键的特征——
因此我加了几张特写,是从原本的10张图里截出来的并经过了镜像(毕竟这衣服是对称的)。
注意,这几张特写一定要打上"head out of frame"的tag,并且第三张这种应该打上"breast focus"。
开炉
之后删掉一些tag,调整一下tag顺序方便我们设置keep_tokens。
然后设置一下文件夹和repeats。
别给"focus"文件夹太多重复,否则你用这个lora时更有可能得到一个头在画面外的图。
至于训练参数,这个睡袍不是很复杂,所以我就16/16并且开了分层让文件小一些。
最后,开测——