基于SDXL使用43张图片训练LORA生成原神角色立绘
大模型开发/技术交流
- 大模型实训营
2024.01.053732看过
未经过训练的SDXL生成的原神角色
我使用的简易的prompt +{gender}+ {element}
可以看到SDXL确实生成了带有属性的动漫角色，但整体画风波动很大，有的是日漫风格，有的是网游风格。
使用千帆大模型平台的SDXL大模型，通过SFT进行精调，我们可以在这个基础上生成一个更接近原神游戏画风的角色。
第一步：收集原神角色立绘
通过百度图片搜索，我下载了43张原神不同角色的立绘，将它们按照序号进行标注，打包成ZIP文件。
第二步：对数据进行标注
由于我并没有在本地上传文件的时候就对图片进行了标注，我这里使用的是数据标注板块下的在线标注功能。
在线标注工具还是比较方便的，直接点击一个一个标注即可，不需要在本地生成json文件来标注。
这里的标注我想对间接，每个图片的提示词都是genshin， 以及角色及其元素。
第三步：对模型进行精调
参数配置都是默认，没有做额外的调整。
从数据评估报告的指标不难看出，training loss 没有随着Iteration而减小，而且clip score只有0.2不到。
我所使用的训练数据集并不够大，所以评估报告的结果相对一般，但正常15-20张统一风格的图就能学习到一定特征。
第四步：部署在线服务
这一步没什么多说的，直接对模型进行部署按提示操作即可，这里仅部署一个小时，大概的费用是28元。
第五步：使用LORA，并体验角色立绘图片的生成结果
-
基础Prompt: lora, {gender} +{element}
-
稍微复杂一点的Prompt : lora, {gender}+{element}+{weapon}+{costume}
对比一下一开始未使用LORA生成的原神角色立绘，会发现使用LORA后角色的风格相对统一而且画风更接近原神。
我最喜欢的还是这个用魔法书的风系女性角色的图，好像芙宁娜。
需要注意的是，千帆大模型平台使用的SDXL其实限制比较多。它不像本地部署的SD，因为要调用在线服务，所以当前SDXL其实只支持使用一个你训练的LORA，而且你还不能换基础模型和滤镜风格。
最后给大家看看我使用本地部署的SD 1.5 做的图
评论
