適当な絵柄系なりポーズ系なりのLoRA使ってblockweightで各階層の混ぜ具合のアタリとってみるといいんでないかな
LoRAもやってることはマージみたいなもんなんで
毎回マージして出力確認よりはパラメータ試行錯誤しやすいかと思う