服装指定が無視されるのは、教師画像で「ランドセル以外の部分」に多様性が十分確保されてないから
ランドセルと服をセットで覚えがちになってる
ランドセルの形状は良く出てるから、教師画像を適当にi2i雑コラして服部分の色とか形状とか弄って水増ししてみるとええんちゃうかな
絵柄が引っ張られるのは、lora自体がモデルの出力を捻じ曲げるからある程度はしゃーないけど
ランドセル以外の部分を極力覚えないようにしてやれば多少はマシになる
このloraの場合、上半身とランドセルのおおまかな位置関係がわかれば後は不要な情報なので(顔とか下半身とか)
ランドセルと上半身以外を黒塗りにしてやるとかでも良いんじゃないかな
俺は別の衣装系lora(パンツ)自作してるけど、臍〜太腿くらいだけ残して他黒塗りにしたものを素材にして学習してる