同じデータセットでベースモデルanimagineとpony両方作って試してみるとか
タグだけじゃなくてキャプションもちゃんと作ってみるとか
オプティマイザに自動調整系使ってるならAdamWに戻してみるとか

sd-scriptsがXL対応したちょい後くらいにlora試作した時は5枚*10回*10epochくらいではっきり特徴は出てた記憶