省メモリ用の設定いろいろあるから調べてみるといいよ
物理メモリ16GBあるならバッチサイズ上げてもっと時間短縮できるはず
参考までにXL用lora512サイズで70枚*10回*20epochの学習が24分くらい(4070Ti/12GB)
あと学習やるなら共有メモリ使わないように設定変えとくのおすすめ
VRAM溢れたらちゃんとエラーで止まるようにしないと時間がものすごく無駄になる
https://wikiwiki.jp/sd_toshiaki/GeForce%E3%83%89%E3%83%A9%E3%82%A4%E3%83%90#z59768fd