俺は、上の方でponyで学習が反映されねえなぁとかぼやいてたクソザコナメクジだが
ありがたい助言を元に試行錯誤してみたら学習反映されるようになったわ、みんなサンガツな

バッチサイズ10で，テキストエンコーダーlr 0.0001、unet lr 0.001まで学習率を上げたら
かなり学習効果がきっちり出るようになった

1.5だとこんなに上げたら色とか完全にバグってたけどXLだとまともなレベルに収まるんだなぁ
あとバッチサイズ上げたら学習率も上げた方がいいというのはなんとなく体感で感じてたけど比例させるくらい上げてもいいとは思わなかった
勉強になったす〜〜