SDは512x512
SDXLは1024x1024が前提
これから大きく外れると大抵構図が破綻する

このサイズに収まるように学習してるからサイズが大きいとどう埋めたら良いかわからなくなったり小さかったらまともな構図の絵が収まらなくてカスみたいな絵が出てきたりする