VRAM足りない＝動かない
だから高解像度での生成や学習のためにはVRAM足りるものを使うのは必須事項。

一方で生成速度はCUDAコア数×周波数でほぼ決まる。
PCIeのリンク速度やVRAMのアクセス帯域よりCUDAコアの演算能力が先にネックになるので速度優先ならコア性能重視で型番通りになるよ。

グラボによってどの程度の速度差が出るのかもCUDAコア数×周波数に比例すると考えれば、グラボ交換で何割ぐらい速くなるかだいたいわかる。