プライベートだとずっとMac使ってる経験でしかいえないが
画像生成速度はGPU性能が効くけど、LLMの能力はメモリ量（でデカいモデルを動かす）が効くイメージ
今のGeForceとかならローカルLLMでGPU性能がボトルネックになることは多分なくて
メモリもう一つ上にしとけばよかったか？って悩みになると思う