環境が ComfyUI か Forge かでも変わってくると思うけど、多分メモリーマネジメントのモード設定が上手く行ってないんだと思う
起動時に明示的に highvram 指定してやるとか、逆に medvram や lowvram みたいなスペック厳しめの環境用の指定してやるとかかな？
https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Command-Line-Arguments-and-Settings
https://www.reddit.com/r/comfyui/comments/15jxydu/comfyui_command_line_arguments_informational/