プロンプトが残るというよりはキャシュデータが削除されるタイミングの問題だと思う
だから低スペ環境ではレンダリングに時間がかかるので発生しにくいとかはあるかもしれない

ちなみに俺は5950XとRTX3090、RTX4090の２枚でレンダしていて
SD1.5ではちょくちょくあるし、PONY系統ではたまにあるかなという感じだね