ゲームをアンインストしても入れたMODは残るし、HFパッチを当てる時点でHFパッチ以外のMODは消される仕組みなのでわざわざゲームをアンインストする意味も必要もないんだが。
むしろゲームアンインストして残ったUserDataフォルダごと消す大馬鹿くんもたまに見かけるので、そのままHFパッチ上書きが一番無難。

読み込み動作が軽くなったのはIllusionFixesのおかげだろうし、現行HFパッチ1.10は割と安定してるけどHFパッチも1.4ぐらいまでは不具合だらけでとても人に薦められるレベルじゃなかったンだわ 
今もHFパッチはバージョンによっていろいろ不具合があったりするので最新版が必ず良いとは限らないんだよね