うちも似たような環境だわ．
https://github.com/oobabooga/text-generation-webui
GW明けからいろいろためして、いくつかGPUまとめれたおかげで、Command R plus の4bitがなんとか動いてるよ
koboldcppとかほかのでもまとめられるから好みで選ぶといいかも
https://docs.vllm.ai/en/latest/serving/distributed_serving.html
もっと大きなのを動かそうとおもって複数PCをつなげるvllm を試している途中
10G LAN だとそれなりに動くらしい．試しているニキはおらんかな？