>>911
推論だけでいいならllama.cppのrpcが結構使えるよ
rtx2060sとrx6600のpcをlanで繋いで24bのiq4_xsが15t/s出てる
224gb/sのgpuで動いてること考えれば結構な数字だと思う