>>206,207

すまん．今動いているのは結構いい環境だわ
ブログとかに挙がっている構成と同じで A6000 + 4090 で 8 token/s でてるぐらい
最初は A6000 + 4060Ti で試していて GPUメモリが足らず 1 layer だけ GPU にオフロードできず 5 token/s

GPUメモリが正義だと勝手に思って、味をしめて30XX系をと考えていたけど、枚数が増えるとそこはよくないんやね
参考にならずすまんね。こちらでもできたらまた報告するわ