ローカルでMagnum V4 123B動かしてるけど、ここのプロンプトまとめは動いてるみたいだし、わりと出来もいい
俺みたいにそんなにこだわりがなければこの性能で十分っぽい
ただ、4bit量子で4tok/sと遅い
GPU強化しようかなと思ってる