>>409
見てきたけど、確かに良さそう。
1台のPCで671Bを動かす時代！KTransformers + DeepSeek-R1の爆速導入まとめ
https://qiita.com/DaiYulin/items/550887983a8b908135f5

CPUとGPUで役割分担させて、オフロードの効率を上げてVRAM少なくてもDRAMが有れば、大規模なモデルを高速で動作可能とか凄い。
DeepSeek以外も簡単に対応できれば、ローカルLLMの敷居がさらに下がりそう。
これでNVIDIAの殿様商売が終わってくれると嬉しい。