出来る
VRAMが24GBあれば32bのQ4_K_L版(ファイルサイズ20GBくらい)がVRAMフルロード出来てそこそこ速度でるかもしれない
4080 16GB環境だとQ4_K_Lは2.2token/s程度だから動作速度がわかると今後の参考になるかも
面倒なのはパスしてとりあえず動かしたいって場合は
>417 >470を参考にして、
ollama run hf.co/bluepen5805/DeepSeek-R1-Distill-Qwen-32B-Japanese-gguf:Q4_K_M
とやるだけでDLして実行してお話をはじめられる