>>221
https://huggingface.co/mmnga/karakuri-lm-70b-chat-v0.1-gguf
↑の
karakuri-lm-70b-chat-v0.1-q5_K_M.gguf
を落として、kobold.cppで読み込むだけ。
presetはUseCuBLASを選択。（レイヤー値は自動でセットされるから触らんでおｋ）

スピード大して変わらんのでq6_kの方が性能いいけど、分割してるからくっつける手間がある
（64Gではq6_kが限界）