201ではないけど、補足すると今はGGMLよりGGUFが主流
GGUF形式もkoboldcppで扱えるから色々試してみてもいい
GPTQとAWQはローダーが搭載されてないから無理
70BクラスはRAM32以上+VRAMも組み合わせる必要出てくるし
そうやって動かしても1秒1文字とかになるから覚悟した方がいい