なんJLLM部 避難所 ★10
レス数が950を超えています。1000を超えると書き込みができなくなります。
誰か >>966にアドバイスしてクレメンス・・・
空きが無いと話がループして止まらないとかVRAMとモデル選択のバランスがようわからんのや >>977
待てるならvramいっぱいにモデルを詰めていいし、そうでないならkvキャッシュ用に空けておくべき
モデルによってkv量子化だったりオフロードしなかった時の精度や速度が違うから試しながら調節してみ レス数が950を超えています。1000を超えると書き込みができなくなります。
