command r+のaってこれかな
GGUF待ちや
4090でcobold→SillyTavernでの使用時
QwQ-32B Q4_K_M、4096だとちょっと辻褄あってない気がしたんで
>>719を参考にしていじってみた
コンテキストサイズ8192だとレイヤーが全て載らず遅かった
6000代だと66レイヤー全部？載る（-1 で限界まで乗せる、であっとるやろか）
ここらへんが上限かな……
いやでも他の作業できなさそうだから4096でするけども
駄目なところはプロンプトや設定の工夫でなんとかしたい