なんJLLM部 避難所 ★9
kobold.cppで、overridetensorsを有効にしようとして
koboldcpp\koboldcpp.exe --overridetensors --gpulayers 24
で起動させたら落ちるんだけど、やり方間違ってる？
メモリ64G VRAM12G >>622
DDR5 64GBになると割高過ぎてXeon買った方が良くね？になっちゃうからなあ。 >>631
システムメモリフォールバックなしを優先にしてないよね？
それやって落ちた経験あらあるやり方をAIに聞いた方が早そう >>632
確かにそうだよな
DDR4も2倍近く上がったわ
192GBでGLM4.6の動かんのだっけ？ 