なんJLLM部 避難所 ★10
ローカルLLMもエロ規制が厳しくなって
過去モデルがオーパーツになったりするんやろか GLM4.7 Q5k_m
メモリ256Gに乗るかな？
使ってるニキいない？ >>408
これそろそろマージされそうやけど、これを機能させるには
mxfp4なgguf使う必要あるんやろか
2〜3割高速化するようやがQ4よりは精度は落ちるんやろかね >>423
使ってはないけどQ5kmは254GBモデルなので256GB環境に乗せるのは無理だ >>422
すでにQwQ-32Bがオーパーツ化しつつあるわ
Qwen3-32Bは微妙に日本語性能が落ちてるし
他の32B以下モデルもQwQを超える日本語性能は出せてないように思う >>425
そりゃメモリだけなら無理だけど、GPUも動かすなら多分いけると思うで このスレ民の評価ってどういう基準なの？
自分は動画生成用のプロンプト推論に使ってるので
ストーリー性は求めるがセリフは求めないって感じ
あとVRAM溢れさせるのがデフォな使い方しとるんか？
メインメモリで推論させてテキストで重厚なストーリー出力って感じ？ >>429
俺は日本語で自然なやり取りができるとか、複雑なプロンプトの理解力を見てるな
小説はほとんど読まない書かないから良し悪しがよくわからない >>423
ダウンロードしたら254GBあったけど、メモリ256GBでも普通に載ったわ
スワップなしでいけてる
ちなGLM4.7 Q5_K_XL 