なんJLLM部 避難所 ★10
>>419
ローカルじゃないがChutesていうOpenAI互換プロバイダのAPIから使ってみた
多分入力の検閲はやってないとこのはず ローカルLLMもエロ規制が厳しくなって
過去モデルがオーパーツになったりするんやろか GLM4.7 Q5k_m
メモリ256Gに乗るかな？
使ってるニキいない？ >>408
これそろそろマージされそうやけど、これを機能させるには
mxfp4なgguf使う必要あるんやろか
2〜3割高速化するようやがQ4よりは精度は落ちるんやろかね >>423
使ってはないけどQ5kmは254GBモデルなので256GB環境に乗せるのは無理だ >>422
すでにQwQ-32Bがオーパーツ化しつつあるわ
Qwen3-32Bは微妙に日本語性能が落ちてるし
他の32B以下モデルもQwQを超える日本語性能は出せてないように思う >>425
そりゃメモリだけなら無理だけど、GPUも動かすなら多分いけると思うで 