なんJLLM部 避難所 ★10
レス数が950を超えています。1000を超えると書き込みができなくなります。
0964名無しさん＠ピンキー (ﾜｯﾁｮｲ 76a9-cHUB)2026/02/11(水) 18:18:49.85ID:DcHcFl3L0
量子化のビット数小さくするのは元々パラメータ数小さいのとはまた違ったところが劣化する感覚があるんよな
パラメータ数小さいのはドジっ子なんだけど量子化で小さくしすぎると認知症みたいな
なんかうまく説明できないんだけど

コーディング用だとこの辺が結構聞いてくるんよなぁ
パラメータ数にかかわらずQ4はどのモデルもコーディングで使えない
0966名無しさん＠ピンキー (ﾜｯﾁｮｲ b2ec-lZWY)2026/02/11(水) 18:56:42.22ID:X0y/9hKJ0
VRAM12GB＋LM Studio(RAM96GB)環境で16GBに交換したんやが
モデルのサイズはVRAMに全部入る容量を選ぶべきか、gguf版で少しVRAMの空きを残した方が良いのかどっちなんやろか
会話のやり取りがそこそこ続くようならVRAMは数GB開けた方が良いんやろか
数回限りのやりとりならギリギリ15GBぐらいのモデルとかのほうが精度優先にしたほうが良い？
0967名無しさん＠ピンキー (ﾜｯﾁｮｲ 1224-soK/)2026/02/11(水) 19:20:18.63ID:KPjbPQAh0
>>964
パラメータ数小さいけど量子化ビット数は大きいモデルはアホの子なんだけどやってることは納得できるしガイドしてやればちゃんと仕事してくれるイメージ
QWEN3ぐらい小説書ける100B〜150BぐらいのMoEモデルがあればQ6とかでいい感じの文章をストレス無く書いてくれそうなんだけどなぁ
新着レスの表示
レスを投稿する

レス数が950を超えています。1000を超えると書き込みができなくなります。
ニューススポーツなんでも実況