なんJLLM部 避難所 ★10
レス数が950を超えています。1000を超えると書き込みができなくなります。
0966名無しさん＠ピンキー (ﾜｯﾁｮｲ b2ec-lZWY)2026/02/11(水) 18:56:42.22ID:X0y/9hKJ0
VRAM12GB＋LM Studio(RAM96GB)環境で16GBに交換したんやが
モデルのサイズはVRAMに全部入る容量を選ぶべきか、gguf版で少しVRAMの空きを残した方が良いのかどっちなんやろか
会話のやり取りがそこそこ続くようならVRAMは数GB開けた方が良いんやろか
数回限りのやりとりならギリギリ15GBぐらいのモデルとかのほうが精度優先にしたほうが良い？
0967名無しさん＠ピンキー (ﾜｯﾁｮｲ 1224-soK/)2026/02/11(水) 19:20:18.63ID:KPjbPQAh0
>>964
パラメータ数小さいけど量子化ビット数は大きいモデルはアホの子なんだけどやってることは納得できるしガイドしてやればちゃんと仕事してくれるイメージ
QWEN3ぐらい小説書ける100B〜150BぐらいのMoEモデルがあればQ6とかでいい感じの文章をストレス無く書いてくれそうなんだけどなぁ
新着レスの表示
レスを投稿する

レス数が950を超えています。1000を超えると書き込みができなくなります。
ニューススポーツなんでも実況