なんJLLM部 避難所 ★10
レス数が950を超えています。1000を超えると書き込みができなくなります。
!extend:checked:vvvvv:1000:512
!extend:checked:vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★8
https://mercury.bbspink.com/test/read.cgi/onatech/1746883112/
なんJLLM部 避難所 ★9
https://mercury.bbspink.com/test/read.cgi/onatech/1755924738/
VIPQ2_EXTDAT: checked:vvvvv:1000:512:: EXT was configured >>962
しつこい奴やなぁ
s://files.catbox.moe/8qinpa.mp4 量子化のビット数小さくするのは元々パラメータ数小さいのとはまた違ったところが劣化する感覚があるんよな
パラメータ数小さいのはドジっ子なんだけど量子化で小さくしすぎると認知症みたいな
なんかうまく説明できないんだけど
コーディング用だとこの辺が結構聞いてくるんよなぁ
パラメータ数にかかわらずQ4はどのモデルもコーディングで使えない >>963
粘着質なやつに構うと調子乗るからほっといたほうがいいよ VRAM12GB＋LM Studio(RAM96GB)環境で16GBに交換したんやが
モデルのサイズはVRAMに全部入る容量を選ぶべきか、gguf版で少しVRAMの空きを残した方が良いのかどっちなんやろか
会話のやり取りがそこそこ続くようならVRAMは数GB開けた方が良いんやろか
数回限りのやりとりならギリギリ15GBぐらいのモデルとかのほうが精度優先にしたほうが良い？ >>964
パラメータ数小さいけど量子化ビット数は大きいモデルはアホの子なんだけどやってることは納得できるしガイドしてやればちゃんと仕事してくれるイメージ
QWEN3ぐらい小説書ける100B〜150BぐらいのMoEモデルがあればQ6とかでいい感じの文章をストレス無く書いてくれそうなんだけどなぁ レス数が950を超えています。1000を超えると書き込みができなくなります。
