なんJLLM部 避難所 ★10
レス数が950を超えています。1000を超えると書き込みができなくなります。
>>963
粘着質なやつに構うと調子乗るからほっといたほうがいいよ VRAM12GB＋LM Studio(RAM96GB)環境で16GBに交換したんやが
モデルのサイズはVRAMに全部入る容量を選ぶべきか、gguf版で少しVRAMの空きを残した方が良いのかどっちなんやろか
会話のやり取りがそこそこ続くようならVRAMは数GB開けた方が良いんやろか
数回限りのやりとりならギリギリ15GBぐらいのモデルとかのほうが精度優先にしたほうが良い？ >>964
パラメータ数小さいけど量子化ビット数は大きいモデルはアホの子なんだけどやってることは納得できるしガイドしてやればちゃんと仕事してくれるイメージ
QWEN3ぐらい小説書ける100B〜150BぐらいのMoEモデルがあればQ6とかでいい感じの文章をストレス無く書いてくれそうなんだけどなぁ >>967
GLM4.5Air使えば？
110BのMoEだぞ >>923
winが昔みたいに勢いあったらWin APIゴリゴリ書いてくれるようなAI出してたんだろなー >>970
よくオープンウェイトを続けられたな
745B-A40Bだって
s://huggingface.co/zai-org/GLM-5
おかげでまだしばらく激安AIコーディングが続けられそうや レス数が950を超えています。1000を超えると書き込みができなくなります。
