なんJLLM部 避難所 ★10
レス数が950を超えています。1000を超えると書き込みができなくなります。
>>941
MSが本当にOSで儲けてないなら、Win11Proが無料で使える方法知りたいわ
とりあえず、OSが必要になって困ってる
あと、上でも書いたけど使えるソフトの数が全然違いすぎてUbuntuでは良いものが見つからず移行ができなかった 捨てるとか不可能だよ
例えば、ビューワーやファイラー、エディタですらWindowsで使えるソフトの完全上位互換みたいなものを探してたけど手に馴染むものが無い
Geanyはかなりカスタマイズできて良かったけど、AIで使ってる巨大ファイルを開いたら思いの外重たかった
他にもOOMとかWindowsなら止まらないのに、Ubuntuだと止まるとか使えば使うほど不満点が出てきた step3.5flashって196bのモデルがベンチマークじゃglm4.7を凌駕しとるようやが
誰かつこうて見たひとおる？
Q4あたりで使うとしたらGPU+128GBで使える丁度ええ大きさやが スマホGeminiでエロ小説やRPしてた者です
規制や制限なくエロ小説やrpしたくてローカルに手を出そうととりあえずkoboldcppを入れたんですが良さげなggufモデルってどう判断すればいいんですか？
pcのスペックはこれです
i7-10750H / GTX 1650（4gb） / メモリ16GB / SSD 500GB + HDD 1TB ダウンロードするだけならスレで話題になったモデルをひたすら試す
でもVRAM4GBだけでは正直何もできないと思うよ… PCがVRAM24GB+16GB=40GB構成になったんだが
VRAM40GBに向いたモデルってQwen3Next80B以外にある？ >>944
OOM対策どうしてるの？
VRAMを可能な限り使い切るような感じで複数ソフト起動してる
そうすると、ちょっとしたVRAM変化でOOMで止まる Windowsだと止まらず動いてくれる
学習とか途中で止まると時間が大幅に無駄になるし、寝てる時に止まってると時間が勿体ない
あと、NeeViewerみたく速度が早く、機能的にも上位互換な物を探してるけど使えるものある？ 70BくらいのdenseをQ3ぐらいで使うあたり…？
moe系はexpert部を切り出す代わりに全体サイズは性能の割にデカい感じだから、無理にvramに収めなくても >>949
よく使いそうなexpertを判別して優先的に読み込むなら大きなMoEを使うんだがな
UbuntuのLM Studioで動かすつもりだが
各expertの中身と配置がブラックボックスでよく分からんわ VRAMに乗せきりたいなら32BのQ8とかになるんじゃないか
40GBもあればcpu-moe系のオプションで大きめのGLMとかも結構な速度で動かせると思うが レス数が950を超えています。1000を超えると書き込みができなくなります。
