なんJLLM部 避難所 ★10
レス数が950を超えています。1000を超えると書き込みができなくなります。
0944名無しさん＠ピンキー (ｵｯﾍﾟｹ Sr37-S1MQ)2026/02/09(月) 12:20:54.56ID:UmU5acEhr
winはアホ向け
0945名無しさん＠ピンキー (ﾜｯﾁｮｲ 53e1-jTBU)2026/02/09(月) 13:14:34.83ID:BT7t/1tv0
スマホGeminiでエロ小説やRPしてた者です
規制や制限なくエロ小説やrpしたくてローカルに手を出そうととりあえずkoboldcppを入れたんですが良さげなggufモデルってどう判断すればいいんですか？
pcのスペックはこれです
i7-10750H / GTX 1650（4gb） / メモリ16GB / SSD 500GB + HDD 1TB
0948名無しさん＠ピンキー (ﾜｯﾁｮｲ f2c7-81f9)2026/02/09(月) 13:48:28.24ID:RpvB3isi0
>>944
OOM対策どうしてるの？
VRAMを可能な限り使い切るような感じで複数ソフト起動してる
そうすると、ちょっとしたVRAM変化でOOMで止まる　Windowsだと止まらず動いてくれる
学習とか途中で止まると時間が大幅に無駄になるし、寝てる時に止まってると時間が勿体ない
あと、NeeViewerみたく速度が早く、機能的にも上位互換な物を探してるけど使えるものある？
0949名無しさん＠ピンキー (ﾜｯﾁｮｲ b232-4UIm)2026/02/09(月) 13:53:14.26ID:LLgbr2Tg0
70BくらいのdenseをQ3ぐらいで使うあたり…？
moe系はexpert部を切り出す代わりに全体サイズは性能の割にデカい感じだから、無理にvramに収めなくても
0950名無しさん＠ピンキー (ｽｯﾌﾟﾌﾟ Sdd2-v0/K)2026/02/09(月) 14:12:20.13ID:Z+q1O254d
>>949
よく使いそうなexpertを判別して優先的に読み込むなら大きなMoEを使うんだがな

UbuntuのLM Studioで動かすつもりだが
各expertの中身と配置がブラックボックスでよく分からんわ
0952名無しさん＠ピンキー (ﾜｯﾁｮｲ 7e23-tJMc)2026/02/09(月) 16:39:13.73ID:cFDFamMz0
>>943
redditではベンチ番長やなくてかなり好意的な意見が多いみたい
lmstudioでもダウンロードできるようになってるし使ってみる
新着レスの表示
レスを投稿する

レス数が950を超えています。1000を超えると書き込みができなくなります。
ニューススポーツなんでも実況