なんJLLM部 避難所 ★10
レス数が950を超えています。1000を超えると書き込みができなくなります。
!extend:checked:vvvvv:1000:512
!extend:checked:vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★8
https://mercury.bbspink.com/test/read.cgi/onatech/1746883112/
なんJLLM部 避難所 ★9
https://mercury.bbspink.com/test/read.cgi/onatech/1755924738/
VIPQ2_EXTDAT: checked:vvvvv:1000:512:: EXT was configured >>944
OOM対策どうしてるの？
VRAMを可能な限り使い切るような感じで複数ソフト起動してる
そうすると、ちょっとしたVRAM変化でOOMで止まる Windowsだと止まらず動いてくれる
学習とか途中で止まると時間が大幅に無駄になるし、寝てる時に止まってると時間が勿体ない
あと、NeeViewerみたく速度が早く、機能的にも上位互換な物を探してるけど使えるものある？ 70BくらいのdenseをQ3ぐらいで使うあたり…？
moe系はexpert部を切り出す代わりに全体サイズは性能の割にデカい感じだから、無理にvramに収めなくても >>949
よく使いそうなexpertを判別して優先的に読み込むなら大きなMoEを使うんだがな
UbuntuのLM Studioで動かすつもりだが
各expertの中身と配置がブラックボックスでよく分からんわ VRAMに乗せきりたいなら32BのQ8とかになるんじゃないか
40GBもあればcpu-moe系のオプションで大きめのGLMとかも結構な速度で動かせると思うが >>943
redditではベンチ番長やなくてかなり好意的な意見が多いみたい
lmstudioでもダウンロードできるようになってるし使ってみる SDでだいぶ出したい絵を出せるようになってきた。
衝突して崩壊してたんだなって感覚が重要だわ
LoRAと重みとdanbooruと順番と、全部ちゃんと理解しないと絵にならない
何が悪いのか原因を見つけるスキルが必要 >>952
Q8_0で試したけど、スピード速いし、日本語もそれなりだけど、規制強すぎだし
小説書かせると話の整合性もいまいちかな
heretic版とか出たら面白いかも レス数が950を超えています。1000を超えると書き込みができなくなります。
