なんJLLM部 避難所 ★10
gpt-oss-120bをVRAM16GB,メモリ64GBだと落ちる寸前だな
llama-serverでmlock有効にしたらOSがフリーズした
誰か動かしてる人いたらおすすめ設定教えてほしい。 >>597
5090がどんどん値上がりしてPRO6000は値下がり傾向、本当のPRO6000がそれなりに当たり前になりそうな気がする
というかVRAMだけで考えたら、RTX 5080 16GBと比べてもかなり安いんだな VRAM72GBのpro5000も年明け出荷のようだし、geforce多枚積みよりはこっちの方が筋いいわな あけましておめでとうございます本年もよろしくお願いします
>>561
遅くなりましたが555です、対応ありがとうございました
こちらでも更新後に正しく動作することを確認できました RTX 5090は5,000ドル（約78万円）に値上げする見通しとか
値上げする情報はあったけど、ここまでとはな
ローカルAIは富豪の遊びに… VLM動かせる環境作ったからQwen3-VL-235B使ってみた
そもそも認識しないんじゃないかと思ってたけど、NSFWでも思ったよりずっとしっかりしたキャプション生成できるな
https://i.imgur.com/n74THhW.jpeg グラボの値上げえぐすぎるだろ
これとてもじゃないけど今後はローカルとか無理だな >>604
NSFWの単語を知らないだけで説明はしてくれようとするんやな
世のエロ画像を日本語/英語で説明させてその説明文とdanbooruタグを画像と一緒に学習させたら
画像生成のプロンプトが楽になりそうやが
noobとかがやってくれへんかなぁ 横からだけど厳密にテストしたわけじゃないけどQwen系はパラ数デカい方が規制緩くて小さい方が厳しい感じだったな
あとエロ画像解説させるときはシスプロに脱獄文入れて画像と一緒にわたすプロンプトで「外性器はチンポ|マンコなど下品な単語で解説してください」みたいに誘導すると普通にそっち系の単語で解説してくれた思い出 LGAI-EXAONE/K-EXAONE-236B-A23BっていうLG製？のモデルが出てるけど
redditで英語の性能があまりよくないって言われとった
英語がダメなら日本語はもっとダメかな どうだろ
もし韓国語強いんだったら日本語もやれるかベースとして優れてそう 韓国語って元々漢字ベースだったものをハングルに置き換えたせいで同音異義語を文脈からしか区別出来んからLLMモデルしんどそうだな
日本語で例えるなら全てひらがな表記してる感じ GLM4.6 357B Q4kmがubuntuでKoboldCpp linux版で4.5token/s出たので報告。
スペック:ryzen9 9950X 256gb(4800MHz) 3090 1枚
--gpulayers 94 --n-cpu-moe 90 --threads 24 UIからも出来た。
ik_llama.cpp の方が10％くらい早かったけどthinking消すのKoboldのが楽だった。
ubuntuとか初めてだったけどAIに聞きまくればなんとかなるもんだね。 >>612
おお、 linuxの方が倍以上速いのか
デュアルブートするかな 倍以上早いってよりかはWindows(のNvidiaのドライバ)だと勝手にVRAMからメインメモリに漏れるから
それで遅くなってるんじゃないかという気はするやね
「CPUがメインメモリで演算する」よりも「GPUがメインメモリで演算する」方が死ぬほど遅くなるから
VRAMからメインメモリに漏れるのは死んででも阻止しないとあかん
Linux(のNvidiaのドライバ)やと勝手に漏れるということがないぶんVRAMが枯渇したらエラーして止まるんやが ローカルLLMでエロチャやるには3060やと力不足なんやろうなぁ… >>615
LLMはVRAMが全てや
GPUは大半の時間遊んどる >>612
ええ感じやん
9950Xの性能を最大限に活かせてるんやろか
自分も試してみた
【環境】
RTX 3090 + 5955WX(16c32t) + DDR4-3200 8ch (256GB)
GLM-4.6 Q4_K_XL
【結果】
Windows llama.cpp: 4.18 t/s
WSL2 llama.cpp: 3.71 t/s
WSL2 KoboldCpp: 3.55 t/s
モデルが若干違うのとthreadsが16なの以外は設定が同じ
ちなみに--threads 24だと性能落ちた
自分は16が最速みたいだ
612氏は9950X（16コア）で24スレッド指定してるけど、これで性能出るんやろか？
性能がいいのはCPU、ネイティブLinux、メモリ帯域どれが該当してるんやろな
STREAM Triadで測ったら67.7〜92.8GB/sだった
612氏はどのくらい出てるんやろ >>612
そのスペックでwinのkoboldcppで走らせたら何t/sになりますか？ >>619
いま試してきたんだけど、0.92token/sだった・・
linux版はちゃんとファンが高回転の音してるから性能引き出してくれてるんだろうね。
>>617
AIの言うままに--threads 24にしてたけど、16に変更したら4.6token/sになったよ。ありがとう！
win版はUseMMAP付けるけど、linux版ではUseMMAP外した方が速いんだって。
あとBIOSの設定もAIに聞いてLLM向けにいろいろいじったよ。ちょっとしたことで性能だいぶ変わるよね。 Windows llama.cpp: 4.18 t/s 出るならそっちのが快適かも。
linux版はコンテキスト上限で落ちるし文章が止まってから再生成にちょっと間があるんだよね。 >>620
情報ありがとう！
threads 16で速くなってよかったわ
こっちもBIOSとか色々設定変更してたらWSL2(Ubuntu)の速度が改善したw
どの変更が影響したか分からん・・・
NUMA(NPS)の設定やろか？
【変更前】
Windows llama.cpp: 4.18 t/s
WSL2 llama.cpp: 3.71 t/s
WSL2 KoboldCpp: 3.55 t/s
【変更後】
Windows llama.cpp: 4.13 t/s（誤差範囲）
WSL2 llama.cpp: 4.16 t/s（+12%）
WSL2 KoboldCpp: 4.22 t/s（+19%）
結果KoboldCppが最速になったw
UseMMAP設定有無の差はあまりなかったわ
WSLで動かしてるからやろけど残念！
612氏の通り、LLMはちょっとした変更で変わることが多い印象だわ >>620
むむ、なんか差が大きいですね
自分はryzen7 ですが、koboldcppでQ5ｋで2t/sは出てたんで、なにか設定が違うのかも
まあ、linuxで4t/sでるなら、そっちの方がよさげですが grok先生がエロで責められてる
許せんな、みんなgrok先生を守れ ローカルで遊んでる人はgrokでエロ画像と言ってもピンと来ないだろ
文章なら性能高い分エロいのもかなり出るけど 今日からLM Studioやってみてるのですが
自分のPCのスペックがryzen7700x 4070TiS メモリ96GB（今すぐ192GBには増設可能）
これで使える範囲のモデルでおすすめなのってありますかね？
どうせグラボが足引っ張る気がするのでメモリはまだ増設してませんが、増設したらもっとつよつよモデル
使えるというのなら増設します メモリなんて上がる一方だから増設できるなら今増設しない手段は無いわ 色々試したが結局magnum v4 123b Q8_0から離れられないワイ
いままでQ3_Mの0.17t/sで耐えてたから0.42t/sでもウハウハやわw やはり増設ですか
でもDDR5なので4枚差すと速度が3600まで落ちるみたいで
そこらへんDDR5の4枚差しの人はどうしてるのか気になります >>630
それデフォ設定
biosでメモリ設定をxmpとかexpoとかにすればワイのは5600になった DDR5の4枚はbiosアプデしなかったら起動すらしなかったんで気軽にやろうとしてたから少しビビった
それでも最終的に定格より上で安定したから3600は超えるんじゃないかな MBやメモリのの当たり外れによるけど、4枚が同じモデルであること前提で
運が良ければ5600、悪ければ5200、最悪それ以下覚悟しとけって感じかな。 去年なんJNVA部スレの方でDDR5の4枚をデフォの3600で使わず5600で使ってたら
CPUが壊れたというレスがあったからメモリコントローラーが焼けたのか知らないけどちょっと怖いなと思ってましたが
結構みなさん上げて使ってるんですね まだメモリ増設はしてませんが、とりあえず試しに
Huihui-Qwen3-Next-80B-A3B-Instruct-abliterated-MXFP4_MOE-GGUF
というモデルをダウンロードしてやってみたら6.92t/sでした
どうやらmoeモデルみたいなので
>>562
の説明通りにGPUオフロードを最大にしてweights onto CPUにチェックを入れたら
20.32t/sになりました
ローカルLLMはこれが初めてですがこれは感動ですね
楽しい！ オーバークロックはアホのやることだよ
数%の性能向上のために壊す可能性ある行為やるとかアホやん
その為に専用の冷却装置か買い足したりね
そんなら初めからワンランク上のPCパーツ揃えとけって話よ 