なんJLLM部 避難所 ★10
レス数が950を超えています。1000を超えると書き込みができなくなります。
0948名無しさん＠ピンキー (ﾜｯﾁｮｲ f2c7-81f9)2026/02/09(月) 13:48:28.24ID:RpvB3isi0
>>944
OOM対策どうしてるの？
VRAMを可能な限り使い切るような感じで複数ソフト起動してる
そうすると、ちょっとしたVRAM変化でOOMで止まる　Windowsだと止まらず動いてくれる
学習とか途中で止まると時間が大幅に無駄になるし、寝てる時に止まってると時間が勿体ない
あと、NeeViewerみたく速度が早く、機能的にも上位互換な物を探してるけど使えるものある？
0949名無しさん＠ピンキー (ﾜｯﾁｮｲ b232-4UIm)2026/02/09(月) 13:53:14.26ID:LLgbr2Tg0
70BくらいのdenseをQ3ぐらいで使うあたり…？
moe系はexpert部を切り出す代わりに全体サイズは性能の割にデカい感じだから、無理にvramに収めなくても
0950名無しさん＠ピンキー (ｽｯﾌﾟﾌﾟ Sdd2-v0/K)2026/02/09(月) 14:12:20.13ID:Z+q1O254d
>>949
よく使いそうなexpertを判別して優先的に読み込むなら大きなMoEを使うんだがな

UbuntuのLM Studioで動かすつもりだが
各expertの中身と配置がブラックボックスでよく分からんわ
0952名無しさん＠ピンキー (ﾜｯﾁｮｲ 7e23-tJMc)2026/02/09(月) 16:39:13.73ID:cFDFamMz0
>>943
redditではベンチ番長やなくてかなり好意的な意見が多いみたい
lmstudioでもダウンロードできるようになってるし使ってみる
0953名無しさん＠ピンキー (ﾜｯﾁｮｲ f6a0-cHUB)2026/02/09(月) 18:38:44.69ID:pmRjuvly0
SDでだいぶ出したい絵を出せるようになってきた。
衝突して崩壊してたんだなって感覚が重要だわ

LoRAと重みとdanbooruと順番と、全部ちゃんと理解しないと絵にならない
何が悪いのか原因を見つけるスキルが必要
0955名無しさん＠ピンキー (ﾜｯﾁｮｲ 3ec8-OQoE)2026/02/11(水) 10:24:18.02ID:CqqxVzne0
最近grokは使い難いな。
デッドロックというか、自分の出力した文章内容に不適切な内容があると続きを書かなってしまうみたいな事が起きてる。
0957名無しさん＠ピンキー (ﾜｯﾁｮｲ 1224-soK/)2026/02/11(水) 17:11:46.81ID:KPjbPQAh0
Heretic-Qwen3-VL-235B-A22B-Instructいい感じなんだけど読点句読点とか鉤括弧がめちゃくちゃ多いのはモデルの特徴なんかな
いい感じに抑制したいけど適当に指示すると今度は全く使わないで文章書こうとしだすから難しい
0958名無しさん＠ピンキー (ｽｯﾌﾟﾌﾟ Sdd2-v0/K)2026/02/11(水) 17:37:03.98ID:ctMDnveAd
>>957
Qwen3 235Bはひと昔前のGeminiやClaudeに迫る性能だが
現行バージョンほどのプロンプト追従性は無いな

GeminiやClaude向けのRPプロンプトがまともに動くこともあればダメな時もある

Qwen3 Next 235Bが待たれる
0959名無しさん＠ピンキー (ｽｯﾌﾟﾌﾟ Sdd2-v0/K)2026/02/11(水) 17:44:16.28ID:ctMDnveAd
俺のVRAM40GB環境では70B〜80BならギリVRAMに乗るが
235BはVRAM128GB級でないとVRAMに乗り切らない

⚙70B〜80B…チャット、リアルタイムアプリ
⚙235B〜…バッチ処理

と用途別に使い分けるのが現実解
MoEのエキスパート配置が賢くなればVRAM32GB以下でも235Bがサクサク動きそうだが現状では夢物語
0960名無しさん＠ピンキー (ﾜｯﾁｮｲ 9f21-MYmM)2026/02/11(水) 17:48:41.51ID:FDNSgGOl0
見栄張んなよ
本当は8GBとかのグラボ使ってんだろw？
0962名無しさん＠ピンキー (ﾜｯﾁｮｲ 9f21-MYmM)2026/02/11(水) 18:02:21.40ID:FDNSgGOl0
>>961
>>960
0964名無しさん＠ピンキー (ﾜｯﾁｮｲ 76a9-cHUB)2026/02/11(水) 18:18:49.85ID:DcHcFl3L0
量子化のビット数小さくするのは元々パラメータ数小さいのとはまた違ったところが劣化する感覚があるんよな
パラメータ数小さいのはドジっ子なんだけど量子化で小さくしすぎると認知症みたいな
なんかうまく説明できないんだけど

コーディング用だとこの辺が結構聞いてくるんよなぁ
パラメータ数にかかわらずQ4はどのモデルもコーディングで使えない
0966名無しさん＠ピンキー (ﾜｯﾁｮｲ b2ec-lZWY)2026/02/11(水) 18:56:42.22ID:X0y/9hKJ0
VRAM12GB＋LM Studio(RAM96GB)環境で16GBに交換したんやが
モデルのサイズはVRAMに全部入る容量を選ぶべきか、gguf版で少しVRAMの空きを残した方が良いのかどっちなんやろか
会話のやり取りがそこそこ続くようならVRAMは数GB開けた方が良いんやろか
数回限りのやりとりならギリギリ15GBぐらいのモデルとかのほうが精度優先にしたほうが良い？
0967名無しさん＠ピンキー (ﾜｯﾁｮｲ 1224-soK/)2026/02/11(水) 19:20:18.63ID:KPjbPQAh0
>>964
パラメータ数小さいけど量子化ビット数は大きいモデルはアホの子なんだけどやってることは納得できるしガイドしてやればちゃんと仕事してくれるイメージ
QWEN3ぐらい小説書ける100B〜150BぐらいのMoEモデルがあればQ6とかでいい感じの文章をストレス無く書いてくれそうなんだけどなぁ
新着レスの表示
レスを投稿する

レス数が950を超えています。1000を超えると書き込みができなくなります。
ニューススポーツなんでも実況