なんJLLM部 避難所 ★9
最近はMoEモデルが増えたせいでGPUもだがメインRAM256GBだの384GB積めるXeonかスリッパが欲しくなる問題。デスクトップRyzenの限界近い192GBでもGLM4.5あたりだとQ3ぐらいまでが限界で >>814
Qwen3-Next-80B-A3BはぶっちゃけコアのA3BさえVRAMに収まってりゃそこそこの速度で動く。上の方でlammacppより先にQwen3-Next対応したfastllmで試したニキいるけどA3Bだけ置いてVRAM8GBも使わずに20tok/s出たって言ってたはず デスクトップRyzenでもDDR5なら64GB×4枚で256GB積めなかったけ？ MoEのおかげでもうそういう時代じゃないのよ
(MoEをメインメモリも使って高速に動かす方法を編み出したのはktransformersが最初やろうけど) 最近Stable DiffusionやってるけどＬＬＭと違って、画像にどんなタグを付けているか予想しながらじゃないといけないのがつらいな
ＬＬＭは言葉でどこまでも詳細にいけるけど、 danbooruのwikiと睨めっこしてる感じかな 例えば、騎乗位にはいろいろ種類があって、名前が詳細についているけど、ほとんどのモデルは騎乗位としかタグ付けされていない。
だからガチャで生成するしかない JNVAスレで聞いてきたらええよ
多分そもそもタグあるだろうし、なかったとして、出すための方法はおそらくもう確立してる
慣れるとすごい楽よdanbooruタグ 因数分解みたいな要領で出せるのも結構あるよね
だいしゅきホールド = hug + leg cross + missionary danbooru語への翻訳をLLMにやらせればいい
danbooru語の辞書はネットに転がってるからRAGで食わせればいい kobold.cppで、overridetensorsを有効にしようとして
koboldcpp\koboldcpp.exe --overridetensors --gpulayers 24
で起動させたら落ちるんだけど、やり方間違ってる？
メモリ64G VRAM12G >>622
DDR5 64GBになると割高過ぎてXeon買った方が良くね？になっちゃうからなあ。 >>631
システムメモリフォールバックなしを優先にしてないよね？
それやって落ちた経験あらあるやり方をAIに聞いた方が早そう >>632
確かにそうだよな
DDR4も2倍近く上がったわ
192GBでGLM4.6の動かんのだっけ？ なんか最新のLLMモデル軽くなった？
gpt-oss:120bで久々にローカルLLM入れたけど
5-6token/secが昔のllama:120bとかは限界だったのに
gpt-ossだと普通に思考4-5秒で20~token/secで出力されるし精度がgptと変わらんやん
Mac StudioM1Ultraの128GB環境だけどモデル側でこんな変わるんかって感じ そういやgpt-oss:120bのggufって何であんなにデカいん？
メモリ64Gに乗らないやん >>635
gpt-oss-120bはアクティブ5bだから
moeの仕組みは前からあるけど最近はそれが主流になりつつある ここ最近このスレでmoeのことをわかってない人が急に増えた気がするんやが外でこのスレ紹介されたりしたんやろか
llamacppがcpumoe実装してからモデルがmoeかどうかは個人でLLM動かす人には超重要事項になっとるで 必要なスペックも書かずにglm4.6で個人がここまでのai使える！みたいなの言ってる記事は伸びてたな… >>640
なるほどなー
magnum v4 123bでシコってた頃から随分進化したもんや
gpt-oss abiliteratedがかなり期待外れだったからmagnumとかの生成早くなってるやつがあったらかなり良さそう lammacppのrocm対応が進んで今だとQwen3-coder-30BならradeonでもRX7900XTXなら80tok/sぐらい出るようになったし、MoEの成熟も進んで春先あたりの頃の常識がだいぶ変わったよな 俺が一番シコれる文章を生成してくれるのは
QuantFactory/Berghof-NSFW-7B-GGUF
だけなんだよな
他のモデルは文章こそ滑らかかも知れんけどチンポにズドンとくる文章じゃなくて惜しい 