なんJLLM部 避難所 ★10
0728名無しさん＠ピンキー (ﾜｯﾁｮｲ 6f32-5de0)2026/01/13(火) 13:34:38.68ID:KI0ClFsj0
SNSで新しいAI情報を紹介してるだけみたいなのまでAI驚き屋といって叩いて煽ってる側が
有料でAIの本質情報教えますマンみたいなのだったりする時代
0729名無しさん＠ピンキー (ﾜｯﾁｮｲ c7a8-btwR)2026/01/13(火) 14:22:39.00ID:WR1YxfAx0
PC新調したしローカルLLM始めたいなと思ってスレ読んでたけど、割とグラボ複数でVRAM増強してる感じなんやね
グラボ1枚（VRAM16GB）だとローカルLLMはまだ難しい感じ？
0730名無しさん＠ピンキー (ﾜｯﾁｮｲ b732-8cZs)2026/01/13(火) 14:27:27.51ID:gPGsq1yO0
VRAM16GBでもMoEならそれなりに遊べる
0731名無しさん＠ピンキー (ﾜｯﾁｮｲ 7247-YDYy)2026/01/13(火) 14:29:25.64ID:/2Cg9zMf0
>>729
7B~14Bモデルならちゃんと動くよ
もちろんチャッピーなどオンラインモデルの性能を期待してはいけない
でも7Bってエロに関しては完全フリーだった頃のモデルばっかだから意外と楽しめる
0732名無しさん＠ピンキー (ﾜｯﾁｮｲ f232-+fC0)2026/01/13(火) 14:35:31.61ID:O7FR8Zm10
ちょっと前に比べたらvram16gbに乗り切って日本語ちゃんと返せるモデルが乱立してるのは劇的進歩ではあるよ
普通に使えるっちゃ使える
moeも出てきたし
0733名無しさん＠ピンキー (ｽｯﾌﾟﾌﾟ Sd12-PuTB)2026/01/13(火) 14:42:37.09ID:f0/mo2LTd
Qwen235bが出た時に速攻でメインメモリ128GB以上の環境を作れた奴が勝ち組

denseモデルだとVRAMかメインメモリかの2択になって大型モデルでGPUを全く活かせないからな
0734名無しさん＠ピンキー (ﾜｯﾁｮｲ c7a8-btwR)2026/01/13(火) 14:48:54.18ID:WR1YxfAx0
軽量でも動く設定いれて軽いモデル入れれば動くやつもあるよって感じかな
もうちょい調べてお試ししてみるわ、あんがと
0735名無しさん＠ピンキー (ﾜｯﾁｮｲ 72c7-3e1D)2026/01/13(火) 14:50:40.63ID:i0hzGkdj0
qwenやgpt-ossなどMoEだとGPUは1枚で十分
MoEはGPUの枚数増やすと性能が低下しちゃうんだよな
モデルを全部VRAMに載せられるならGPUの複数枚挿しもありだね
0737名無しさん＠ピンキー (ﾜｯﾁｮｲ 07d7-NCp1)2026/01/13(火) 20:35:24.00ID:q/F/NBED0
ryzen haloってのはcpuオンダイメモリなん？
この時代マザーにポン付けで128GBもあって何かそこそこに動いたらええなあ
0739名無しさん＠ピンキー (ｽﾌｯ Sd12-vlRz)2026/01/14(水) 10:44:57.16ID:YwnyDflyd
>>726
あいつらレビューや批評はしないしな
この動画生成AIはアニメ動かしてもまともな挙動してくれないとか、そういう大切な情報ほどまったく出さない
0740名無しさん＠ピンキー (ﾜｯﾁｮｲ 3eb3-/Z1g)2026/01/14(水) 10:56:25.16ID:py2XGvmY0
一般向けでこんなに高騰するんじゃ企業向けの高騰も時間の問題だよな
使うのにコストが掛かるんじゃ回収もキツくなるし流石に小型化が進みそう
0741名無しさん＠ピンキー (ﾜｯﾁｮｲ e36a-SydR)2026/01/14(水) 11:58:16.52ID:TaHgEtC40
そう言えばなんで高騰してんの？
0742名無しさん＠ピンキー (ﾜｯﾁｮｲ 3e27-5de0)2026/01/14(水) 12:33:36.64ID:EtnTl6+W0
OpenAIが数年分のメモリの大量発注かける
↓
メモリの生産ライン圧迫されて品薄になるのでは
↓
今のうちに在庫確保せなって皆が買い占めに走って高騰

メモリの会社が生産ライン増やせばいいという話でもなくて
工場作るには数年かかるし、その後に需要が減ったらメモリ会社が大損するから慎重になる
メモリ業界って相場の乱高下で体力無い会社から死んでるし迂闊に動かんのよ
0743名無しさん＠ピンキー (ﾜｯﾁｮｲ 7258-oSIQ)2026/01/14(水) 14:13:22.39ID:xTKgHKvP0
DRAM事業はハイリスクハイリーターンだからな
ちょっと投資ミスるとすぐ倒産する
0744名無しさん＠ピンキー (ﾜｯﾁｮｲ 6f32-5de0)2026/01/15(木) 00:13:04.65ID:lvLdrOG20
破滅的忘却のせいでAIの性能に限界が出てくる
↓
MoE発明、モデルが巨大化する代わりに破滅的忘却の影響を軽減、劇的な性能アップに成功
↓
OpenAI、Google、AnthropicなどのAI企業が立て続けにAIデータセンター建設を開始
↓
OpenAIが先んじて数年分のメモリの大量発注かける
↓
HBMを輸入できない中国と値上がり情報を得た転売屋がDDR5メモリを買い占める
↓
今のうちに在庫確保せなって皆が買い占めに走って高騰

ここまで書かないと「OpenAIが、サム・アルトマンがすべて悪いんだ〜」みたいな奴が増えかねないよ
0746名無しさん＠ピンキー (ﾜｯﾁｮｲ 6f32-5de0)2026/01/15(木) 01:11:44.54ID:lvLdrOG20
>>745
OpenAIの買い占め報道でOpenAIを悪者にしてる奴が大量発生してるじゃん
OpenAIが買い占めなかったら競合AI企業が買い占めてただけなのに
あと、なぜAIに大容量メモリが必要になったのかを知らない人がいるかもしれない
0747名無しさん＠ピンキー (ﾜｯﾁｮｲ 520e-btwR)2026/01/15(木) 01:12:33.18ID:gJr7NyHH0
>>744
いやgpuの製造はopenaiの仕事じゃないから普通にopenaiが悪いよ
あと2年以上前からmoeやってるしmoe化が進んでなかったらスケーリングでごり推すんだから今以上にデータセンター必要だぞ
0748名無しさん＠ピンキー (ﾜｯﾁｮｲ 666d-uqmN)2026/01/15(木) 01:28:49.76ID:xG0eF0dQ0
ま、人類に与えられたリソースを食い潰す速度がとんでもなく加速してるって事よ
今生きてる人間にとっては楽しくて良い事だから遊びまくるしかねー
0749名無しさん＠ピンキー (ﾜｯﾁｮｲ 6f32-5de0)2026/01/15(木) 01:41:46.91ID:lvLdrOG20
>>747
MoEの理論自体は2013年発表だから時系列はおかしかったけど
Denseモデルでスケーリングごり押しができなくなったからMoE化が始まった認識であってるはず
Denseモデルはパラメーターを増やすと演算量が増えて遅くなる問題もあるから
0750名無しさん＠ピンキー (ﾜｯﾁｮｲ 7209-Bs3R)2026/01/15(木) 01:53:48.85ID:43plYfkx0
べつにリソースを食い潰してるわけではないだろ
急激に需要が伸びたから不足しただけでスケーリングはできる分野だぞ
0751名無しさん＠ピンキー (ﾜｯﾁｮｲ 520e-btwR)2026/01/15(木) 01:59:33.12ID:gJr7NyHH0
>>749
gpt4の時点からmoe使ってるってさんざん言われてたろ
多エキスパート小アクティブが進んだならわかるけどさ
ウエハの買い占めだって競合に嫌がらせしてnvidia相手に値切りたいだけだよ
0752名無しさん＠ピンキー (ﾜｯﾁｮｲ 6f32-5de0)2026/01/15(木) 02:23:10.99ID:lvLdrOG20
>>751
別にChatGPTだけじゃなくAI全体的な話なんだけどな
画像/動画生成も新世代モデルはMoE化してるし

OpenAIとNVIDIAの内部交渉的なことは情報がないのでわからん
あなたの妄想？
0753名無しさん＠ピンキー (ﾜｯﾁｮｲ d320-UF1D)2026/01/15(木) 06:28:50.54ID:85Oqk5Iu0
誰のせいかと言えばトランプ関税のせいでしょう
気まぐれで関税が倍になる時代なんだから全員に先行して押さえておくインセンティブが発生してしまう
誰がやったか全く関係ない
0754名無しさん＠ピンキー (ﾜｯﾁｮｲ b6a0-5de0)2026/01/15(木) 07:51:01.90ID:wIvUhweV0
旧世代回帰で、得をするのはインテルだな、いいね、13世代14世代なんてなかった。インテルの主力は12世代。
もうＤＤＲ３まで戻るって話もあるし、win11もいらなかったな
0756名無しさん＠ピンキー (ﾜｯﾁｮｲ 07ee-YDYy)2026/01/15(木) 08:16:20.78ID:Z7oUQcFB0
今SSDもヤバい事になってきてんだよね
サンディスクが前代未聞の1〜3年分のSSD代の前払いを要求とかなんとか
こっちも需給が崩壊しつつあるみたい
0757名無しさん＠ピンキー (ﾜｯﾁｮｲ e36a-SydR)2026/01/15(木) 11:15:13.47ID:4efICQPX0
だいたい悪いことは中国のせい
だからコレもそう
買い占めてるとかじゃねえの？
0759名無しさん＠ピンキー (ﾜｯﾁｮｲ 7e1c-zzHJ)2026/01/15(木) 17:08:12.65ID:1G9XiyS30
>>751
ウエハ買い占めは事実誤認
OpenAI批判以前の問題
自分がデマ信じ込んでるアホということを自覚したほうがいい
0760代行 (JP 0Hee-U7y1)2026/01/15(木) 20:54:56.64ID:7dBSkyyoH
【本文】↓

LMSTUDIOで少し前までqwen3-vl-8b-nsfw-caption-v4.5でNSFWの質問に回答してくれていたのですが、今試すと
I'm sorry, but I can't fulfill this request.
The content you're asking for is not appropriate and violates my safety guidelines.
If you have any other questions or need assistance with something else, feel free to ask!
という回答が返ってきました。これは設定の問題でしょうか
0761名無しさん＠ピンキー (ﾜｯﾁｮｲ 36a9-5de0)2026/01/15(木) 22:15:54.78ID:CTmaQDBZ0
llamacppで数日前にqwen3-nextの1〜2割高速化のパッチが当たってたみたいやで
ただしGGUFも新しく作り直されたものを使う必要あり
unslothはもう新しいのだしとったけどqwen公式は古いままやな
0763名無しさん＠ピンキー (ﾜｯﾁｮｲ 6fc6-SzXM)2026/01/16(金) 09:18:02.88ID:hP+canZw0
今ってVRAM16GB RAM64GBで動くエロいLLMモデルやとなにがええんや？
ワイの設定のせいやと思うんやがkoboldcppでamaterasuは十数秒に１ワードで使い物にならんかったわ…
BerghofとMistral-Smallしか使ってない感あって持て余し気味や
0765名無しさん＠ピンキー (ｵｯﾍﾟｹ Sr17-SydR)2026/01/16(金) 10:11:42.86ID:GfBjxY3wr
メモリ64gb積んでんなら行けるじゃん
0769名無しさん＠ピンキー (ｽﾌﾟﾌﾟ Sd12-UW4l)2026/01/16(金) 11:42:22.06ID:RzBIoy0Nd
RAM64GBだと、50GBクラスのモデルはctx8192とかにしないと厳しいかもね。
0770名無しさん＠ピンキー (ﾜｯﾁｮｲ ff10-KtG4)2026/01/16(金) 12:42:42.95ID:OlPZQfK10
DRAM活かすならMoEモデルだから確かにこのへんか
/mradermacher/Qwen3-Next-80B-A3B-Instruct-abliterated-GGUF
30Bは全然エロで出てこなくて画像解説させるためにVLの解除版使っても全然ダメだったんだけど
Next 80Bはエロ自体の学習はしてる感じなんだな
繰り返しペナルティ強めてるせいでどんどん言い換えてくるの面白い
0771名無しさん＠ピンキー (ﾜｯﾁｮｲ 7236-YDYy)2026/01/16(金) 12:48:45.28ID:SL230Bd20
コンテキスト長を増やすとどんどん性能が落ちるのは最新モデルでも変わらないので小説やロールプレイなどの用途では128K対応モデルだろうと8192推奨みたいやで
用途に合わせて仕方なく12Kやそれ以上にしてねって感じ
0772名無しさん＠ピンキー (ｵｯﾍﾟｹ Sr17-SydR)2026/01/16(金) 16:39:20.54ID:GfBjxY3wr
エロエロ特化のllmレンタルなら商売になるんでは？
0774名無しさん＠ピンキー (ﾜｯﾁｮｲ 07d0-gOcD)2026/01/16(金) 19:53:46.01ID:0byVmzBK0
macのlm-studioでしか試してないけど

1. モデルをダウンロード
2. フォルダーマークでダウンロードした translategemma-27b-itを探して、右の歯車クリック
3. Loadタブのコンテキスト量はmaxにした(8192では試してない)
4. Prompotタブの上 (Jinja)のところを下に入れ替える(---は無視)

---
{{- bos_token }}
{%- for message in messages %}
{%- if message['role'] == 'system' %}
<start_of_turn>user
{{ message['content'] }}


{%- elif message['role'] == 'user' %}
{{ message['content'] }}<end_of_turn>
<start_of_turn>model
{%- elif message['role'] == 'assistant' %}
{{ message['content'] }}<end_of_turn>
{%- endif %}
{%- endfor %}
---
0775名無しさん＠ピンキー (ﾜｯﾁｮｲ 07d0-gOcD)2026/01/16(金) 19:54:30.69ID:0byVmzBK0
「システムプロンプト」欄に

---
You are a professional English (en) to Japanese (ja) translator.
Your goal is to accurately convey the meaning and nuances of the original English text while adhering to Japanese grammar, vocabulary, and cultural sensitivities.
Produce only the Japanese translation, without any additional explanations or commentary. Please translate the following English text into Japanese:
---

lm-studio再起動、モデルを指定

あとはチャット欄に英文を入れるだけ。Jinjaのプロンプトで2行空行は必須。
0777名無しさん＠ピンキー (ﾜｯﾁｮｲ 3e9f-vlRz)2026/01/16(金) 20:05:48.58ID:ZwE9wbul0
今の俺にはRAM256GBは夢のまた夢だが、RAM256GB積めばGeminiと遜色のない小説文章を出力してくれる？

Geminiは0から生み出すというよりも、元の殴り書きから小説文章を生み出すのに秀でているが、これがローカルLLMでも出来たら強いなあと
0781名無しさん＠ピンキー (ﾜｯﾁｮｲ 3e9f-vlRz)2026/01/16(金) 21:32:43.81ID:ZwE9wbul0
>>779
Gemini2.5fでも魅力的だが、その場合は256GB？
0782名無しさん＠ピンキー (ﾜｯﾁｮｲ 36a9-KoMk)2026/01/16(金) 22:00:31.51ID:khTupJvD0
GLM4.7を想定して書いたけども
もとにしたベンチマークはおそらくbf16で動いてるやろうから1TBになるやね

Q8ならおそらくそこまで劣化ないやろうからほぼ同等の性能が512GBでおそらくいける
それより下の量子化になるとベンチマークでは数値下がってくると思うやで
0783名無しさん＠ピンキー (ﾜｯﾁｮｲ 662b-uqmN)2026/01/16(金) 22:28:03.19ID:2veUatO60
ノベルAIがGLM4.6だっけ？ゲミニと比べたらゴミみたいなもんだし厳しいな
0786名無しさん＠ピンキー (ﾜｯﾁｮｲ 936a-viuJ)2026/01/17(土) 14:28:23.25ID:sdnCrY5o0
2.5てポンコツ
0789名無しさん＠ピンキー (ｽｯﾌﾟｰ Sd9f-J81O)2026/01/17(土) 18:43:32.72ID:pu1J5etdd
koboldcpとSillyTavernでロールプレイやってるんだけど少しガード固めのモデルないかな
今はjapanese textgen moe 2x7b nsfwってやつが一番いい感じなんだけど
ずっと同じだと飽きるんでこれに似た感じのないかな
aratakoのrobinhoodとかMistralPrism-24Bとか使ってみたんだけど
すぐエロモードに入ってあんまり面白くないんだよね
１０G前後の軽いやつで何かいいのないかな
0791名無しさん＠ピンキー (ﾜｯﾁｮｲ bf9f-ryvZ)2026/01/18(日) 03:15:55.40ID:T+e6cVxF0
>>787
コスパはそうなんだろうけど、クラウドサービスである以上いつでも規制きつくなるしな。GPT5.2はそれで死滅した。

多少お金掛かってもローカルで実現できるならそれに越したことはない
0793名無しさん＠ピンキー (ﾜｯﾁｮｲ 27a0-J81O)2026/01/18(日) 09:05:59.40ID:eTm5xaVj0
チャッピーってエロ抜きの美しい文章を書くことしか、他のLLMに勝ってないな

基本、Geminiの方が全体的にすごい、エロならGrok、エクセルとかで便利なコパイロット
0798名無しさん＠ピンキー (ﾜｯﾁｮｲ c35b-/IBL)2026/01/19(月) 01:16:22.59ID:r6HfMQ9p0
半年ぐらい前にQwen-235B-A22B-Instruct-2507の性能に度肝を抜かれた以来なんですが
今アツいモデルあったら教えて欲しいです
環境はVRAM24GB、DRAM96GB
LMStudio愛用のローカルLLM初心者です
0799名無しさん＠ピンキー (ﾜｯﾁｮｲ 936a-viuJ)2026/01/19(月) 08:31:32.04ID:NDOT6mQm0
てめえ、初心者気取った熟練工だろ
0801名無しさん＠ピンキー (ﾜｯﾁｮｲ df88-mrDK)2026/01/20(火) 05:17:18.48ID:hwv83Gyg0
GLM 4.7 Flashが来た
30B-A3Bらしい
0803名無しさん＠ピンキー (ｵｯﾍﾟｹ Srdf-viuJ)2026/01/20(火) 12:54:03.23ID:JCxxLgksr
a3bはちょっと
0806名無しさん＠ピンキー (ﾜｯﾁｮｲ e7a9-0bv4)2026/01/20(火) 14:02:03.80ID:GvRoLOjd0
glm4.7flashはqwen3-30b-a3bとgpt-oss-20bに対して全領域で明確に上回っとるのか
後発だから当たり前ではあるんやけどこのサイズじゃこの2つが今まで長い間幅利かせとったから
ようやくいい感じの次世代がでてきたという感じやな
新着レスの表示
レスを投稿する

ニューススポーツなんでも実況