なんJLLM部 避難所 ★10
0001名無しさん＠ピンキー 転載ダメ (ﾜｯﾁｮｲ dfc7-Jvli)2025/11/23(日) 22:55:29.17ID:kt2SGedd0
!extend:checked:vvvvv:1000:512
!extend:checked:vvvvv:1000:512

AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降

本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★8
https://mercury.bbspink.com/test/read.cgi/onatech/1746883112/
なんJLLM部 避難所 ★9
https://mercury.bbspink.com/test/read.cgi/onatech/1755924738/
VIPQ2_EXTDAT: checked:vvvvv:1000:512:: EXT was configured
0720名無しさん＠ピンキー (ﾜｯﾁｮｲ 3365-NUe/)2026/01/12(月) 23:31:00.56ID:AZ66r3L40
ありがとう
LMstudioでスレに有ったqwen3〜ったので動かしてみた
期待した返答が来たけど、ちょっと速度が遅いな…
この辺はスペックをどうにかするしかないか
0722名無しさん＠ピンキー (ｵｯﾍﾟｹ Sr17-SydR)2026/01/13(火) 09:54:32.11ID:AHx2N4uir
slmが凄いとかいう風潮やめて欲しいわ
gpt5.2ですら怪しいときがあるんだからそれより少ないのが役立つわけがない
0723名無しさん＠ピンキー (ﾜｯﾁｮｲ b732-8cZs)2026/01/13(火) 10:39:18.45ID:gPGsq1yO0
そんな風潮あるか？
0724名無しさん＠ピンキー (ﾜｯﾁｮｲ 6f32-5de0)2026/01/13(火) 10:53:36.90ID:KI0ClFsj0
SLMは色々な用途で普通に役に立ってるし
性能が上がればさらなる小型化や同サイズでやれること増えるし
通信環境整えてサービスのAPIにつなげみたいな器材ばかりやないし
凄いの出てきたら開発も利用も用途増えるしすごいというよそりゃ
0725名無しさん＠ピンキー (ｵｯﾍﾟｹ Sr17-UF1D)2026/01/13(火) 11:14:32.58ID:Uk1lac2Cr
釣りタイトル文化に問題があるような
LFM2.5がすごい！という動画を拡散すると中身は見てないやつがすごいんだって記憶するという

LFM2.5は日本語が喋れるのに700MB！凄い！ってタイトルに入れてくれ
0728名無しさん＠ピンキー (ﾜｯﾁｮｲ 6f32-5de0)2026/01/13(火) 13:34:38.68ID:KI0ClFsj0
SNSで新しいAI情報を紹介してるだけみたいなのまでAI驚き屋といって叩いて煽ってる側が
有料でAIの本質情報教えますマンみたいなのだったりする時代
0729名無しさん＠ピンキー (ﾜｯﾁｮｲ c7a8-btwR)2026/01/13(火) 14:22:39.00ID:WR1YxfAx0
PC新調したしローカルLLM始めたいなと思ってスレ読んでたけど、割とグラボ複数でVRAM増強してる感じなんやね
グラボ1枚（VRAM16GB）だとローカルLLMはまだ難しい感じ？
0730名無しさん＠ピンキー (ﾜｯﾁｮｲ b732-8cZs)2026/01/13(火) 14:27:27.51ID:gPGsq1yO0
VRAM16GBでもMoEならそれなりに遊べる
0731名無しさん＠ピンキー (ﾜｯﾁｮｲ 7247-YDYy)2026/01/13(火) 14:29:25.64ID:/2Cg9zMf0
>>729
7B~14Bモデルならちゃんと動くよ
もちろんチャッピーなどオンラインモデルの性能を期待してはいけない
でも7Bってエロに関しては完全フリーだった頃のモデルばっかだから意外と楽しめる
0732名無しさん＠ピンキー (ﾜｯﾁｮｲ f232-+fC0)2026/01/13(火) 14:35:31.61ID:O7FR8Zm10
ちょっと前に比べたらvram16gbに乗り切って日本語ちゃんと返せるモデルが乱立してるのは劇的進歩ではあるよ
普通に使えるっちゃ使える
moeも出てきたし
0733名無しさん＠ピンキー (ｽｯﾌﾟﾌﾟ Sd12-PuTB)2026/01/13(火) 14:42:37.09ID:f0/mo2LTd
Qwen235bが出た時に速攻でメインメモリ128GB以上の環境を作れた奴が勝ち組

denseモデルだとVRAMかメインメモリかの2択になって大型モデルでGPUを全く活かせないからな
0734名無しさん＠ピンキー (ﾜｯﾁｮｲ c7a8-btwR)2026/01/13(火) 14:48:54.18ID:WR1YxfAx0
軽量でも動く設定いれて軽いモデル入れれば動くやつもあるよって感じかな
もうちょい調べてお試ししてみるわ、あんがと
0735名無しさん＠ピンキー (ﾜｯﾁｮｲ 72c7-3e1D)2026/01/13(火) 14:50:40.63ID:i0hzGkdj0
qwenやgpt-ossなどMoEだとGPUは1枚で十分
MoEはGPUの枚数増やすと性能が低下しちゃうんだよな
モデルを全部VRAMに載せられるならGPUの複数枚挿しもありだね
0737名無しさん＠ピンキー (ﾜｯﾁｮｲ 07d7-NCp1)2026/01/13(火) 20:35:24.00ID:q/F/NBED0
ryzen haloってのはcpuオンダイメモリなん？
この時代マザーにポン付けで128GBもあって何かそこそこに動いたらええなあ
0739名無しさん＠ピンキー (ｽﾌｯ Sd12-vlRz)2026/01/14(水) 10:44:57.16ID:YwnyDflyd
>>726
あいつらレビューや批評はしないしな
この動画生成AIはアニメ動かしてもまともな挙動してくれないとか、そういう大切な情報ほどまったく出さない
0740名無しさん＠ピンキー (ﾜｯﾁｮｲ 3eb3-/Z1g)2026/01/14(水) 10:56:25.16ID:py2XGvmY0
一般向けでこんなに高騰するんじゃ企業向けの高騰も時間の問題だよな
使うのにコストが掛かるんじゃ回収もキツくなるし流石に小型化が進みそう
0741名無しさん＠ピンキー (ﾜｯﾁｮｲ e36a-SydR)2026/01/14(水) 11:58:16.52ID:TaHgEtC40
そう言えばなんで高騰してんの？
0742名無しさん＠ピンキー (ﾜｯﾁｮｲ 3e27-5de0)2026/01/14(水) 12:33:36.64ID:EtnTl6+W0
OpenAIが数年分のメモリの大量発注かける
↓
メモリの生産ライン圧迫されて品薄になるのでは
↓
今のうちに在庫確保せなって皆が買い占めに走って高騰

メモリの会社が生産ライン増やせばいいという話でもなくて
工場作るには数年かかるし、その後に需要が減ったらメモリ会社が大損するから慎重になる
メモリ業界って相場の乱高下で体力無い会社から死んでるし迂闊に動かんのよ
0743名無しさん＠ピンキー (ﾜｯﾁｮｲ 7258-oSIQ)2026/01/14(水) 14:13:22.39ID:xTKgHKvP0
DRAM事業はハイリスクハイリーターンだからな
ちょっと投資ミスるとすぐ倒産する
0744名無しさん＠ピンキー (ﾜｯﾁｮｲ 6f32-5de0)2026/01/15(木) 00:13:04.65ID:lvLdrOG20
破滅的忘却のせいでAIの性能に限界が出てくる
↓
MoE発明、モデルが巨大化する代わりに破滅的忘却の影響を軽減、劇的な性能アップに成功
↓
OpenAI、Google、AnthropicなどのAI企業が立て続けにAIデータセンター建設を開始
↓
OpenAIが先んじて数年分のメモリの大量発注かける
↓
HBMを輸入できない中国と値上がり情報を得た転売屋がDDR5メモリを買い占める
↓
今のうちに在庫確保せなって皆が買い占めに走って高騰

ここまで書かないと「OpenAIが、サム・アルトマンがすべて悪いんだ〜」みたいな奴が増えかねないよ
0746名無しさん＠ピンキー (ﾜｯﾁｮｲ 6f32-5de0)2026/01/15(木) 01:11:44.54ID:lvLdrOG20
>>745
OpenAIの買い占め報道でOpenAIを悪者にしてる奴が大量発生してるじゃん
OpenAIが買い占めなかったら競合AI企業が買い占めてただけなのに
あと、なぜAIに大容量メモリが必要になったのかを知らない人がいるかもしれない
0747名無しさん＠ピンキー (ﾜｯﾁｮｲ 520e-btwR)2026/01/15(木) 01:12:33.18ID:gJr7NyHH0
>>744
いやgpuの製造はopenaiの仕事じゃないから普通にopenaiが悪いよ
あと2年以上前からmoeやってるしmoe化が進んでなかったらスケーリングでごり推すんだから今以上にデータセンター必要だぞ
0748名無しさん＠ピンキー (ﾜｯﾁｮｲ 666d-uqmN)2026/01/15(木) 01:28:49.76ID:xG0eF0dQ0
ま、人類に与えられたリソースを食い潰す速度がとんでもなく加速してるって事よ
今生きてる人間にとっては楽しくて良い事だから遊びまくるしかねー
0749名無しさん＠ピンキー (ﾜｯﾁｮｲ 6f32-5de0)2026/01/15(木) 01:41:46.91ID:lvLdrOG20
>>747
MoEの理論自体は2013年発表だから時系列はおかしかったけど
Denseモデルでスケーリングごり押しができなくなったからMoE化が始まった認識であってるはず
Denseモデルはパラメーターを増やすと演算量が増えて遅くなる問題もあるから
0750名無しさん＠ピンキー (ﾜｯﾁｮｲ 7209-Bs3R)2026/01/15(木) 01:53:48.85ID:43plYfkx0
べつにリソースを食い潰してるわけではないだろ
急激に需要が伸びたから不足しただけでスケーリングはできる分野だぞ
0751名無しさん＠ピンキー (ﾜｯﾁｮｲ 520e-btwR)2026/01/15(木) 01:59:33.12ID:gJr7NyHH0
>>749
gpt4の時点からmoe使ってるってさんざん言われてたろ
多エキスパート小アクティブが進んだならわかるけどさ
ウエハの買い占めだって競合に嫌がらせしてnvidia相手に値切りたいだけだよ
0752名無しさん＠ピンキー (ﾜｯﾁｮｲ 6f32-5de0)2026/01/15(木) 02:23:10.99ID:lvLdrOG20
>>751
別にChatGPTだけじゃなくAI全体的な話なんだけどな
画像/動画生成も新世代モデルはMoE化してるし

OpenAIとNVIDIAの内部交渉的なことは情報がないのでわからん
あなたの妄想？
0753名無しさん＠ピンキー (ﾜｯﾁｮｲ d320-UF1D)2026/01/15(木) 06:28:50.54ID:85Oqk5Iu0
誰のせいかと言えばトランプ関税のせいでしょう
気まぐれで関税が倍になる時代なんだから全員に先行して押さえておくインセンティブが発生してしまう
誰がやったか全く関係ない
0754名無しさん＠ピンキー (ﾜｯﾁｮｲ b6a0-5de0)2026/01/15(木) 07:51:01.90ID:wIvUhweV0
旧世代回帰で、得をするのはインテルだな、いいね、13世代14世代なんてなかった。インテルの主力は12世代。
もうＤＤＲ３まで戻るって話もあるし、win11もいらなかったな
0756名無しさん＠ピンキー (ﾜｯﾁｮｲ 07ee-YDYy)2026/01/15(木) 08:16:20.78ID:Z7oUQcFB0
今SSDもヤバい事になってきてんだよね
サンディスクが前代未聞の1〜3年分のSSD代の前払いを要求とかなんとか
こっちも需給が崩壊しつつあるみたい
0757名無しさん＠ピンキー (ﾜｯﾁｮｲ e36a-SydR)2026/01/15(木) 11:15:13.47ID:4efICQPX0
だいたい悪いことは中国のせい
だからコレもそう
買い占めてるとかじゃねえの？
0759名無しさん＠ピンキー (ﾜｯﾁｮｲ 7e1c-zzHJ)2026/01/15(木) 17:08:12.65ID:1G9XiyS30
>>751
ウエハ買い占めは事実誤認
OpenAI批判以前の問題
自分がデマ信じ込んでるアホということを自覚したほうがいい
0760代行 (JP 0Hee-U7y1)2026/01/15(木) 20:54:56.64ID:7dBSkyyoH
【本文】↓

LMSTUDIOで少し前までqwen3-vl-8b-nsfw-caption-v4.5でNSFWの質問に回答してくれていたのですが、今試すと
I'm sorry, but I can't fulfill this request.
The content you're asking for is not appropriate and violates my safety guidelines.
If you have any other questions or need assistance with something else, feel free to ask!
という回答が返ってきました。これは設定の問題でしょうか
0761名無しさん＠ピンキー (ﾜｯﾁｮｲ 36a9-5de0)2026/01/15(木) 22:15:54.78ID:CTmaQDBZ0
llamacppで数日前にqwen3-nextの1〜2割高速化のパッチが当たってたみたいやで
ただしGGUFも新しく作り直されたものを使う必要あり
unslothはもう新しいのだしとったけどqwen公式は古いままやな
0763名無しさん＠ピンキー (ﾜｯﾁｮｲ 6fc6-SzXM)2026/01/16(金) 09:18:02.88ID:hP+canZw0
今ってVRAM16GB RAM64GBで動くエロいLLMモデルやとなにがええんや？
ワイの設定のせいやと思うんやがkoboldcppでamaterasuは十数秒に１ワードで使い物にならんかったわ…
BerghofとMistral-Smallしか使ってない感あって持て余し気味や
0765名無しさん＠ピンキー (ｵｯﾍﾟｹ Sr17-SydR)2026/01/16(金) 10:11:42.86ID:GfBjxY3wr
メモリ64gb積んでんなら行けるじゃん
0769名無しさん＠ピンキー (ｽﾌﾟﾌﾟ Sd12-UW4l)2026/01/16(金) 11:42:22.06ID:RzBIoy0Nd
RAM64GBだと、50GBクラスのモデルはctx8192とかにしないと厳しいかもね。
0770名無しさん＠ピンキー (ﾜｯﾁｮｲ ff10-KtG4)2026/01/16(金) 12:42:42.95ID:OlPZQfK10
DRAM活かすならMoEモデルだから確かにこのへんか
/mradermacher/Qwen3-Next-80B-A3B-Instruct-abliterated-GGUF
30Bは全然エロで出てこなくて画像解説させるためにVLの解除版使っても全然ダメだったんだけど
Next 80Bはエロ自体の学習はしてる感じなんだな
繰り返しペナルティ強めてるせいでどんどん言い換えてくるの面白い
0771名無しさん＠ピンキー (ﾜｯﾁｮｲ 7236-YDYy)2026/01/16(金) 12:48:45.28ID:SL230Bd20
コンテキスト長を増やすとどんどん性能が落ちるのは最新モデルでも変わらないので小説やロールプレイなどの用途では128K対応モデルだろうと8192推奨みたいやで
用途に合わせて仕方なく12Kやそれ以上にしてねって感じ
0772名無しさん＠ピンキー (ｵｯﾍﾟｹ Sr17-SydR)2026/01/16(金) 16:39:20.54ID:GfBjxY3wr
エロエロ特化のllmレンタルなら商売になるんでは？
0774名無しさん＠ピンキー (ﾜｯﾁｮｲ 07d0-gOcD)2026/01/16(金) 19:53:46.01ID:0byVmzBK0
macのlm-studioでしか試してないけど

1. モデルをダウンロード
2. フォルダーマークでダウンロードした translategemma-27b-itを探して、右の歯車クリック
3. Loadタブのコンテキスト量はmaxにした(8192では試してない)
4. Prompotタブの上 (Jinja)のところを下に入れ替える(---は無視)

---
{{- bos_token }}
{%- for message in messages %}
{%- if message['role'] == 'system' %}
<start_of_turn>user
{{ message['content'] }}


{%- elif message['role'] == 'user' %}
{{ message['content'] }}<end_of_turn>
<start_of_turn>model
{%- elif message['role'] == 'assistant' %}
{{ message['content'] }}<end_of_turn>
{%- endif %}
{%- endfor %}
---
0775名無しさん＠ピンキー (ﾜｯﾁｮｲ 07d0-gOcD)2026/01/16(金) 19:54:30.69ID:0byVmzBK0
「システムプロンプト」欄に

---
You are a professional English (en) to Japanese (ja) translator.
Your goal is to accurately convey the meaning and nuances of the original English text while adhering to Japanese grammar, vocabulary, and cultural sensitivities.
Produce only the Japanese translation, without any additional explanations or commentary. Please translate the following English text into Japanese:
---

lm-studio再起動、モデルを指定

あとはチャット欄に英文を入れるだけ。Jinjaのプロンプトで2行空行は必須。
0777名無しさん＠ピンキー (ﾜｯﾁｮｲ 3e9f-vlRz)2026/01/16(金) 20:05:48.58ID:ZwE9wbul0
今の俺にはRAM256GBは夢のまた夢だが、RAM256GB積めばGeminiと遜色のない小説文章を出力してくれる？

Geminiは0から生み出すというよりも、元の殴り書きから小説文章を生み出すのに秀でているが、これがローカルLLMでも出来たら強いなあと
新着レスの表示
レスを投稿する

ニューススポーツなんでも実況