なんJLLM部 避難所 ★10
!extend:checked:vvvvv:1000:512
!extend:checked:vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★8
https://mercury.bbspink.com/test/read.cgi/onatech/1746883112/
なんJLLM部 避難所 ★9
https://mercury.bbspink.com/test/read.cgi/onatech/1755924738/
VIPQ2_EXTDAT: checked:vvvvv:1000:512:: EXT was configured 期待されてた新しいGemmaはGemma Scope 2なんか？ mistral large 123b を日本語エロファインチューンかけるにはメモリ256Gでも足りないかな？
aratakoさんはwebレンタルでやってるんだろか 5090+96GB RAMだと今どのモデルがコーディングに良いでしょうか？ 企業や学生さんが新しいパソコン買えずに困ってるのに、くだらん用途にたんまりリソース割り当ててる非国民のスレはここですか？ 愛国者が国にパソコンを献上する制度があれば皆喜んで差し出しますよ まだ完成品のPCは値上げしとらんからもう今が本当に最後のチャンスやぞ
1月から値上げ予告してるところある 震災を経験した世代は「買えるときに買わない奴が悪い」という資本主義を嫌というほど理解してる
情弱ノロマは誰も助けてくれない >>394
詳しく
神戸や東北の報道を見る限り、みんな助け合ってた風景しか知らない 震災直後の買い占めじゃない？
コンビニもスーパーも商品なんにもなくなったじゃない nemotoron100bはよ出してくれんかな
休みに入る前に出して欲しいんやが とりあえず、5090在庫ありだったからポチってしまった
納期未定ばかり見ていたから買ってしまった
今更だけど、LLMするにはどんなPC作ればLLMが5090の性能をしっかり引き出して動く？
最悪は今持ってるPC(4年型落ちだが128GB積んでる)とGPUと差し替えるつもりだけど
可能なら今風のPCを1台作ってやりたい、もしくはメモリや本体そのものをオクで買ってケチりたい
>>396
そういえば、混乱期は酷かったっぽいな まずマイニング用のフレームと1200Wの電源を用意します。 グラボ複数でVRAMを盛りましょう
盛れないなら妥協でメインメモリ盛りましょう
こんだけだよね、LLM用のPCって 32gbカード一枚だと微妙に選択肢広がらないんだよな 早いGPUは処理早いけど、LLMの場合、戦いはVRAM数だから
Stable Diffusionで早いGPUは意味が出てくる ソフト面が多様になるのが一番ありがたいんだけどまあ難しいわな Blackwell凄いアピールの時に使われたfp4はどうなったんだよ vllmはもう対応しとるみたい
llama.cppは2週間前にようやっとPR立ったみたいやね
まだ未マージ
https://github.com/ggml-org/llama.cpp/pull/17906 >>398
変換コネクタは使うなよ(;´Д｀)
５０万以下では来年買えそうにないから同じく買った >>301
Q5K_M以上も出してくれたんで試したが、たしかにQ4より出来はいいな
だが、なんというか意識高い系っていうか、エロなのになんか上品な小説に持っていこうとする傾向あるな
整合性についはもう一歩欲しい >>410
他所でも書いたが下品なエロを学習してないから話がどんどん脇道に反れる
中華モデルで顕著に見られる傾向
特にQwen系はすぐSFやメカ展開に持っていきたがるからプロンプトで明示的に抑制する必要がある
下品なエロや隠語をGrokあたりから抜いてプロンプト、LoRA、FTで移植しないと俺らが望むエロモデルにはならない >>409
PL80で使うから大丈夫だと思ってたけど、不安になったから
電源使い回し(コルセア9年目)でHDD沢山積んでるから、
Thermaltake PS-TPD-1200FNFAPJ-L
をポチってみた(AIに聞いたらこれすごく推してきた)
ただ4090ではGPU付属の変換コネクタ使ってるわ 4090も結構まずかったんだろうか
>>399-401
Define使ってるけどサイドを開けて空気清浄機の風当てようかと思ってる
ライザーカードに乗せるのかなり良さそうだね もう1台買おうかと思ったけど5090の在庫がなくってよかった
とりあえず、冷静になって、まずはローカルLLMの性能を使ってみた考えようと思う
あと、ちょびっツじゃないけど、AIを自宅で育てるというかいい感じに改良できないんだろうか？
最近、国分寺稔くんをやたらと思い出す あとKOTOも
ただレイアースの方が遥かに有名みたいでこのSFアニメしてる人が少ないっぽく残念
特に、最近Geminiの品質が向上しすぎてシステム無駄になりそうで不安ある
SDのエロLoRA素材(顔を赤らめてとか怒ってるとか作らせてる)作らせてるけどエロが無理だから素材だけどかなりいいものができてるわ
というかこれnswfで動かしたいがいつになったらローカルで使えるのやら
あとLLM、科学、経済など大学の教官並に詳しくて驚く、これいつになったらローカルで使えるのやら？ 追加学習は要求スペックと難易度が高いから海外勢も諦めムード
それに今はDenseモデルを弄るよりMoEモデルをそのまま使う方がいい結果になりやすい 知識（語彙も含む）の追加は学習で最も面倒でLoRAでは無理って言われてるね
だから海外のRPモデルは最初からそっちの知識が豊富なmistral smallとかnemoをベースにしてる koboldcppにKVキャッシュやレイヤー枚数などを自動で調整して
メモリ割り当てしてくれる機能が追加されたんですね GLM4.7来たね
ベンチマークだとGPT5.1くらいのスコアしてる 4.7はツールコーリングとかマルチモーダルとか、言語以外の部分の強化をしたみたいやな >>419
ローカルじゃないがChutesていうOpenAI互換プロバイダのAPIから使ってみた
多分入力の検閲はやってないとこのはず ローカルLLMもエロ規制が厳しくなって
過去モデルがオーパーツになったりするんやろか GLM4.7 Q5k_m
メモリ256Gに乗るかな？
使ってるニキいない？ >>408
これそろそろマージされそうやけど、これを機能させるには
mxfp4なgguf使う必要あるんやろか
2〜3割高速化するようやがQ4よりは精度は落ちるんやろかね >>423
使ってはないけどQ5kmは254GBモデルなので256GB環境に乗せるのは無理だ >>422
すでにQwQ-32Bがオーパーツ化しつつあるわ
Qwen3-32Bは微妙に日本語性能が落ちてるし
他の32B以下モデルもQwQを超える日本語性能は出せてないように思う >>425
そりゃメモリだけなら無理だけど、GPUも動かすなら多分いけると思うで このスレ民の評価ってどういう基準なの？
自分は動画生成用のプロンプト推論に使ってるので
ストーリー性は求めるがセリフは求めないって感じ
あとVRAM溢れさせるのがデフォな使い方しとるんか？
メインメモリで推論させてテキストで重厚なストーリー出力って感じ？ >>429
俺は日本語で自然なやり取りができるとか、複雑なプロンプトの理解力を見てるな
小説はほとんど読まない書かないから良し悪しがよくわからない >>423
ダウンロードしたら254GBあったけど、メモリ256GBでも普通に載ったわ
スワップなしでいけてる
ちなGLM4.7 Q5_K_XL GLM-4.7のUD-IQ1_S試したけど流石に質の低下が厳しくて実用は無理だな
でも素の日本語能力は高そう RTX6000とRTX5090はVRAMの量が全然違うのに処理速度はあまり違わないと聞いたけど
それなら1つのマザボにRTX6000x1にするよりもRTX5090x2にした方が処理速度は速いということで合ってる？
LLMの推論とかWanの動画の生成速度が倍近く速くなるならVRAMが少なくても後者の方が利点あるかなと思ったんだけど
最近の欠品状態で買えるかどうかは別として マルチGPUを並列に動作させて高速に、っていうのはnvlinkがあるならまだしもただのpcieだけやと難しいみたいやで テンソル並列で動かせればPCIe5.0のx8接続の2台でも1.8倍以上は出るよ
llama.cppよりはvLLMやik_llama.cppを使うのがいいけど >>431
おおいいね
コンテキストサイズはどれくらいまでいける？ なんとなく見始めた初心者なんやが4070tiで遊べるんか？
ゴツいグラボの話多くて震えてるわ >>434
>>436
思ってたほど単純には実装できなさそう…
情報サンクス >>437
コンテキストは全部GPUに振ってるからVRAM次第だけどRTX5090なら46Kまでいけた
以下参考
46K 30.7GB
32K 26.1GB
16K 20.4GB
8K 17.1GB
4K 16.0GB
2K 15.2GB
1K 15.0GB
KVキャッシュの量子化指定無し
LM Studioで確認 >>438
問題はVRAMの数だから3090も3060も現役で使えるよ
VRAMの数が少なかったら泣こう >>440
なるほどvramに割り当てればいいのか
自分はkobold使ってるけどFlash Attentionとかを使えばいけるかも
サンガツ そういや5090だとGDDR7になったから帯域幅は4090の2倍近いんだっけ
でもグラボに乗り切るサイズならどっちにしろ爆速だからやっぱVRAM量だけ気にしてれば十分なのか まず容量ではあるけどVRAM帯域の差もよく効くから気にしたほうがいい 5090(購入済み)で今新規にPCを組もうと考えてるんだけどメモリは何GB積めば良い？
DDR5諦めてDDR4なら中古で安く買えるからM/B悩む
あとCPUはどの程度買えばいいだろ？LLMって言うほどCPU使わないよね？ 今、メモリ買うのかい、夏まで１／５の値段だったのに >>445
MoEモデルをGPU＋CPUでもそれなりに速く動かせるようになって
メインメモリもあればあるほどいい、になっとる
メインメモリが128GBあればVRAM32GBと合わせてQ4のQwen3-235bがコンテキスト減らせば動かせるかもわからん
ワイはそんなハード持っとらんから確認したわけじゃないし実際に動くかはわからんけど やりたいことはやったらいいけど
古いPCに電源とGPUだけ載せ替えたら？ってくらい時期が悪い
DRAMはDDR4で32〜64GBでもかなりぼったくり
相性問題も起きるジャンルだから保証なしで高額商品に突撃するのはかなり冒険 メインメモリ128GBだとQwen3 235BのQ4は多分無理。Q3になると思う。
積むなら256GBだね。
今ならDDR4のxeonかスリッパでも普通にDDR5-256GB買うより安くなるんじゃね？
知らんけど。 今はLLMもAI画像もAI動画も最低128GBは欲しいところ >古いPCに電源とGPUだけ載せ替えたら？ってくらい時期が悪い
実は、それするつもりでGPUと電源まで買ったんだけど、いざしようとしたら細かな設定が多すぎて新しく1台作りたくなって今になって悩み始めてる
ボッタクリと言っても今後値上がりするならむしろ安いかと
色々な予想を見ても2027年までは下がらないという話が増えた
中古ならほぼ新品含めてまだ安くあるしDDR4の使えるM/Bも今ならまだ普通に買える DDR5もなんとか買える価格
MoEはMacだけかと思ってたけどWindowsでもそれなりにできるようになってるのか
それで実際どこまで早く動くんやろ？RAMってVRAMと比べて速度遅いし気になる、
あとここまでRAM上がると、場合によっては5090*2でVRAM32*2や他の型番のVRAM多いGPUを複数の方が安くて早いとかもありえるかね？
そういう意味でもRAMをどこまで上げるか悩む
SD(AI画像)やってるけど1280で後で4Kに拡大してるけど32GBで十分と感じてるわ
あと、RAMはVRAMと比べて極端に遅いから溢れて使うことはほぼ無いわ ちょっと前のMI50は今買うddr5より容量単価安かったな… 金有りそうだからryzenAI max+ 128GBにM.2からのoculinkで5090を接続するのを試してほしい メインメモリ128GB&VRAM24GBでQ4のQwen3-235bが動いとるで
Windowsが不安定だからUbuntu LinuxのLM Studioでやっとる 今ってデカいメモリ持ってる場合の最適なモデルってQwen-3-235Bなの？
それ基準で考えてる人多いけど >>455
そこらへんがGemini向けに配布されたエロプロンプトが一応動く最低ラインや >>455
メインメモリ256GB載せてGLM(358B)動かすってのもありかも分からん
さすがにここまで来るとMoEといえども10token/s切るみたいやが MiniMax M2.1
Gemini 3 ProやClaude 4.5 Sonnetを上回るスコアを記録 とあるけどウソくせー
Qwenもそうだったけど実際に使うとメジャー級とじゃ相手にならん
いつものごとく試験問題の答えを学習しているカンニングモデルの気配 単に日本語応答だと学習量足りなくて雑魚になってるだけかもよ
あと前モデルのMiniMax M2はRedditでもコーディング以外駄目な子扱いされてたな
そのコーディングも絶賛って程じゃなかったがクリエイティブライティングは特に評判悪かった記憶 >>445
5090おめ
ワイの場合は１か月前だが、5090を買うぐらいならより安い予算でメモリガン積みのPCを新調したほうが良いと思い、
PCIE5.0規格に合わせてCPU,M/B,SSD全部そろえた
結果128GB+16GBでQwen3-235B-Q3が動いて世界が変わったで
というわけで128GBの下は64GBになると思うけどそれだととても勿体ないと思うよ
それにメインメモリに乗せて動かすと、やっぱりCPUパワーもそれなりに使う様だよ
財力があるならDDR4にするとか古いGPU２枚差し(これもやった)とか、変にケチらんほうがええよ 古いPCでDDR4-128GB(今のPCのGPUを付け替える)にしようかと思ってたけどDDR5にすべき？
メモリってベンチマークでは差が出るけど実際にはDDR4・5変わらないって話を聞いて悩んでる
実際の所どうなんだろ？
>>460
ありがとう ちょっと出遅れたけどキャンセルになることなくなんとか買えてさっき置き配回収した
世界が変わった、そこまでか！DDR5早い？
>>453
取り合えすStable DiffusionがメインでLLMも気になってるくらいだからまだ出せないわ
今のGemini3とnanobababaの品質ならすぐにでも買うけど多分まだまだだよね
ただ、AIさんに来年にはローカルでも同程度になるかと聞いたら、昨今のLLMの進歩を見るとなる可能性が高いとい言ってたw
しかもメモリも節約できるタイプが出るみたいな話で大変楽天的だった
場合によってはそこそこのPCを買って待つのもありじゃないかと思ったりしてる 5090持っててやるべきは、動画生成系だと思うよ
Stable Diffusionの生成スピードが速くなるけど、別にできないわけじゃない >>461
DDR4もDDR5もLLM用途だと相対的に見ればたいした差はないよ
DDR5の新品だと今の状況だと2倍以上の価格差になるので128GBまででいいならDDR4にしてその価格差で容量増やしたほうが絶対にいい
というかDDR5の64GBの2枚が30万ってうぇぇぇ・・・・ Gemini liveが手軽なサイズでローカルに降りてくるのはいつになることやら 昔見たPCI-Ex16にM.2 SSDを四枚挿してRAID0でSWAPdisk？だったかでメインメモリの代わりにしてデカいLLMを動かすのがいいかもしれない
PCI-E 5.0なら理論上は512Gbpsの帯域幅あるけど実際のところどうなんだろうね
まあSSDも値上がってるけど DDR4もどんどん生産終了になっていくとか聞いたしメモリは27年まで枯渇しっぱなしだし
数年待てないなら早く買った方がええな こんな状況だから来年は省メモリに最適化したLLMが出てくれると嬉しいな 性能を上げるためにモデルを巨大化した結果、メモリ不足になったわけで
高性能かつ省メモリなモデルができるならメモリ不足も起こってないという でもエロ学習をどんどん弾くようになってるし自力で簡単にモデル作れる世の中になるまで絶望的な予感 >>470
今まではメモリが調達できる状態だったからその方針で進んでいただけで
調達できなくなったらそれに適応するように方針を変えるやろ
他の分野でも必要なものが調達できなくなってからようやくその部分を代替・効率化する技術が発展するとかよくある話だし DDR4を入手よりも対応するマザーボードの入手が難しい
CPUやメモリは耐久性高いんだがマザーボードは大量の部品の集まりで故障しやすく中古はハイリスク 条件付きとはいえDDR4の生産終了が延期するらしい
DDR4がレガシー化してるとは言え、この動きが続けば俺としてはありがたい・・・
Samsungが主要顧客と「キャンセル・返品不可」の契約を締結しDDR4の生産終了を延期
https://gigazine.net/news/20251225-samsung-ddr4-ncnr/ 5090と192めもりあるから何かに有効活用したいけどやっぱり動画生成に向き合うのがいいのかなあ 64GBx2の価格が上がりすぎて、静電気怖くてAI用PC弄れん。 5090あるなら32BくらいまではQLoRAできるし画像生成系でもSDXLのfull finetuningもできるし学習なら割と遊べる Mac買い替えるんだけど、流石に128GBとかは買えないから買えて64GBなんだけどローカルのモデル動かすには中途半端なサイズなのかな？
LLMのこと考えなければ64GBなんて全然いらないんだけど今あるRTX5060Ti+128GB(DDR4)の環境より早くなるならありかなって。。 LLM用途で64GBは後悔することはあっても満足することは無いと思うで うーむ。ようやく化石PCから新調したけど思ったより速度出ないな。
magnum123b iQ3k_mを旧PCで0.17t/s
同Q8_0を新PCで0.41t/s
うーん、なにか設定ミスったかな。まあ、CPUメモリだしなぁ >>431
そちらの環境では何t/sでてますか？
こっちは1.89t/sでしたわ
GLM4.7 Q5_K_XL 