なんJLLM部 避難所 ★10
!extend:checked:vvvvv:1000:512
!extend:checked:vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★8
https://mercury.bbspink.com/test/read.cgi/onatech/1746883112/
なんJLLM部 避難所 ★9
https://mercury.bbspink.com/test/read.cgi/onatech/1755924738/
VIPQ2_EXTDAT: checked:vvvvv:1000:512:: EXT was configured >>646
aratakoさんのqwen3-30B-A3B-ERPとMistralPrism 新品の３０６０をいくらなら買う？10万出すやついる？ VRAM小さすぎてそもそもLLMでは使えないかと
その話はゲームとかそういう用途かと 3060VRAM12GB×４＝48GB＋4090VRAM24GB＝VRAM72GBでLLM動かしてるけど 4090VRAM24GB×４だと電源がもたないのでは？ >>649
4枚さしでexpo1設定で5600にしてメモリチェック回して問題なかったけど
なんせクソ高かったから精神衛生上安くなってからexpoに戻そうと思います >>654
それ、4090+メインメモリと比べてどの程度速度出るんだろ？ 横からだが24GB以上必要で72GBに収まるモデルならCPUとかメインメモリ経由しなくて済むんだから全然違うのでは
LLMは画像生成みたいに1枚に乗せきらなきゃいけない制約ないし TITAN RTXがリース落ちで出回っていた頃に全部狩っておけば良かった
1台しか拾わなかったことが悔やまれる 4070Ti Super に 4060Ti(16GB)を増設しようと中古購入したぜ。
いざ届くとPCIeケーブルが足りないから電源ユニット追加注文したり、4060がマザボのコネクタに干渉することわかったからライザーケーブル追加注文したり
LLMのための工作はこれはこれで楽しいな mGPUなんて殆どやらなくなったし折角なら一度やっておくべきよね だからNVIDIAは高額なGPU一枚売るより、安価な3060を大量に売った方が儲かると考えたわけ NVIDIAにとってコンシューマ向けGPUなんて慈善事業
いつ辞めてもノーダメージ AIバブルにあぐらかくわけにもいかんやろ
ゲーマー市場キープしとかんと足元掬われるで
LLMの演算って専用チップ作った方が性能出せるってんで大手サービスは独自設計に移りつつある >>664
革ジャンはGrokを買ったからそっちでも勝つつもりや >>658
NVLINKみたいなのならともかくPCIが遅いから枚数が増えれば増えるほど効率が悪くなると思う
もし無尽蔵に早くなるならH100とか買わずに12や16GBのカード大量に買えば良いわけだが企業がそうしてないわけだし
多分限界があるんだと思う 実際どこに限界があるのかわからないけど >>663
AI特需で今は良いけど巨額を出して買ってくれてるのは世界で数社だけ
しかもGoogleなど自社でTPUを開発してそろそろ売り出しそうな勢い、お客がライバルにクラスチェンジする
特需と顧客がライバルになった時、他の市場を持ってないと長期ではかなり危ういんじゃない？
ただメモリとかすごく高いしPCそのものから人が離れたらどうするのかって問題はありそうだけど
AIに相談したらPCが高級品にになると、多くの人はスマホとかやすい端末でクラウド使うのが当たり前になるみたいな予想もあったけどな >663
今の立場で儲けを優先すること自体がメリットは少なくデメリットが山盛りの潜在的大ダメージ戦略でしょ
慈善事業をバンバンやらなきゃ独占禁止法が飛んでくる 中国、「日本の軍事力強化につながる」品目の輸出禁止 だってさ
メモリ不足とか中国の企業が想像以上に頑張って暴落するかと思ってたけどPC関連ますます下がらなくなりそうだな AMD製グラボでの画像生成AIが爆速になるComfyUIアップデートが配信、ROCm統合で生成速度が5.4倍に
https://gigazine.net/news/20260107-amd-comfyui-rocm/
期待できるか分からないけど色々出来るようになったらいいな radeonばっか使ってるけどllm方面じゃ理論値のrocm頑張るよりvulkanド安定なんよな ってのがこれまでの話だけどどうなるか
大差付くなら良いよね VRAMの数とCUDA対応かしか気にしてないけど、他に見る要素あるの？ やっとWindowsでrocm使えるようになったんだ
ところでCUDAは19年前から使えるんだけど今まで何してたん？ ROCmは元々AMD Instinctとかの業務用GPU向けだったから
コンシューマーしか使わないWindowsは眼中になかった模様
PCでローカルAIを動かすのが流行り出したのはほんの数年前の話 Rakuten AI 700Bか、なかなかやるな三木谷 