0001名無しさん＠ピンキー 転載ダメ (ﾜｯﾁｮｲ fec0-xVEZ)2025/08/23(土) 13:52:18.71ID:5lw7ZcNF0
0771名無しさん＠ピンキー (ﾜｯﾁｮｲ ee05-dW62)2025/11/05(水) 14:04:24.59ID:OoD41Q4X0
grokはllmエロいけるしチャッピーもそのうち解禁だからローカルllmの意義が減ってきてる気がするんだが、このスレ的には何に使ってるの？
0772名無しさん＠ピンキー (ﾜｯﾁｮｲ 3ef9-mzUR)2025/11/05(水) 15:07:28.71ID:TA+WwrEg0
俺はローカルllmやるで
もはやエロ関係ない(脱獄すればできるし)
ポテンシャルがえぐいんよローカルllmは
0773名無しさん＠ピンキー (ﾜｯﾁｮｲ ee05-dW62)2025/11/05(水) 15:38:08.65ID:OoD41Q4X0
そうなんか、そう言われるとやってみたくなるな。
5090は近々買う予定なんだけどこれで足りる？nvidia 同士なら分割処理できるみたいだし、でかいモデル用に3060 12g一つ買い足しておいた方がいいかな。ラデオンとの分割は無理っぽいよね。
ローカルで動かすことそのものが目的みたいなところはある
あとはまあ、うちの子（AI）はローカルで完結させておきたいし
0775名無しさん＠ピンキー (ﾜｯﾁｮｲ 3ef9-mzUR)2025/11/05(水) 15:59:53.25ID:TA+WwrEg0
>>773
まんま同士だw
実は俺ももう5090買うところなんだよ
俺個人はグラボ2枚刺しは今のところはやるつもりない、けっこう熱とか電力とか食うみたいだし
まあ動かしたいモデルにもよると思うけど…
ちなみに購入サイトとかまだ決まってなかったら、フロンティアではDDR5メモリ128増設で73万くらいで割りと安く買えるからおすすめかも パーツ高騰でもう買い替え無理だし
今のメモリ128GBVRAM24GBで5年は戦うしかない
MoE技術の進化が末端まで降りてくることに期待してわたし待つわ
今からやるならPCを分けたほうがいいと思うよ
少し上の方にも書いてあるけどLLM専用としてMac Studio >>721
画像生成用として5060Tiか5070TiあたりのPCを使うとかさ
まぁ、どれくらい本気でやりたいか、どっちを優先したいかだよね
少しやってみたい程度なら5090は十分すぎるけど本気でやりたいならMac Studioには勝てない >>773
llama.cppのrpcならnvidiaとamdの分割処理もいけるよ 0781名無しさん＠ピンキー (ﾜｯﾁｮｲ 1a49-Sqr1)2025/11/05(水) 17:20:15.77ID:42QIU+Bf0
GLM4.6をフルサイズで動かしたいよなあ
0782名無しさん＠ピンキー (ﾜｯﾁｮｲ eeca-dW62)2025/11/05(水) 17:40:09.17ID:OoD41Q4X0
>>775
いいね。俺は事情で月末になるけど参考にさせてもらうわ、ありがとう。グラボ2枚はややこしいよなやっぱ。
>>776
たりないのか、一体いくらvram あれば実用できるんだ…
>>779
rpc か、結構ややこしそうだね、ありがとう。
>>774
ちなみにどんな子育ててるん？育て方もよくわかってないけど、育ててみたい意欲はあるんよね。 高密度モデルだと5090を活かしきれるモデルではメモリが圧倒的に足りない
32GBに収まるモデルだと5090活かしきれないというジレンマ
MoEだとメインメモリに律速されるのでGPUはそれほど変わらない
LLM目的なら5090は正直おすすめしない
0784名無しさん＠ピンキー (ﾜｯﾁｮｲ 2aad-mzUR)2025/11/05(水) 18:38:48.77ID:STqbQ0mh0
やっぱmac studioになるのか？
それか30902枚か
>>784
200B以上のMoEを最低限の速度でも良いから動かしたいというならmac studioが良いんじゃね プロンプト処理速度は遅いけどdeepseek系でも20t/sくらい出るらしいし
逆にVRAM48GB構成は100BクラスのMoEも載り切らないし、70Bクラスのdenseモデルが最近出てないから微妙になってきてる 0786名無しさん＠ピンキー (ﾜｯﾁｮｲ 3a65-mzUR)2025/11/05(水) 19:06:03.33ID:a6vKzf2f0
0787名無しさん＠ピンキー (ﾜｯﾁｮｲ 3a65-mzUR)2025/11/05(水) 19:12:26.96ID:a6vKzf2f0
あっもしかしてDGXとおなじやつかコイツ
RTX xx90系を2枚刺しはあまり現実的ではないよ
1枚で3〜4スロットの厚みがあるし長いからE-ATXくらいのクソデカマザーか外付けじゃないと物理的に取り付けられない（ケースも無理そう）
電源は最低でも1500Wくらいで12V-2x6が2つ必要（それかデュアル電源）
一般家庭は「壁のコンセント」が1500Wまでだから実質的にエアコンみたいな専用コンセントが必要
そして爆音爆熱
xx90系はかなり特殊だから一度しっかり調べたり実物を見に行ったほうがいいよ
0789名無しさん＠ピンキー (ﾜｯﾁｮｲ eeca-dW62)2025/11/05(水) 19:58:28.59ID:OoD41Q4X0
複数台マシンで分散させて動かすのはあんま流行ってないかんじ？
正直ポテンシャルはエグくないと思うけどなー
vram32gb1枚刺しで見られる夢は小さいぞ
0791名無しさん＠ピンキー (ﾜｯﾁｮｲ 3a65-mzUR)2025/11/05(水) 20:30:02.89ID:a6vKzf2f0
うーん775だけどmac再燃しはじめたな
まあゆっくり考えよう
M5は来年だっけ
4090x1と3090x3で運用してるけどリミットかけたうえで1500W電源でギリギリだな
ケースに収めることは最初から放棄してライザーカードでにょきにょき生えてる
0793名無しさん＠ピンキー (ﾜｯﾁｮｲ 7ee0-Rqlm)2025/11/05(水) 23:39:59.89ID:rQAQGwZ50
ええ!?RTX5090を複数刺ししたいって!?
そんなあなたにINNO3DR GeForce RTX™ 5090 iCHILL FROSTBITE
......どう考えてもコンシューマー向け製品じゃないよコレ
0794名無しさん＠ピンキー (ﾜｯﾁｮｲ 3a53-mzUR)2025/11/06(木) 00:06:48.98ID:H0Wl2rhX0
CUDA互換を取るか…
デカモデルを取るか…
MacはM5チップ世代からGPU側に搭載したNeuralAcceleratorでようやくまともなfp16性能が出るようになったんで、今からならM5MaxやM5Ultraを搭載するであろう新型Mac Studioを待ったほうが良いと思われる
0796名無しさん＠ピンキー (ﾜｯﾁｮｲ 660e-mzUR)2025/11/06(木) 01:05:24.51ID:k5cM56Dk0
Mac m3 って96gbメモリでもファインチューニングとかできるんかな
0797名無しさん＠ピンキー (ﾜｯﾁｮｲ 13e7-nV2F)2025/11/06(木) 06:07:26.21ID:4cAqsVGl0
5090複数枚狙うぐらいならQuadro系統の方が良くないか?今度出るRTX5000PROが72GBのはずだし。
aquif-ai/aquif-3.5-Max-42B-A3B
日本語対応でなんかえらいスコアええのぉ
5090ってどれくらい電気使うの？１０００Wじゃ足りない？
5090の1枚だとLLM用途には非力
大きいモデルを動かすにはMoEになるけどメモリが遅いせいで、5090がフルパワーになることなんてほぼない
200Wから300Wの間で、いいとこ200W付近だな
動画・画像生成ならOC無しで575W付近だな
あと電源は複数構成にしてて、RTX5090専用に1000Wを用意してる
>>797
俺もそう思う
あとRTX Pro 5000じゃなくて6000もう出てないっけ 0803名無しさん＠ピンキー (ﾜｯﾁｮｲ ef3f-mzUR)2025/11/06(木) 12:42:12.94ID:lMCuk1c10
モデルを学習させたいのならRTX、
大きいのを推論させたいだけならMACでしょう
0804名無しさん＠ピンキー (ﾜｯﾁｮｲ eeca-dW62)2025/11/06(木) 14:03:53.68ID:5ogRukTi0
みんな一体何を推論させてるんだ…夢は感じるけど具体的に何しようか自分でははっきり定められない。
0806名無しさん＠ピンキー (ﾜｯﾁｮｲ 3a1a-mzUR)2025/11/06(木) 15:04:13.91ID:H0Wl2rhX0
やっぱ推論だけじゃなくて学習させたいよなー
0807名無しさん＠ピンキー (ﾜｯﾁｮｲ 1a49-EU/t)2025/11/06(木) 15:12:09.62ID:BwdvnsPb0
学習させようとなるとローカルではさすがにきびしい
サーバーレンタルしたほうが絶対にいい
LoRAとRAGならRAGの方が難易度高いんだよね？Super RAGだかって簡単にやってるけど、あれはLoRAじゃないの？
RAGはそもそも学習させてるわけじゃないし単にベクターストアとかに格納した内容を参照させてるだけだから別に難しいこともなくない？
0810名無しさん＠ピンキー (ﾜｯﾁｮｲ 3a1a-mzUR)2025/11/06(木) 16:14:40.70ID:H0Wl2rhX0
難しいのかぁ
べつに30Bくらいのを学習できるとは思ってないけど、ちっちゃいのでもやれるといいけど
RAGのことも勉強しなければ
0811名無しさん＠ピンキー (ﾜｯﾁｮｲ 13e7-nV2F)2025/11/06(木) 17:25:25.55ID:4cAqsVGl0
>>802
Ti SUPER相当のシリーズがRTX Proでも来るってリークあったんよ。そっちの5000PROが72GBという話。6000PRO SUPERが来るならワンチャン128GBもあるかもしれへんね >>804 OpenHands とかで「改良しつづけよ」という雑なプロンプトで自動的にプログラムを改良してもらってる
時間かかるし、途中自分でスナップショットとって失敗に気づいてgit巻き戻して、と人間臭くて笑ってしまう
何度も失敗するから有料API使うと目の玉飛び出す金額になってしまうから、こういう用途はローカル向き
M4 Max 128G でVRAMに120GByte回してるから、python側(推論しない)は mbpで回している
120GByteでギリギリだよ。96Gだと頭の悪いLLMしか動作させられなくて結局成果物ができない
AI Max+ は Linuxなら120GByteくらい回せるらしいからワンチャン動く 0813名無しさん＠ピンキー (ﾜｯﾁｮｲ 3a5c-mzUR)2025/11/06(木) 21:22:16.20ID:H0Wl2rhX0
96でも頭わるいのかぁ困ったな
金がいくらあっても足らん
今のM3はファインチューニング向いてないらしいけど、M5出たらそこも改善されるといいなあ
複数枚とか考え出すとgpuクラウドが輝いて見えだすしローカルは険しいよ
有名なYoutuberがGPU8枚挿しでローカルLLM動かしてた気がする
クラウドで微調整するにしても最低3090以上のローカルGPUも欲しい
学習設定やデータセットをテストを小さいモデルでやるにしても全部クラウドでやると無駄に金いくらあっても足りないし微調整後の推論は結局ローカルGPUだし
火出そうって・・・
マイニング流行ってた頃はパワーリミットしてたとは言え、20枚挿しも珍しくなかったんだから8枚挿しくらい余裕だろ
マンションとかならともかく一軒家ならブレーカー落ちることないし
マイニングとか何世代前だよ
最近ので8枚とか普通に暖房だろ
業務用サーバーレベルだぞ
昔のGPUなら８枚でも良かったが5090を８枚なら燃えると思うｗ
普通の個人はパイプライン並列だろうし電源は意外と余裕ある
うちは300W gpu x2が650W電源で働かされてる