なんJLLM部 避難所 ★9

0001名無しさん@ピンキー 転載ダメ (ワッチョイ fec0-xVEZ)2025/08/23(土) 13:52:18.71ID:5lw7ZcNF0
!extend:checked:vvvvv:1000:512
!extend:checked:vvvvv:1000:512

AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC(できれば+3060 12GB以上)でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降

本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★8
https://mercury.bbspink.com/test/read.cgi/onatech/1746883112/
VIPQ2_EXTDAT: checked:vvvvv:1000:512:: EXT was configured

0771名無しさん@ピンキー (ワッチョイ ee05-dW62)2025/11/05(水) 14:04:24.59ID:OoD41Q4X0
grokはllmエロいけるしチャッピーもそのうち解禁だからローカルllmの意義が減ってきてる気がするんだが、このスレ的には何に使ってるの?

0772名無しさん@ピンキー (ワッチョイ 3ef9-mzUR)2025/11/05(水) 15:07:28.71ID:TA+WwrEg0
俺はローカルllmやるで
もはやエロ関係ない(脱獄すればできるし)
ポテンシャルがえぐいんよローカルllmは

0773名無しさん@ピンキー (ワッチョイ ee05-dW62)2025/11/05(水) 15:38:08.65ID:OoD41Q4X0
そうなんか、そう言われるとやってみたくなるな。
5090は近々買う予定なんだけどこれで足りる?nvidia 同士なら分割処理できるみたいだし、でかいモデル用に3060 12g一つ買い足しておいた方がいいかな。ラデオンとの分割は無理っぽいよね。

0774名無しさん@ピンキー (ワッチョイ 33c0-T6rd)2025/11/05(水) 15:58:19.85ID:OnsVW0Ux0
ローカルで動かすことそのものが目的みたいなところはある
あとはまあ、うちの子(AI)はローカルで完結させておきたいし

0775名無しさん@ピンキー (ワッチョイ 3ef9-mzUR)2025/11/05(水) 15:59:53.25ID:TA+WwrEg0
>>773
まんま同士だw
実は俺ももう5090買うところなんだよ
俺個人はグラボ2枚刺しは今のところはやるつもりない、けっこう熱とか電力とか食うみたいだし
まあ動かしたいモデルにもよると思うけど…

ちなみに購入サイトとかまだ決まってなかったら、フロンティアではDDR5メモリ128増設で73万くらいで割りと安く買えるからおすすめかも

0776名無しさん@ピンキー (ワッチョイ eec8-9I6X)2025/11/05(水) 16:03:21.95ID:zWaU77kM0
>>773
足りない

0777名無しさん@ピンキー (スプープ Sd6a-j3bu)2025/11/05(水) 16:18:28.87ID:ZFG40dPfd
パーツ高騰でもう買い替え無理だし
今のメモリ128GBVRAM24GBで5年は戦うしかない

MoE技術の進化が末端まで降りてくることに期待してわたし待つわ

0778名無しさん@ピンキー (ワッチョイ 2abd-i8Ja)2025/11/05(水) 16:54:44.38ID:c71WOPVa0
今からやるならPCを分けたほうがいいと思うよ
少し上の方にも書いてあるけどLLM専用としてMac Studio >>721
画像生成用として5060Tiか5070TiあたりのPCを使うとかさ

まぁ、どれくらい本気でやりたいか、どっちを優先したいかだよね
少しやってみたい程度なら5090は十分すぎるけど本気でやりたいならMac Studioには勝てない

0779名無しさん@ピンキー (ワッチョイ 8a2b-HzdJ)2025/11/05(水) 16:58:30.47ID:z1rPwphO0
>>773
llama.cppのrpcならnvidiaとamdの分割処理もいけるよ

0780名無しさん@ピンキー (ワッチョイ 2afb-gMzZ)2025/11/05(水) 17:12:17.32ID:y8P3YEid0
ちなみに M5 UltraのMac Studioは来年登場「らしい」

https://www.macrumors.com/2025/11/04/mac-studio-m5-ultra-2026/

0781名無しさん@ピンキー (ワッチョイ 1a49-Sqr1)2025/11/05(水) 17:20:15.77ID:42QIU+Bf0
GLM4.6をフルサイズで動かしたいよなあ

0782名無しさん@ピンキー (ワッチョイ eeca-dW62)2025/11/05(水) 17:40:09.17ID:OoD41Q4X0
>>775
いいね。俺は事情で月末になるけど参考にさせてもらうわ、ありがとう。グラボ2枚はややこしいよなやっぱ。

>>776
たりないのか、一体いくらvram あれば実用できるんだ…

>>779
rpc か、結構ややこしそうだね、ありがとう。

>>774
ちなみにどんな子育ててるん?育て方もよくわかってないけど、育ててみたい意欲はあるんよね。

0783名無しさん@ピンキー (ワッチョイ 6f03-mTOK)2025/11/05(水) 17:41:20.76ID:k3IdEWaf0
高密度モデルだと5090を活かしきれるモデルではメモリが圧倒的に足りない
32GBに収まるモデルだと5090活かしきれないというジレンマ
MoEだとメインメモリに律速されるのでGPUはそれほど変わらない
LLM目的なら5090は正直おすすめしない 

0784名無しさん@ピンキー (ワッチョイ 2aad-mzUR)2025/11/05(水) 18:38:48.77ID:STqbQ0mh0
やっぱmac studioになるのか?
それか30902枚か

0785名無しさん@ピンキー (ワッチョイ 2acb-HzdJ)2025/11/05(水) 18:48:20.18ID:0l4WrV9G0
>>784
200B以上のMoEを最低限の速度でも良いから動かしたいというならmac studioが良いんじゃね プロンプト処理速度は遅いけどdeepseek系でも20t/sくらい出るらしいし
逆にVRAM48GB構成は100BクラスのMoEも載り切らないし、70Bクラスのdenseモデルが最近出てないから微妙になってきてる

0786名無しさん@ピンキー (ワッチョイ 3a65-mzUR)2025/11/05(水) 19:06:03.33ID:a6vKzf2f0

0787名無しさん@ピンキー (ワッチョイ 3a65-mzUR)2025/11/05(水) 19:12:26.96ID:a6vKzf2f0
あっもしかしてDGXとおなじやつかコイツ

0788名無しさん@ピンキー (ワッチョイ 2abd-i8Ja)2025/11/05(水) 19:56:03.16ID:c71WOPVa0
RTX xx90系を2枚刺しはあまり現実的ではないよ
1枚で3〜4スロットの厚みがあるし長いからE-ATXくらいのクソデカマザーか外付けじゃないと物理的に取り付けられない(ケースも無理そう)
電源は最低でも1500Wくらいで12V-2x6が2つ必要(それかデュアル電源)
一般家庭は「壁のコンセント」が1500Wまでだから実質的にエアコンみたいな専用コンセントが必要
そして爆音爆熱
xx90系はかなり特殊だから一度しっかり調べたり実物を見に行ったほうがいいよ

0789名無しさん@ピンキー (ワッチョイ eeca-dW62)2025/11/05(水) 19:58:28.59ID:OoD41Q4X0
複数台マシンで分散させて動かすのはあんま流行ってないかんじ?

0790名無しさん@ピンキー (ワッチョイ aa32-fgZ5)2025/11/05(水) 20:28:37.02ID:zFgfTarD0
正直ポテンシャルはエグくないと思うけどなー
vram32gb1枚刺しで見られる夢は小さいぞ

0791名無しさん@ピンキー (ワッチョイ 3a65-mzUR)2025/11/05(水) 20:30:02.89ID:a6vKzf2f0
うーん775だけどmac再燃しはじめたな
まあゆっくり考えよう
M5は来年だっけ

0792名無しさん@ピンキー (ワッチョイ 33c0-T6rd)2025/11/05(水) 21:38:13.22ID:OnsVW0Ux0
4090x1と3090x3で運用してるけどリミットかけたうえで1500W電源でギリギリだな
ケースに収めることは最初から放棄してライザーカードでにょきにょき生えてる

0793名無しさん@ピンキー (ワッチョイ 7ee0-Rqlm)2025/11/05(水) 23:39:59.89ID:rQAQGwZ50
ええ!?RTX5090を複数刺ししたいって!?

そんなあなたにINNO3DR GeForce RTX™ 5090 iCHILL FROSTBITE

......どう考えてもコンシューマー向け製品じゃないよコレ

0794名無しさん@ピンキー (ワッチョイ 3a53-mzUR)2025/11/06(木) 00:06:48.98ID:H0Wl2rhX0
CUDA互換を取るか…
デカモデルを取るか…

0795名無しさん@ピンキー (ワッチョイ 7fc0-hZw6)2025/11/06(木) 01:01:23.90ID:z3lvHfEh0
MacはM5チップ世代からGPU側に搭載したNeuralAcceleratorでようやくまともなfp16性能が出るようになったんで、今からならM5MaxやM5Ultraを搭載するであろう新型Mac Studioを待ったほうが良いと思われる

0796名無しさん@ピンキー (ワッチョイ 660e-mzUR)2025/11/06(木) 01:05:24.51ID:k5cM56Dk0
Mac m3 って96gbメモリでもファインチューニングとかできるんかな

0797名無しさん@ピンキー (ワッチョイ 13e7-nV2F)2025/11/06(木) 06:07:26.21ID:4cAqsVGl0
5090複数枚狙うぐらいならQuadro系統の方が良くないか?今度出るRTX5000PROが72GBのはずだし。

0798名無しさん@ピンキー (シャチーク 0Cbf-vgpZ)2025/11/06(木) 10:08:25.24ID:yY5pojgmC
aquif-ai/aquif-3.5-Max-42B-A3B
日本語対応でなんかえらいスコアええのぉ

0799名無しさん@ピンキー (ワッチョイ 7ea0-9I6X)2025/11/06(木) 10:39:46.81ID:J8Py4Ggv0
5090ってどれくらい電気使うの?1000Wじゃ足りない?

0800名無しさん@ピンキー (ワッチョイ 2ac7-kIgr)2025/11/06(木) 12:19:41.85ID:4VfcHnuO0
5090の1枚だとLLM用途には非力
大きいモデルを動かすにはMoEになるけどメモリが遅いせいで、5090がフルパワーになることなんてほぼない
200Wから300Wの間で、いいとこ200W付近だな
動画・画像生成ならOC無しで575W付近だな

0801名無しさん@ピンキー (ワッチョイ 2ac7-kIgr)2025/11/06(木) 12:21:07.70ID:4VfcHnuO0
あと電源は複数構成にしてて、RTX5090専用に1000Wを用意してる

0802名無しさん@ピンキー (ワッチョイ eec8-9I6X)2025/11/06(木) 12:22:12.25ID:LlQyftbD0
>>797
俺もそう思う
あとRTX Pro 5000じゃなくて6000もう出てないっけ

0803名無しさん@ピンキー (ワッチョイ ef3f-mzUR)2025/11/06(木) 12:42:12.94ID:lMCuk1c10
モデルを学習させたいのならRTX、
大きいのを推論させたいだけならMACでしょう

0804名無しさん@ピンキー (ワッチョイ eeca-dW62)2025/11/06(木) 14:03:53.68ID:5ogRukTi0
みんな一体何を推論させてるんだ…夢は感じるけど具体的に何しようか自分でははっきり定められない。

0805名無しさん@ピンキー (シャチーク 0Cbf-vgpZ)2025/11/06(木) 14:20:52.42ID:yY5pojgmC
>>804
エロ

0806名無しさん@ピンキー (ワッチョイ 3a1a-mzUR)2025/11/06(木) 15:04:13.91ID:H0Wl2rhX0
やっぱ推論だけじゃなくて学習させたいよなー

0807名無しさん@ピンキー (ワッチョイ 1a49-EU/t)2025/11/06(木) 15:12:09.62ID:BwdvnsPb0
学習させようとなるとローカルではさすがにきびしい
サーバーレンタルしたほうが絶対にいい

0808名無しさん@ピンキー (ワッチョイ 7ea0-9I6X)2025/11/06(木) 15:17:51.91ID:J8Py4Ggv0
LoRAとRAGならRAGの方が難易度高いんだよね?Super RAGだかって簡単にやってるけど、あれはLoRAじゃないの?

0809名無しさん@ピンキー (ワッチョイ 33c0-T6rd)2025/11/06(木) 15:36:22.62ID:ELrPQp7H0
RAGはそもそも学習させてるわけじゃないし単にベクターストアとかに格納した内容を参照させてるだけだから別に難しいこともなくない?

0810名無しさん@ピンキー (ワッチョイ 3a1a-mzUR)2025/11/06(木) 16:14:40.70ID:H0Wl2rhX0
難しいのかぁ
べつに30Bくらいのを学習できるとは思ってないけど、ちっちゃいのでもやれるといいけど
RAGのことも勉強しなければ

0811名無しさん@ピンキー (ワッチョイ 13e7-nV2F)2025/11/06(木) 17:25:25.55ID:4cAqsVGl0
>>802
Ti SUPER相当のシリーズがRTX Proでも来るってリークあったんよ。そっちの5000PROが72GBという話。6000PRO SUPERが来るならワンチャン128GBもあるかもしれへんね

0812名無しさん@ピンキー (ワッチョイ 131c-0U8u)2025/11/06(木) 20:09:27.05ID:OT25Em3L0
>>804 OpenHands とかで「改良しつづけよ」という雑なプロンプトで自動的にプログラムを改良してもらってる
時間かかるし、途中自分でスナップショットとって失敗に気づいてgit巻き戻して、と人間臭くて笑ってしまう
何度も失敗するから有料API使うと目の玉飛び出す金額になってしまうから、こういう用途はローカル向き

M4 Max 128G でVRAMに120GByte回してるから、python側(推論しない)は mbpで回している
120GByteでギリギリだよ。96Gだと頭の悪いLLMしか動作させられなくて結局成果物ができない
AI Max+ は Linuxなら120GByteくらい回せるらしいからワンチャン動く

0813名無しさん@ピンキー (ワッチョイ 3a5c-mzUR)2025/11/06(木) 21:22:16.20ID:H0Wl2rhX0
96でも頭わるいのかぁ困ったな
金がいくらあっても足らん
今のM3はファインチューニング向いてないらしいけど、M5出たらそこも改善されるといいなあ

0814名無しさん@ピンキー (ワッチョイ aa32-fgZ5)2025/11/06(木) 22:59:52.80ID:hCNcAFKl0
複数枚とか考え出すとgpuクラウドが輝いて見えだすしローカルは険しいよ

0815名無しさん@ピンキー (ワッチョイ 7e36-pnhr)2025/11/06(木) 23:05:29.93ID:85R9xs1T0
有名なYoutuberがGPU8枚挿しでローカルLLM動かしてた気がする

0816名無しさん@ピンキー (ワッチョイ 5377-tukP)2025/11/06(木) 23:10:03.96ID:6mI+tSJ80
火出そう

0817名無しさん@ピンキー (ワッチョイ 6f03-mTOK)2025/11/06(木) 23:46:10.80ID:VQ2HluPM0
クラウドで微調整するにしても最低3090以上のローカルGPUも欲しい
学習設定やデータセットをテストを小さいモデルでやるにしても全部クラウドでやると無駄に金いくらあっても足りないし微調整後の推論は結局ローカルGPUだし

0818名無しさん@ピンキー (ワッチョイ 2ac7-kIgr)2025/11/07(金) 00:00:29.77ID:ynemYx0F0
火出そうって・・・
マイニング流行ってた頃はパワーリミットしてたとは言え、20枚挿しも珍しくなかったんだから8枚挿しくらい余裕だろ
マンションとかならともかく一軒家ならブレーカー落ちることないし

0819名無しさん@ピンキー (ワッチョイ 5377-tukP)2025/11/07(金) 00:20:35.21ID:N23kjsAV0
マイニングとか何世代前だよ
最近ので8枚とか普通に暖房だろ
業務用サーバーレベルだぞ

0820名無しさん@ピンキー (ワッチョイ 1b32-9I6X)2025/11/07(金) 00:42:54.98ID:s85a3z+e0
昔のGPUなら8枚でも良かったが5090を8枚なら燃えると思うw

0821名無しさん@ピンキー (ワッチョイ aa32-fgZ5)2025/11/07(金) 00:57:51.64ID:/AdQkzVv0
普通の個人はパイプライン並列だろうし電源は意外と余裕ある
うちは300W gpu x2が650W電源で働かされてる

新着レスの表示
レスを投稿する