なんJLLM部 避難所 ★9
やっぱmac studioになるのか？
それか30902枚か >>784
200B以上のMoEを最低限の速度でも良いから動かしたいというならmac studioが良いんじゃね プロンプト処理速度は遅いけどdeepseek系でも20t/sくらい出るらしいし
逆にVRAM48GB構成は100BクラスのMoEも載り切らないし、70Bクラスのdenseモデルが最近出てないから微妙になってきてる RTX xx90系を2枚刺しはあまり現実的ではないよ
1枚で3〜4スロットの厚みがあるし長いからE-ATXくらいのクソデカマザーか外付けじゃないと物理的に取り付けられない（ケースも無理そう）
電源は最低でも1500Wくらいで12V-2x6が2つ必要（それかデュアル電源）
一般家庭は「壁のコンセント」が1500Wまでだから実質的にエアコンみたいな専用コンセントが必要
そして爆音爆熱
xx90系はかなり特殊だから一度しっかり調べたり実物を見に行ったほうがいいよ 複数台マシンで分散させて動かすのはあんま流行ってないかんじ？ 正直ポテンシャルはエグくないと思うけどなー
vram32gb1枚刺しで見られる夢は小さいぞ うーん775だけどmac再燃しはじめたな
まあゆっくり考えよう
M5は来年だっけ 4090x1と3090x3で運用してるけどリミットかけたうえで1500W電源でギリギリだな
ケースに収めることは最初から放棄してライザーカードでにょきにょき生えてる ええ!?RTX5090を複数刺ししたいって!?
そんなあなたにINNO3DR GeForce RTX™ 5090 iCHILL FROSTBITE
......どう考えてもコンシューマー向け製品じゃないよコレ MacはM5チップ世代からGPU側に搭載したNeuralAcceleratorでようやくまともなfp16性能が出るようになったんで、今からならM5MaxやM5Ultraを搭載するであろう新型Mac Studioを待ったほうが良いと思われる Mac m3 って96gbメモリでもファインチューニングとかできるんかな 5090複数枚狙うぐらいならQuadro系統の方が良くないか?今度出るRTX5000PROが72GBのはずだし。 aquif-ai/aquif-3.5-Max-42B-A3B
日本語対応でなんかえらいスコアええのぉ 5090ってどれくらい電気使うの？１０００Wじゃ足りない？ 5090の1枚だとLLM用途には非力
大きいモデルを動かすにはMoEになるけどメモリが遅いせいで、5090がフルパワーになることなんてほぼない
200Wから300Wの間で、いいとこ200W付近だな
動画・画像生成ならOC無しで575W付近だな あと電源は複数構成にしてて、RTX5090専用に1000Wを用意してる >>797
俺もそう思う
あとRTX Pro 5000じゃなくて6000もう出てないっけ モデルを学習させたいのならRTX、
大きいのを推論させたいだけならMACでしょう みんな一体何を推論させてるんだ…夢は感じるけど具体的に何しようか自分でははっきり定められない。 学習させようとなるとローカルではさすがにきびしい
サーバーレンタルしたほうが絶対にいい LoRAとRAGならRAGの方が難易度高いんだよね？Super RAGだかって簡単にやってるけど、あれはLoRAじゃないの？ RAGはそもそも学習させてるわけじゃないし単にベクターストアとかに格納した内容を参照させてるだけだから別に難しいこともなくない？ 難しいのかぁ
べつに30Bくらいのを学習できるとは思ってないけど、ちっちゃいのでもやれるといいけど
RAGのことも勉強しなければ >>802
Ti SUPER相当のシリーズがRTX Proでも来るってリークあったんよ。そっちの5000PROが72GBという話。6000PRO SUPERが来るならワンチャン128GBもあるかもしれへんね >>804 OpenHands とかで「改良しつづけよ」という雑なプロンプトで自動的にプログラムを改良してもらってる
時間かかるし、途中自分でスナップショットとって失敗に気づいてgit巻き戻して、と人間臭くて笑ってしまう
何度も失敗するから有料API使うと目の玉飛び出す金額になってしまうから、こういう用途はローカル向き
M4 Max 128G でVRAMに120GByte回してるから、python側(推論しない)は mbpで回している
120GByteでギリギリだよ。96Gだと頭の悪いLLMしか動作させられなくて結局成果物ができない
AI Max+ は Linuxなら120GByteくらい回せるらしいからワンチャン動く 96でも頭わるいのかぁ困ったな
金がいくらあっても足らん
今のM3はファインチューニング向いてないらしいけど、M5出たらそこも改善されるといいなあ 複数枚とか考え出すとgpuクラウドが輝いて見えだすしローカルは険しいよ 有名なYoutuberがGPU8枚挿しでローカルLLM動かしてた気がする クラウドで微調整するにしても最低3090以上のローカルGPUも欲しい
学習設定やデータセットをテストを小さいモデルでやるにしても全部クラウドでやると無駄に金いくらあっても足りないし微調整後の推論は結局ローカルGPUだし 火出そうって・・・
マイニング流行ってた頃はパワーリミットしてたとは言え、20枚挿しも珍しくなかったんだから8枚挿しくらい余裕だろ
マンションとかならともかく一軒家ならブレーカー落ちることないし マイニングとか何世代前だよ
最近ので8枚とか普通に暖房だろ
業務用サーバーレベルだぞ 昔のGPUなら８枚でも良かったが5090を８枚なら燃えると思うｗ 普通の個人はパイプライン並列だろうし電源は意外と余裕ある
うちは300W gpu x2が650W電源で働かされてる ブレーカー落ちるし、そもそも電源ボックスで起動すらできない
50A契約とか三相電源とか考えないとな、コンセントは15Aが定格 グラボの為に、エアコン用の200V電源とか使ってる人いるのかな 電力会社によっては100Aとか普通に使えるからな
マイニングしてたときは1部屋で計2500W超を24時間常時動かしてたぞ
夏はエアコン、冬は窓開けっ放しで問題なかったな ハードル高すぎる…
ローカルllmはロマンがあるなと思ってたけど、実現が難しく夢のようだからロマンがあると感じてるだけな気がしてきた。
>>812
なるほど、半年前にちょっと32bとかのモデルでコーティングエージェント試したときはあんまりだなと思ったが、やはり大規模は賢いのか。 普通にopenrouterとか使うほうがコスパ良いよ
業務で使うから〜って用途以外ではまあロマンというか趣味の世界>ローカルLLM 32Bとかでも、FTしてコーディング特化させても無理なのかな？
全然わからん Torishima / INTP
@izutorishima
Koemotion いつのまにあぼーんしてしまったんだ・・・（というか rinna 社自体畳む方向？）
https://rinna.co.jp/products/business/koemotion/ 上を見てるとキリがないから16GBのVRAMでも快適にエロを出力できるモデルでいいのはないかな？
個人的にはyamatazenさんの「EsotericSage-12B」や「NeonMaid-12B-v2 」が12Bにしては良かった
この作者は12Bのモデルがメインっぽいけど24Bの「EsotericKnowledge-24B」もなかなか良い感じ RTX 6000 Ada 48GBの中古が安くならんかな
もうメモリ高騰でAI向きの安いGPUは今後も出ないやろ りんなは早すぎたんだろうな、時代が今頃追いついて、あっという間に追い抜いて行った。
チャッピーが出たタイミングで出せばよかったのに、支援する側が気づいたころには無くなっていたんじゃな >>798
aquif-ai/aquif-3.5-Max-42B-A3B、
これa3bだから低スぺgpu(4gb)でも推論できる。ほとんどメインメモリからだからvram使ってるのか？
42bのモデルはやっぱり語彙力が高いですね
色々ためしてみます GPT5.1と噂のpolaris alpha エロokっぽいな
合成データ作らせてみたけどお断りが一切ない GLM4.6やKimi K2でも断られるくらいなのに Grokで大体のエロはマスターしたから、もっとハードなエロ専用モデルがほしいのよな、バカでもいいから
そういう専用モデルを作るのが今後のローカルLLMだと思うのだが
学問方面とかもな >>832
日本語LLMに関しては32Bが最低ラインかなあ
32B未満はプロンプトの理解度が低くてきっつい GPT 5 Thinkingバグってないか
回答が不安定でエラー連発 >>832
自分は>>8のBerghofとCydonia 24B、
あとMistralPrism-24Bが良かったです
Qwen系はなんかすぐ簡字体を出してきて
あまり相性が良くなかったです
EsotericKnowledge-24B気になるので使ってみます Berghof 7b 淫語表現が良いが理解力はほとんどない
NemoAurora 12b 理解力と表現が良いが短めに終わらせがち
MistralPrism 24b 理解力と表現が良いが続けるとハルシネーション増えがち繰り返し増えがちで修正必要
shisa-v2-mistral-small 24b 理解力と一般的な部分の表現力が一番高いがエロ表現はあらかじめ表現指定しないと古風な官能小説になりがち
全部指定のテンプレでロールプレイした感想
理解力っていうのは察する能力も含めて
ここで話題に挙がる海外のマージもよく試すんだけど英文とか変な文字交じるからほとんど使わなくなる
指定しても直訳っぽい表現になるしみんな我慢してるのか自分が使い方間違ってるのか分からん 