なんJLLM部 避難所 ★9
!extend:checked:vvvvv:1000:512
!extend:checked:vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★8
https://mercury.bbspink.com/test/read.cgi/onatech/1746883112/
VIPQ2_EXTDAT: checked:vvvvv:1000:512:: EXT was configured >>797
俺もそう思う
あとRTX Pro 5000じゃなくて6000もう出てないっけ モデルを学習させたいのならRTX、
大きいのを推論させたいだけならMACでしょう みんな一体何を推論させてるんだ…夢は感じるけど具体的に何しようか自分でははっきり定められない。 学習させようとなるとローカルではさすがにきびしい
サーバーレンタルしたほうが絶対にいい LoRAとRAGならRAGの方が難易度高いんだよね？Super RAGだかって簡単にやってるけど、あれはLoRAじゃないの？ RAGはそもそも学習させてるわけじゃないし単にベクターストアとかに格納した内容を参照させてるだけだから別に難しいこともなくない？ 難しいのかぁ
べつに30Bくらいのを学習できるとは思ってないけど、ちっちゃいのでもやれるといいけど
RAGのことも勉強しなければ >>802
Ti SUPER相当のシリーズがRTX Proでも来るってリークあったんよ。そっちの5000PROが72GBという話。6000PRO SUPERが来るならワンチャン128GBもあるかもしれへんね >>804 OpenHands とかで「改良しつづけよ」という雑なプロンプトで自動的にプログラムを改良してもらってる
時間かかるし、途中自分でスナップショットとって失敗に気づいてgit巻き戻して、と人間臭くて笑ってしまう
何度も失敗するから有料API使うと目の玉飛び出す金額になってしまうから、こういう用途はローカル向き
M4 Max 128G でVRAMに120GByte回してるから、python側(推論しない)は mbpで回している
120GByteでギリギリだよ。96Gだと頭の悪いLLMしか動作させられなくて結局成果物ができない
AI Max+ は Linuxなら120GByteくらい回せるらしいからワンチャン動く 96でも頭わるいのかぁ困ったな
金がいくらあっても足らん
今のM3はファインチューニング向いてないらしいけど、M5出たらそこも改善されるといいなあ 複数枚とか考え出すとgpuクラウドが輝いて見えだすしローカルは険しいよ 有名なYoutuberがGPU8枚挿しでローカルLLM動かしてた気がする クラウドで微調整するにしても最低3090以上のローカルGPUも欲しい
学習設定やデータセットをテストを小さいモデルでやるにしても全部クラウドでやると無駄に金いくらあっても足りないし微調整後の推論は結局ローカルGPUだし 火出そうって・・・
マイニング流行ってた頃はパワーリミットしてたとは言え、20枚挿しも珍しくなかったんだから8枚挿しくらい余裕だろ
マンションとかならともかく一軒家ならブレーカー落ちることないし マイニングとか何世代前だよ
最近ので8枚とか普通に暖房だろ
業務用サーバーレベルだぞ 昔のGPUなら８枚でも良かったが5090を８枚なら燃えると思うｗ 普通の個人はパイプライン並列だろうし電源は意外と余裕ある
うちは300W gpu x2が650W電源で働かされてる ブレーカー落ちるし、そもそも電源ボックスで起動すらできない
50A契約とか三相電源とか考えないとな、コンセントは15Aが定格 グラボの為に、エアコン用の200V電源とか使ってる人いるのかな 電力会社によっては100Aとか普通に使えるからな
マイニングしてたときは1部屋で計2500W超を24時間常時動かしてたぞ
夏はエアコン、冬は窓開けっ放しで問題なかったな ハードル高すぎる…
ローカルllmはロマンがあるなと思ってたけど、実現が難しく夢のようだからロマンがあると感じてるだけな気がしてきた。
>>812
なるほど、半年前にちょっと32bとかのモデルでコーティングエージェント試したときはあんまりだなと思ったが、やはり大規模は賢いのか。 普通にopenrouterとか使うほうがコスパ良いよ
業務で使うから〜って用途以外ではまあロマンというか趣味の世界>ローカルLLM 32Bとかでも、FTしてコーディング特化させても無理なのかな？
全然わからん Torishima / INTP
@izutorishima
Koemotion いつのまにあぼーんしてしまったんだ・・・（というか rinna 社自体畳む方向？）
https://rinna.co.jp/products/business/koemotion/ 上を見てるとキリがないから16GBのVRAMでも快適にエロを出力できるモデルでいいのはないかな？
個人的にはyamatazenさんの「EsotericSage-12B」や「NeonMaid-12B-v2 」が12Bにしては良かった
この作者は12Bのモデルがメインっぽいけど24Bの「EsotericKnowledge-24B」もなかなか良い感じ RTX 6000 Ada 48GBの中古が安くならんかな
もうメモリ高騰でAI向きの安いGPUは今後も出ないやろ りんなは早すぎたんだろうな、時代が今頃追いついて、あっという間に追い抜いて行った。
チャッピーが出たタイミングで出せばよかったのに、支援する側が気づいたころには無くなっていたんじゃな >>798
aquif-ai/aquif-3.5-Max-42B-A3B、
これa3bだから低スぺgpu(4gb)でも推論できる。ほとんどメインメモリからだからvram使ってるのか？
42bのモデルはやっぱり語彙力が高いですね
色々ためしてみます GPT5.1と噂のpolaris alpha エロokっぽいな
合成データ作らせてみたけどお断りが一切ない GLM4.6やKimi K2でも断られるくらいなのに Grokで大体のエロはマスターしたから、もっとハードなエロ専用モデルがほしいのよな、バカでもいいから
そういう専用モデルを作るのが今後のローカルLLMだと思うのだが
学問方面とかもな >>832
日本語LLMに関しては32Bが最低ラインかなあ
32B未満はプロンプトの理解度が低くてきっつい GPT 5 Thinkingバグってないか
回答が不安定でエラー連発 >>832
自分は>>8のBerghofとCydonia 24B、
あとMistralPrism-24Bが良かったです
Qwen系はなんかすぐ簡字体を出してきて
あまり相性が良くなかったです
EsotericKnowledge-24B気になるので使ってみます 