なんJLLM部 避難所 ★9
ブレーカー落ちるし、そもそも電源ボックスで起動すらできない
50A契約とか三相電源とか考えないとな、コンセントは15Aが定格 グラボの為に、エアコン用の200V電源とか使ってる人いるのかな 電力会社によっては100Aとか普通に使えるからな
マイニングしてたときは1部屋で計2500W超を24時間常時動かしてたぞ
夏はエアコン、冬は窓開けっ放しで問題なかったな ハードル高すぎる…
ローカルllmはロマンがあるなと思ってたけど、実現が難しく夢のようだからロマンがあると感じてるだけな気がしてきた。
>>812
なるほど、半年前にちょっと32bとかのモデルでコーティングエージェント試したときはあんまりだなと思ったが、やはり大規模は賢いのか。 普通にopenrouterとか使うほうがコスパ良いよ
業務で使うから〜って用途以外ではまあロマンというか趣味の世界>ローカルLLM 32Bとかでも、FTしてコーディング特化させても無理なのかな？
全然わからん Torishima / INTP
@izutorishima
Koemotion いつのまにあぼーんしてしまったんだ・・・（というか rinna 社自体畳む方向？）
https://rinna.co.jp/products/business/koemotion/ 上を見てるとキリがないから16GBのVRAMでも快適にエロを出力できるモデルでいいのはないかな？
個人的にはyamatazenさんの「EsotericSage-12B」や「NeonMaid-12B-v2 」が12Bにしては良かった
この作者は12Bのモデルがメインっぽいけど24Bの「EsotericKnowledge-24B」もなかなか良い感じ RTX 6000 Ada 48GBの中古が安くならんかな
もうメモリ高騰でAI向きの安いGPUは今後も出ないやろ 