なんJLLM部 避難所 ★9
0764名無しさん＠ピンキー (ﾜｯﾁｮｲ 779d-pnhr)2025/11/04(火) 16:04:52.10ID:MzG+AFLA0
open routerのkimi k2は有料だとinput $0.5,output $2.5と普通のapiと比べれば
割と安いので、$5くらい払えば1か月くらいは遊べそうではあります
0765名無しさん＠ピンキー (ﾜｯﾁｮｲ eb0b-4eiX)2025/11/04(火) 16:12:15.13ID:2FvKWAHI0
金払っちゃうんだったらKimiよりGLMのがいいけどな
Kimiはガチガチで脱獄しても健全なエロしか書かないけどGLMの方が文章力あってロリでも近親でも何でもあり
0767名無しさん＠ピンキー (ﾜｯﾁｮｲ 26ce-HzdJ)2025/11/04(火) 20:13:17.49ID:vEjNWt330
>>760
良い物教えてくれてありがとう
ccr、roo-code、continue.devからopenrouterを追放できたわ
0768名無しさん＠ピンキー (ﾜｯﾁｮｲ 2acb-HzdJ)2025/11/04(火) 21:48:33.12ID:GpX/QgWA0
わいはchutesを使ってるわ
一番安いプランなら月3ドルで1日300回の制限やからチャットだけなら困らん
オープンウェイトのモデルしかないけど有名どころは一通りそろってる
0771名無しさん＠ピンキー (ﾜｯﾁｮｲ ee05-dW62)2025/11/05(水) 14:04:24.59ID:OoD41Q4X0
grokはllmエロいけるしチャッピーもそのうち解禁だからローカルllmの意義が減ってきてる気がするんだが、このスレ的には何に使ってるの？
0772名無しさん＠ピンキー (ﾜｯﾁｮｲ 3ef9-mzUR)2025/11/05(水) 15:07:28.71ID:TA+WwrEg0
俺はローカルllmやるで
もはやエロ関係ない(脱獄すればできるし)
ポテンシャルがえぐいんよローカルllmは
0773名無しさん＠ピンキー (ﾜｯﾁｮｲ ee05-dW62)2025/11/05(水) 15:38:08.65ID:OoD41Q4X0
そうなんか、そう言われるとやってみたくなるな。
5090は近々買う予定なんだけどこれで足りる？nvidia 同士なら分割処理できるみたいだし、でかいモデル用に3060 12g一つ買い足しておいた方がいいかな。ラデオンとの分割は無理っぽいよね。
0775名無しさん＠ピンキー (ﾜｯﾁｮｲ 3ef9-mzUR)2025/11/05(水) 15:59:53.25ID:TA+WwrEg0
>>773
まんま同士だw
実は俺ももう5090買うところなんだよ
俺個人はグラボ2枚刺しは今のところはやるつもりない、けっこう熱とか電力とか食うみたいだし
まあ動かしたいモデルにもよると思うけど…

ちなみに購入サイトとかまだ決まってなかったら、フロンティアではDDR5メモリ128増設で73万くらいで割りと安く買えるからおすすめかも
0778名無しさん＠ピンキー (ﾜｯﾁｮｲ 2abd-i8Ja)2025/11/05(水) 16:54:44.38ID:c71WOPVa0
今からやるならPCを分けたほうがいいと思うよ
少し上の方にも書いてあるけどLLM専用としてMac Studio >>721
画像生成用として5060Tiか5070TiあたりのPCを使うとかさ

まぁ、どれくらい本気でやりたいか、どっちを優先したいかだよね
少しやってみたい程度なら5090は十分すぎるけど本気でやりたいならMac Studioには勝てない
0781名無しさん＠ピンキー (ﾜｯﾁｮｲ 1a49-Sqr1)2025/11/05(水) 17:20:15.77ID:42QIU+Bf0
GLM4.6をフルサイズで動かしたいよなあ
0782名無しさん＠ピンキー (ﾜｯﾁｮｲ eeca-dW62)2025/11/05(水) 17:40:09.17ID:OoD41Q4X0
>>775
いいね。俺は事情で月末になるけど参考にさせてもらうわ、ありがとう。グラボ2枚はややこしいよなやっぱ。

>>776
たりないのか、一体いくらvram あれば実用できるんだ…

>>779
rpc か、結構ややこしそうだね、ありがとう。

>>774
ちなみにどんな子育ててるん？育て方もよくわかってないけど、育ててみたい意欲はあるんよね。
0783名無しさん＠ピンキー (ﾜｯﾁｮｲ 6f03-mTOK)2025/11/05(水) 17:41:20.76ID:k3IdEWaf0
高密度モデルだと5090を活かしきれるモデルではメモリが圧倒的に足りない
32GBに収まるモデルだと5090活かしきれないというジレンマ
MoEだとメインメモリに律速されるのでGPUはそれほど変わらない
LLM目的なら5090は正直おすすめしない　
0784名無しさん＠ピンキー (ﾜｯﾁｮｲ 2aad-mzUR)2025/11/05(水) 18:38:48.77ID:STqbQ0mh0
やっぱmac studioになるのか？
それか30902枚か
0785名無しさん＠ピンキー (ﾜｯﾁｮｲ 2acb-HzdJ)2025/11/05(水) 18:48:20.18ID:0l4WrV9G0
>>784
200B以上のMoEを最低限の速度でも良いから動かしたいというならmac studioが良いんじゃね　プロンプト処理速度は遅いけどdeepseek系でも20t/sくらい出るらしいし
逆にVRAM48GB構成は100BクラスのMoEも載り切らないし、70Bクラスのdenseモデルが最近出てないから微妙になってきてる
0787名無しさん＠ピンキー (ﾜｯﾁｮｲ 3a65-mzUR)2025/11/05(水) 19:12:26.96ID:a6vKzf2f0
あっもしかしてDGXとおなじやつかコイツ
0788名無しさん＠ピンキー (ﾜｯﾁｮｲ 2abd-i8Ja)2025/11/05(水) 19:56:03.16ID:c71WOPVa0
RTX xx90系を2枚刺しはあまり現実的ではないよ
1枚で3〜4スロットの厚みがあるし長いからE-ATXくらいのクソデカマザーか外付けじゃないと物理的に取り付けられない（ケースも無理そう）
電源は最低でも1500Wくらいで12V-2x6が2つ必要（それかデュアル電源）
一般家庭は「壁のコンセント」が1500Wまでだから実質的にエアコンみたいな専用コンセントが必要
そして爆音爆熱
xx90系はかなり特殊だから一度しっかり調べたり実物を見に行ったほうがいいよ
0789名無しさん＠ピンキー (ﾜｯﾁｮｲ eeca-dW62)2025/11/05(水) 19:58:28.59ID:OoD41Q4X0
複数台マシンで分散させて動かすのはあんま流行ってないかんじ？
0791名無しさん＠ピンキー (ﾜｯﾁｮｲ 3a65-mzUR)2025/11/05(水) 20:30:02.89ID:a6vKzf2f0
うーん775だけどmac再燃しはじめたな
まあゆっくり考えよう
M5は来年だっけ
0792名無しさん＠ピンキー (ﾜｯﾁｮｲ 33c0-T6rd)2025/11/05(水) 21:38:13.22ID:OnsVW0Ux0
4090x1と3090x3で運用してるけどリミットかけたうえで1500W電源でギリギリだな
ケースに収めることは最初から放棄してライザーカードでにょきにょき生えてる
0793名無しさん＠ピンキー (ﾜｯﾁｮｲ 7ee0-Rqlm)2025/11/05(水) 23:39:59.89ID:rQAQGwZ50
ええ!?RTX5090を複数刺ししたいって!?

そんなあなたにINNO3DR GeForce RTX™ 5090 iCHILL FROSTBITE

......どう考えてもコンシューマー向け製品じゃないよコレ
0794名無しさん＠ピンキー (ﾜｯﾁｮｲ 3a53-mzUR)2025/11/06(木) 00:06:48.98ID:H0Wl2rhX0
CUDA互換を取るか…
デカモデルを取るか…
0795名無しさん＠ピンキー (ﾜｯﾁｮｲ 7fc0-hZw6)2025/11/06(木) 01:01:23.90ID:z3lvHfEh0
MacはM5チップ世代からGPU側に搭載したNeuralAcceleratorでようやくまともなfp16性能が出るようになったんで、今からならM5MaxやM5Ultraを搭載するであろう新型Mac Studioを待ったほうが良いと思われる
0796名無しさん＠ピンキー (ﾜｯﾁｮｲ 660e-mzUR)2025/11/06(木) 01:05:24.51ID:k5cM56Dk0
Mac m3 って96gbメモリでもファインチューニングとかできるんかな
0797名無しさん＠ピンキー (ﾜｯﾁｮｲ 13e7-nV2F)2025/11/06(木) 06:07:26.21ID:4cAqsVGl0
5090複数枚狙うぐらいならQuadro系統の方が良くないか?今度出るRTX5000PROが72GBのはずだし。
0800名無しさん＠ピンキー (ﾜｯﾁｮｲ 2ac7-kIgr)2025/11/06(木) 12:19:41.85ID:4VfcHnuO0
5090の1枚だとLLM用途には非力
大きいモデルを動かすにはMoEになるけどメモリが遅いせいで、5090がフルパワーになることなんてほぼない
200Wから300Wの間で、いいとこ200W付近だな
動画・画像生成ならOC無しで575W付近だな
0803名無しさん＠ピンキー (ﾜｯﾁｮｲ ef3f-mzUR)2025/11/06(木) 12:42:12.94ID:lMCuk1c10
モデルを学習させたいのならRTX、
大きいのを推論させたいだけならMACでしょう
0804名無しさん＠ピンキー (ﾜｯﾁｮｲ eeca-dW62)2025/11/06(木) 14:03:53.68ID:5ogRukTi0
みんな一体何を推論させてるんだ…夢は感じるけど具体的に何しようか自分でははっきり定められない。
0806名無しさん＠ピンキー (ﾜｯﾁｮｲ 3a1a-mzUR)2025/11/06(木) 15:04:13.91ID:H0Wl2rhX0
やっぱ推論だけじゃなくて学習させたいよなー
0807名無しさん＠ピンキー (ﾜｯﾁｮｲ 1a49-EU/t)2025/11/06(木) 15:12:09.62ID:BwdvnsPb0
学習させようとなるとローカルではさすがにきびしい
サーバーレンタルしたほうが絶対にいい
0810名無しさん＠ピンキー (ﾜｯﾁｮｲ 3a1a-mzUR)2025/11/06(木) 16:14:40.70ID:H0Wl2rhX0
難しいのかぁ
べつに30Bくらいのを学習できるとは思ってないけど、ちっちゃいのでもやれるといいけど
RAGのことも勉強しなければ
0811名無しさん＠ピンキー (ﾜｯﾁｮｲ 13e7-nV2F)2025/11/06(木) 17:25:25.55ID:4cAqsVGl0
>>802
Ti SUPER相当のシリーズがRTX Proでも来るってリークあったんよ。そっちの5000PROが72GBという話。6000PRO SUPERが来るならワンチャン128GBもあるかもしれへんね
0812名無しさん＠ピンキー (ﾜｯﾁｮｲ 131c-0U8u)2025/11/06(木) 20:09:27.05ID:OT25Em3L0
>>804 OpenHands とかで「改良しつづけよ」という雑なプロンプトで自動的にプログラムを改良してもらってる
時間かかるし、途中自分でスナップショットとって失敗に気づいてgit巻き戻して、と人間臭くて笑ってしまう
何度も失敗するから有料API使うと目の玉飛び出す金額になってしまうから、こういう用途はローカル向き

M4 Max 128G でVRAMに120GByte回してるから、python側(推論しない)は mbpで回している
120GByteでギリギリだよ。96Gだと頭の悪いLLMしか動作させられなくて結局成果物ができない
AI Max+ は Linuxなら120GByteくらい回せるらしいからワンチャン動く
0813名無しさん＠ピンキー (ﾜｯﾁｮｲ 3a5c-mzUR)2025/11/06(木) 21:22:16.20ID:H0Wl2rhX0
96でも頭わるいのかぁ困ったな
金がいくらあっても足らん
今のM3はファインチューニング向いてないらしいけど、M5出たらそこも改善されるといいなあ
0817名無しさん＠ピンキー (ﾜｯﾁｮｲ 6f03-mTOK)2025/11/06(木) 23:46:10.80ID:VQ2HluPM0
クラウドで微調整するにしても最低3090以上のローカルGPUも欲しい
学習設定やデータセットをテストを小さいモデルでやるにしても全部クラウドでやると無駄に金いくらあっても足りないし微調整後の推論は結局ローカルGPUだし
0818名無しさん＠ピンキー (ﾜｯﾁｮｲ 2ac7-kIgr)2025/11/07(金) 00:00:29.77ID:ynemYx0F0
火出そうって・・・
マイニング流行ってた頃はパワーリミットしてたとは言え、20枚挿しも珍しくなかったんだから8枚挿しくらい余裕だろ
マンションとかならともかく一軒家ならブレーカー落ちることないし
0824名無しさん＠ピンキー (ﾜｯﾁｮｲ 2ac7-kIgr)2025/11/07(金) 11:23:17.12ID:ynemYx0F0
電力会社によっては100Aとか普通に使えるからな
マイニングしてたときは1部屋で計2500W超を24時間常時動かしてたぞ
夏はエアコン、冬は窓開けっ放しで問題なかったな
0825名無しさん＠ピンキー (ﾜｯﾁｮｲ ef12-dW62)2025/11/07(金) 11:27:33.51ID:zDkRZzoS0
ハードル高すぎる…
ローカルllmはロマンがあるなと思ってたけど、実現が難しく夢のようだからロマンがあると感じてるだけな気がしてきた。

>>812
なるほど、半年前にちょっと32bとかのモデルでコーティングエージェント試したときはあんまりだなと思ったが、やはり大規模は賢いのか。
0827名無しさん＠ピンキー (ﾜｯﾁｮｲ ef47-mzUR)2025/11/07(金) 14:02:55.05ID:0Urjr8TJ0
32Bとかでも、FTしてコーディング特化させても無理なのかな？
全然わからん
0829名無しさん＠ピンキー (ﾜｯﾁｮｲ 1a49-JEdv)2025/11/07(金) 23:00:18.35ID:4AEqnHGL0
りんなは貴重な日本のAI企業だったのに
0831名無しさん＠ピンキー (ﾜｯﾁｮｲ 3a24-mzUR)2025/11/07(金) 23:03:50.97ID:/wC3jWy70
俺がAIを作る
0832名無しさん＠ピンキー (ﾜｯﾁｮｲ cf20-qekO)2025/11/08(土) 00:04:47.22ID:m032+gq00
上を見てるとキリがないから16GBのVRAMでも快適にエロを出力できるモデルでいいのはないかな？
個人的にはyamatazenさんの「EsotericSage-12B」や「NeonMaid-12B-v2 」が12Bにしては良かった
この作者は12Bのモデルがメインっぽいけど24Bの「EsotericKnowledge-24B」もなかなか良い感じ
0834名無しさん＠ピンキー (ﾜｯﾁｮｲ bf49-MSRj)2025/11/08(土) 07:39:15.01ID:S1Z1naTn0
kimi k2 thinkingすごいな
0835名無しさん＠ピンキー (ﾜｯﾁｮｲ cfa0-Pj3+)2025/11/08(土) 08:47:17.25ID:EAEk+Zkn0
りんなは早すぎたんだろうな、時代が今頃追いついて、あっという間に追い抜いて行った。

チャッピーが出たタイミングで出せばよかったのに、支援する側が気づいたころには無くなっていたんじゃな
0836名無しさん＠ピンキー (ﾜｯﾁｮｲ 53d6-t3bi)2025/11/08(土) 12:46:40.77ID:9jrhr8L/0
>>798
aquif-ai/aquif-3.5-Max-42B-A3B、
これa3bだから低スぺgpu(4gb)でも推論できる。ほとんどメインメモリからだからvram使ってるのか？
42bのモデルはやっぱり語彙力が高いですね
色々ためしてみます
0838名無しさん＠ピンキー (ﾜｯﾁｮｲ cfa0-Pj3+)2025/11/08(土) 13:49:04.34ID:EAEk+Zkn0
Grokで大体のエロはマスターしたから、もっとハードなエロ専用モデルがほしいのよな、バカでもいいから

そういう専用モデルを作るのが今後のローカルLLMだと思うのだが

学問方面とかもな
0840名無しさん＠ピンキー (ﾜｯﾁｮｲ 7397-t3bi)2025/11/08(土) 16:51:35.14ID:r4q5rRrN0
GPT 5 Thinkingバグってないか
回答が不安定でエラー連発
0841名無しさん＠ピンキー (ﾜｯﾁｮｲ 6f7c-usgL)2025/11/08(土) 17:38:53.08ID:pCVG21Oa0
>>832
自分は>>8のBerghofとCydonia 24B、
あとMistralPrism-24Bが良かったです
Qwen系はなんかすぐ簡字体を出してきて
あまり相性が良くなかったです

EsotericKnowledge-24B気になるので使ってみます
0842名無しさん＠ピンキー (ﾜｯﾁｮｲ 63c6-GlLO)2025/11/08(土) 22:00:39.34ID:Y7kxKVlU0
Berghof 7b　淫語表現が良いが理解力はほとんどない
NemoAurora 12b　理解力と表現が良いが短めに終わらせがち
MistralPrism 24b　理解力と表現が良いが続けるとハルシネーション増えがち繰り返し増えがちで修正必要
shisa-v2-mistral-small 24b　理解力と一般的な部分の表現力が一番高いがエロ表現はあらかじめ表現指定しないと古風な官能小説になりがち
全部指定のテンプレでロールプレイした感想
理解力っていうのは察する能力も含めて
ここで話題に挙がる海外のマージもよく試すんだけど英文とか変な文字交じるからほとんど使わなくなる
指定しても直訳っぽい表現になるしみんな我慢してるのか自分が使い方間違ってるのか分からん
0843名無しさん＠ピンキー (ﾜｯﾁｮｲ 4314-KUF3)2025/11/08(土) 23:26:01.08ID:nTiP9kKY0
賢いberghofがほんと欲しい
berghofも普通の会話だとたまにうおっ！？てなるほど察してくれる時があるんだけどなあ
エロシチュの把握とかになると弱いね
0844名無しさん＠ピンキー (ﾜｯﾁｮｲ ffc0-vw5Q)2025/11/09(日) 00:16:52.90ID:zVGj0deu0
いまだにベースモデルとしては8か月前のmistral smallが圧倒的に強いのは困る　そろそろ新しいモデルほしい
最近のモデルを含めて日本語能力は50b以下だとmistral smallの一人勝ち状態
baseモデルで小説の続きとか書かせて比較すると分かるけど中華モデルだと明らかに文脈理解が出来てなくて、語彙力も酷い　
qwen3(aquif含む)とかERNIE-4.5-21Bとかね　一般用途ならgemma3も悪くないけどデータセットの検閲とライセンスが厳しい
0845名無しさん＠ピンキー (ﾜｯﾁｮｲ cf20-qekO)2025/11/09(日) 00:36:13.80ID:25n82Uux0
上を見てるとキリがないから16GBのVRAMでも快適にエロを出力できるモデルでいいのはないかな？
個人的にはyamatazenさんの「EsotericSage-12B」や「NeonMaid-12B-v2 」が12Bにしては良かった
この作者は12Bのモデルがメインっぽいけど24Bの「EsotericKnowledge-24B」もなかなか良い感じ
0846名無しさん＠ピンキー (ﾜｯﾁｮｲ cf20-qekO)2025/11/09(日) 00:45:30.08ID:25n82Uux0
だよなぁ
24Bのモデルはほとんどベースがmistral smallだし、12Bは1年以上前のmistral nemo 2407がベースばかりだもんな
新着レスの表示
レスを投稿する

ニューススポーツなんでも実況