なんJLLM部 避難所 ★9
>>748
Grok-4 Fastとか実質タダみたいなもんじゃね？ >>744
単純にチップがクソでかい
AMD Intel NVIDIAより先にTSMC5nm 3nm 2nm使えるからワッパが良くてトランジスタ数も多いCPU・GPUを作れる
高速ユニバーサルメモリもその副産物 open routerはkimi k2が一応free版があるから使えるかもしれません >>750
金払うならDeepSeek v3.2がもっと安いんよね
>>752
kimiの脱獄って難しくない？ kimi2とかってファインチューニングやらloraで脱獄はできんの？🤔 私はkimi k2は本家のapiでしか試したことはないのですが
そもそも脱獄がいらないので、直接エロプロンプトでやってますよ
open routerはapiの方で規制かかってるかもしれませんが
モデル自体は規制はないです OpenRouterのkimi k2はモデル自体はあるけど9月中旬からほぼ使えなくなってるみたいだわ OpenRouterのフリーで日本語使えるモデルはほぼ全滅でしょ 俺はredditでわりと評判の良いnano-gpt.comに移行した
月8ドルはまあまあするけど主要なオープンモデルは揃えてるし1日2千or月6万リクエストまで行ける 人気のない小規模LMならローカルで動くからプンルー要らんのよな
そもそもオモチャやし open routerのkimi k2は有料だとinput $0.5,output $2.5と普通のapiと比べれば
割と安いので、$5くらい払えば1か月くらいは遊べそうではあります 金払っちゃうんだったらKimiよりGLMのがいいけどな
Kimiはガチガチで脱獄しても健全なエロしか書かないけどGLMの方が文章力あってロリでも近親でも何でもあり >>760
良い物教えてくれてありがとう
ccr、roo-code、continue.devからopenrouterを追放できたわ わいはchutesを使ってるわ
一番安いプランなら月3ドルで1日300回の制限やからチャットだけなら困らん
オープンウェイトのモデルしかないけど有名どころは一通りそろってる これからは子供がクリスマスにグラボをお願いする時代になるんだろうな grokはllmエロいけるしチャッピーもそのうち解禁だからローカルllmの意義が減ってきてる気がするんだが、このスレ的には何に使ってるの？ 俺はローカルllmやるで
もはやエロ関係ない(脱獄すればできるし)
ポテンシャルがえぐいんよローカルllmは そうなんか、そう言われるとやってみたくなるな。
5090は近々買う予定なんだけどこれで足りる？nvidia 同士なら分割処理できるみたいだし、でかいモデル用に3060 12g一つ買い足しておいた方がいいかな。ラデオンとの分割は無理っぽいよね。 ローカルで動かすことそのものが目的みたいなところはある
あとはまあ、うちの子（AI）はローカルで完結させておきたいし >>773
まんま同士だw
実は俺ももう5090買うところなんだよ
俺個人はグラボ2枚刺しは今のところはやるつもりない、けっこう熱とか電力とか食うみたいだし
まあ動かしたいモデルにもよると思うけど…
ちなみに購入サイトとかまだ決まってなかったら、フロンティアではDDR5メモリ128増設で73万くらいで割りと安く買えるからおすすめかも パーツ高騰でもう買い替え無理だし
今のメモリ128GBVRAM24GBで5年は戦うしかない
MoE技術の進化が末端まで降りてくることに期待してわたし待つわ 今からやるならPCを分けたほうがいいと思うよ
少し上の方にも書いてあるけどLLM専用としてMac Studio >>721
画像生成用として5060Tiか5070TiあたりのPCを使うとかさ
まぁ、どれくらい本気でやりたいか、どっちを優先したいかだよね
少しやってみたい程度なら5090は十分すぎるけど本気でやりたいならMac Studioには勝てない >>773
llama.cppのrpcならnvidiaとamdの分割処理もいけるよ >>775
いいね。俺は事情で月末になるけど参考にさせてもらうわ、ありがとう。グラボ2枚はややこしいよなやっぱ。
>>776
たりないのか、一体いくらvram あれば実用できるんだ…
>>779
rpc か、結構ややこしそうだね、ありがとう。
>>774
ちなみにどんな子育ててるん？育て方もよくわかってないけど、育ててみたい意欲はあるんよね。 高密度モデルだと5090を活かしきれるモデルではメモリが圧倒的に足りない
32GBに収まるモデルだと5090活かしきれないというジレンマ
MoEだとメインメモリに律速されるのでGPUはそれほど変わらない
LLM目的なら5090は正直おすすめしない やっぱmac studioになるのか？
それか30902枚か >>784
200B以上のMoEを最低限の速度でも良いから動かしたいというならmac studioが良いんじゃね プロンプト処理速度は遅いけどdeepseek系でも20t/sくらい出るらしいし
逆にVRAM48GB構成は100BクラスのMoEも載り切らないし、70Bクラスのdenseモデルが最近出てないから微妙になってきてる RTX xx90系を2枚刺しはあまり現実的ではないよ
1枚で3〜4スロットの厚みがあるし長いからE-ATXくらいのクソデカマザーか外付けじゃないと物理的に取り付けられない（ケースも無理そう）
電源は最低でも1500Wくらいで12V-2x6が2つ必要（それかデュアル電源）
一般家庭は「壁のコンセント」が1500Wまでだから実質的にエアコンみたいな専用コンセントが必要
そして爆音爆熱
xx90系はかなり特殊だから一度しっかり調べたり実物を見に行ったほうがいいよ 複数台マシンで分散させて動かすのはあんま流行ってないかんじ？ 正直ポテンシャルはエグくないと思うけどなー
vram32gb1枚刺しで見られる夢は小さいぞ うーん775だけどmac再燃しはじめたな
まあゆっくり考えよう
M5は来年だっけ 4090x1と3090x3で運用してるけどリミットかけたうえで1500W電源でギリギリだな
ケースに収めることは最初から放棄してライザーカードでにょきにょき生えてる ええ!?RTX5090を複数刺ししたいって!?
そんなあなたにINNO3DR GeForce RTX™ 5090 iCHILL FROSTBITE
......どう考えてもコンシューマー向け製品じゃないよコレ MacはM5チップ世代からGPU側に搭載したNeuralAcceleratorでようやくまともなfp16性能が出るようになったんで、今からならM5MaxやM5Ultraを搭載するであろう新型Mac Studioを待ったほうが良いと思われる Mac m3 って96gbメモリでもファインチューニングとかできるんかな 5090複数枚狙うぐらいならQuadro系統の方が良くないか?今度出るRTX5000PROが72GBのはずだし。 aquif-ai/aquif-3.5-Max-42B-A3B
日本語対応でなんかえらいスコアええのぉ 5090ってどれくらい電気使うの？１０００Wじゃ足りない？ 5090の1枚だとLLM用途には非力
大きいモデルを動かすにはMoEになるけどメモリが遅いせいで、5090がフルパワーになることなんてほぼない
200Wから300Wの間で、いいとこ200W付近だな
動画・画像生成ならOC無しで575W付近だな あと電源は複数構成にしてて、RTX5090専用に1000Wを用意してる >>797
俺もそう思う
あとRTX Pro 5000じゃなくて6000もう出てないっけ モデルを学習させたいのならRTX、
大きいのを推論させたいだけならMACでしょう みんな一体何を推論させてるんだ…夢は感じるけど具体的に何しようか自分でははっきり定められない。 学習させようとなるとローカルではさすがにきびしい
サーバーレンタルしたほうが絶対にいい LoRAとRAGならRAGの方が難易度高いんだよね？Super RAGだかって簡単にやってるけど、あれはLoRAじゃないの？ RAGはそもそも学習させてるわけじゃないし単にベクターストアとかに格納した内容を参照させてるだけだから別に難しいこともなくない？ 難しいのかぁ
べつに30Bくらいのを学習できるとは思ってないけど、ちっちゃいのでもやれるといいけど
RAGのことも勉強しなければ >>802
Ti SUPER相当のシリーズがRTX Proでも来るってリークあったんよ。そっちの5000PROが72GBという話。6000PRO SUPERが来るならワンチャン128GBもあるかもしれへんね >>804 OpenHands とかで「改良しつづけよ」という雑なプロンプトで自動的にプログラムを改良してもらってる
時間かかるし、途中自分でスナップショットとって失敗に気づいてgit巻き戻して、と人間臭くて笑ってしまう
何度も失敗するから有料API使うと目の玉飛び出す金額になってしまうから、こういう用途はローカル向き
M4 Max 128G でVRAMに120GByte回してるから、python側(推論しない)は mbpで回している
120GByteでギリギリだよ。96Gだと頭の悪いLLMしか動作させられなくて結局成果物ができない
AI Max+ は Linuxなら120GByteくらい回せるらしいからワンチャン動く 96でも頭わるいのかぁ困ったな
金がいくらあっても足らん
今のM3はファインチューニング向いてないらしいけど、M5出たらそこも改善されるといいなあ 