なんJLLM部 避難所 ★9
パラメータ数を誇るのは金のあるとこに任せときゃいい
日本だとソフバンが一番やるのかなあ 実際30B辺りで日本語強くてエロいけるモデル出たらこのスレ的には覇権やろうしなあ
でもどうせ業務向けなんだろうな オープンウェイトでないからパラメータ数は関係ないしAPIすら公開されてないから株価対策以外の何物でもない
本当に独自アーキテクチャなら頑張ってほしいけどね
でも比較対象のモデルがころころ変わってるの面白い 型落ちのqwen2.5としか比較してなかったり、それまでgemma3と比較してたのにファインチューニング性能比較では突然gemma2と比較してたり 富士通の1bit量子化はあれ以来どうなっとるんや
ローエンドGPU（A100）で動く微妙なモデル出して終わりなんか？ と思ったらNVIDIAとAIで提携してるし来週の水曜日に1bit量子化のワークフローとか公開するんか
誰でも1bit量子化できるかも、と煽ってるからここから1bit量子化が加速すればいいんだが 日本でエロチューンやってるのaratakoさんだけでしょ
rinnaもエロチューンではないだろうし 専門タスクってのはあるけど
plamoの翻訳は実際に良かったよ
qwenあたりより高速で精度もいい ayaファンに朗報です。嫁モデルが来ました
ernie-4.5-21b-a3b-pt.ggufはRPが良いです。
中国のモデルでa3bなのでロースペgpuでも動きます 691です
abliteratedがまだです
huihuiさんが出してきそうですが 気になったんやが30Bとか140Bとか
そういうのは第三者がほんとにそれだけ語彙力があると言うのは検証できるんやろか
「数字多く書いときゃええやろ、定量的に計測なんてできんし」なのかなと >>693
○○Bの○○はモデル内のパラメータの数だからめちゃくちゃ簡単に調べられてpytorchのチュートリアル的な内容だから「pytorch パラメータ数 確認」 で調べれば日本語でもめちゃくちゃ沢山出てくるしLLMで最も定量的に測れる指標や
ベンチマークのことを言っているのであれば詐称はほとんどないけどデータセットにベンチマークの回答を入れてカンニングさせたり、ベンチマーク時だけ微調整モデルを使うとかは残念ながらよくある >>694
サンガツ、語彙量のつもりやったが定量的に調べられるならええやな
中国におんぶにだっこやが、水増しみたいなことあるんかなと思ってたわ
ベンチマークの回答セットは残念やなぁ、ベンチマークの時だけ本領発揮させるandroidみたいやな 中国でもBATHクラスの技術力は疑う余地なんか無いよ
アメリカとガチの技術戦争をやってるんだから日本みたいな遅れた国が出る幕はない
中国を疑うなら政治的な検閲や偏り、意図的な情報漏れの方を警戒すべきで
オープンウェイトであることによって西側がチェック・改善す？余地が担保されている
日本はローカライズに徹するのが現実的でエロチューンもその一つ >>693
ワイの場合はエロ小説書かせて表現力と台詞回しで評価してる
明らかにデカい方がいい
小さいモデルは語彙はあっても整合性が取れてないからチンピクせんw 7B辺り使ってると整合性は痛感するよなあ
エロの表現力は30Bより光ってるモデルもたくさんあるんやが
ある程度サイズが大きいモデルを日本語エロチューンする難易度が高すぎるのが真の問題か ernie-4.5-21b-a3b-pt.ggufこれQwen3の30Bと比較しても何故かこっちの方がいいわredditとか一応見てるけど知らなかった教えてくれてありがとう DeepSeek-OCRを調べてみてるんだけどトークン圧縮の技術が進んだ感ある
コストが下がって長い文章でもコンテキストに保持できて良いことずくめ エロ小説を書かせるんじゃなくて設定とか展開を相談するのってどのモデルがええんやろ
gpt-ossとかのabliteratedはなんか頭硬い現実の議論みたいな返答で面白くなかったしRP用のモデルだとRPが始まったり小説の内容書き始めちゃうしで丁度いいのって難しいんやな Qwen3-235B-A22B-Instruct-2507でSTのキャラ設定とか世界観とか出してるな
下手にファインチューニングしたモデルやabliteratedモデルより元のモデルに対してシステムプロンプトや応答書き換えで出すほうが個人的には好き
あと温度上げたりサンプラー設定変えてみるといいかも >>702
元のモデルってことは露骨なエロはぼかしたりプロンプト工夫して出してく感じか
流石に235BのモデルはVRAM16RAM128のワイのPCだと結構厳しそうだけどデカめの元モデルでちょい試してみるわ RAM128GBあってVRAM16GBならMoEモデルだからQwen3-235B-A22B-Instruct-2507のIQ4_XS動くかと そうなん！？ローカルでLLM動かすのはまだ不慣れやからMoEモデルとそうでないやつの違いとか必要スペックとか詳しくないんや…
早速DLしてみるで！ 軽い相談ならローカルじゃなくてGPT-5かGemini2.5proにしてるわ llamacppのqwen3-next対応はみんなに使ってもらって意見もらう段階に入ったようやが
CPU対応のみみたいやな
GPU対応は別途PR立てるって
まだまだ時間かかりそうや Stable Diffusionでpubic hair standing upright（立体的な陰毛）を指定すると立体的な陰毛を描いてくれるのだけど、
副作用として、ベッドの長さが高確率で半分になる現象が起こる。
謎だわ pubic hair standing uprightのstandingがベッドを半分にするトリガーになってるな
pubic hair uprightでも意味は伝わるみたいだから、こっちにしよう
バタフライエフェクトなことが起こるなAIは モデルが大きくて微妙にGPUメモリに載り切らない場合、
何枚かのレイヤーかKVキャッシュだと
どちらを優先してオフロードするのが良いんでしょうか デンスだとして個人的にはkvキャッシュのほう外に出してる お絵かき方面は良さげかもだけどLLMには1枚買っても仕方ない気がする RTX5080シリーズよりLLM動かすのに良いのってある？
5090とかしか思い付かない～
DGXsparkも検討したけど買うの辞めた… >>716
DGXsparkはメモリ帯域がねぇ
実用面では中古のRTX3090を4台買ったほうが幸せになれる
追加で中古のスリッパとマザボを揃えることになるけど
電気代かかるのと電気契約の見直しがいるかも？
それかメモリ256GB積んでRTX3090以上のグラボでMoEモデル動かすのもありだね
遅いけどGLM4.6の4,5bit量子化モデルが動かせる 本当にLLMしか使わないならMac Studioのユニファイドメモリ積みまくり（最大512GB）だろうね
高速・大容量・高価格
150万くらいだよ！
まぁ、128GBなら56万くらいだから割と現実的よ 僕は4070Ti SUPER使ってたところに5060Ti買い足しました
ケースの中空いてないからoculink外付けだけど
gemma27Bとかコンテキスト含めると16gbでちょい足りなかった奴が超快適になった 716だけどありがとう
まずは3090、2つくらいから積んでみようかな…
Macも正直デカイの動かせてノートなのはかなり魅力的
NvidiaもDGXじゃなくてこんなの出さないかな Macは機種によってメモリ帯域幅が違うから、なるべくMac Studioね
https://www.apple.com/jp/mac-studio/specs/
Apple M3 Ultraチップ 819GB/s
Apple M4 Maxチップ 410GB/s
MacBook Proは最上位機種なら410GB/sか546GB/s
https://www.apple.com/jp/macbook-pro/specs/
RTXのxx80やxx90系は900GB/s前後
デスクトップメモリのDDR5がデュアルで90GB/s前後
そしてNVIDIA DGX Sparkは273GB/sでみんなズッコケたと
https://www.nvidia.com/ja-jp/products/workstations/dgx-spark/ 3090ダブルかM3ウルトラかめちゃくちゃ迷い始めた
うわぁぁぁ！
アップル製品ほぼ使用経験ないのが結構ネック… 内排気設計のハイエンドグラボ複数積みもそんな気軽ではないからよく計画してね 動画・画像生成もやるならCUDAが必須だね
補足
VRAM24GB+メモリ256GBなら以下のモデルが動く
・Hunyuan Image3.0のフルモデル(21s/it)
・GLM4.6の5bit量子化モデル(4.5tokens/s)
※メモリ帯域が足りていない
かなり遅いけど、そもそもVRAM24GB+メモリ256GBないと実用的に動かせない
ちなみにHunyuan Image3.0は無劣化で、
25ステップを10分弱で生成できる(RTX5090の場合)
GLM4.6の4bitは文字化けや中国語、英語が混じりやすい
5bitも発生するけどほぼ緩和される
LLMオンリーでいいならMacだね
俺なら512GBを迷わず買う
あっ、そんなお金があるならRTX Pro 6000買うかも？ M5でMacのネックだったプロンプト評価速度がかなり向上してるみたいだから待てるならM5Ultraかなあ
出るかどうかも定かではないけど strix haloのソフトウェア周りがもう少し実用的になってくれたらなぁ
CXMTがlpddr5xの量産開始したのでlpddr5xの値段下がるかもって話だけど、この辺使って安価な395+搭載マザーとか出してくれんかな あと、LM StudioがやっとGLM4.6サポートされてた >>722
MiniMax2 が動くのは M3 Ultraだけだよ！
3090ダブルをLLMで動作させると、電子レンジをずっと回してるみたいなもの
mac studioならいって200W。(定格がでっかいのはTB5の電力全力で計算しているから)
LLMまわしてもほぼ無音。MBPは普段は無音なんだけどLLMの時はファンが小さいからうるさくなる
cluade sonet 4.1 Grok4 より賢い
www.minimax.io/news/minimax-m2
待てるならM5 max (Ultraが微妙。RAMも256MBくらいか?) のほうがいい
armもM4からarm9になってCPUコアが根っこから速くなってるし
DGXはない。どの用途で使っても遅くて高い >>729
デモ試したけど、日本語むちゃくちゃだな>minimax-m2 >>730
うむ、APIも試したけど謎言語で返答されてしまうww
英語でも中国語が混ざってくるから中国語だけっぽいな >>712-713
ありがとうございます、自分の環境でもKVキャッシュを
オフロードしたほうが若干反応が早くなりましたが、
デメリットは無いのか気になります
コンテキストサイズはなんとなくデフォの倍の8192を
設定していますが、モデルや用途によっても
変える必要があるとの事で色々やってみます m(_ _)m セーフガードをコントロールモデルとな
脱獄ワードや履歴改変しなくてもエロいけるか?
(READMEくらい読めって?)
gigazine.net/news/20251030-openai-gpt-oss-safeguard gpt-ossの元々naughty方面ガチガチな性質を操作するんじゃなく上乗せするだけのものと見た mradermacher/RAMEN-SHIO-235B-GGUF
このラーメン試せる人お願い 大学院レベルの知識強化した学術特化かつDPOのみでチューニングしたモデルに何を試せと llama.cppでQwen3-VL使えるようになった～ LM StudioでBerghofとかMistral Prism使ってシチュボ台本作りたいんだけど、オホ声セリフ出してくれるモデルのおすすめある？
takuyaは淫夢の影響きつすぎて・・・ >>721
arm macの性能いいのってx86よかメモリ帯域が極端に広いおかげなんかね GLMはCommand A Reasoning 0825よりいいのかね
結構評判良さそうだし、Airの方だが試してみるか 何周遅れか分からんけどgpt-oss-120bとopen Web UIにsearXNGでほぼ一昔前のOpenAIと言っていい環境をローカルで再現出来て満足
これでエロというかセーフガードなければ文句なしなんやがなあ
VRAM16GB+RAM128GB構成だとアクティブパラメータ2血�いくとやっぱｂ闥xいから
gpt-ossとかQwen3 a3bあたりの路線でもっと高性能なの希望や RTX買おうと思ってるけど、
128GB (32GBx4) @ 3600MHz
64GB (32GBx2) @ 5600MHz
どっちにするべきかな
やりたいのは動画よりはLLM推論・学習 OpenRouterのfreeモデルでエロに使えるのって何がある？
DeepSeekが全く使えなくなったから他を探してるけど脱獄が難しい hiratagoh/SIP-jmed-llm-2-8x13b-OP-instruct-GGUF
医療用ってさぁ
結構エロいよね >>748
Grok-4 Fastとか実質タダみたいなもんじゃね？ >>744
単純にチップがクソでかい
AMD Intel NVIDIAより先にTSMC5nm 3nm 2nm使えるからワッパが良くてトランジスタ数も多いCPU・GPUを作れる
高速ユニバーサルメモリもその副産物 open routerはkimi k2が一応free版があるから使えるかもしれません >>750
金払うならDeepSeek v3.2がもっと安いんよね
>>752
kimiの脱獄って難しくない？ kimi2とかってファインチューニングやらloraで脱獄はできんの？🤔 私はkimi k2は本家のapiでしか試したことはないのですが
そもそも脱獄がいらないので、直接エロプロンプトでやってますよ
open routerはapiの方で規制かかってるかもしれませんが
モデル自体は規制はないです OpenRouterのkimi k2はモデル自体はあるけど9月中旬からほぼ使えなくなってるみたいだわ OpenRouterのフリーで日本語使えるモデルはほぼ全滅でしょ 俺はredditでわりと評判の良いnano-gpt.comに移行した
月8ドルはまあまあするけど主要なオープンモデルは揃えてるし1日2千or月6万リクエストまで行ける 人気のない小規模LMならローカルで動くからプンルー要らんのよな
そもそもオモチャやし open routerのkimi k2は有料だとinput $0.5,output $2.5と普通のapiと比べれば
割と安いので、$5くらい払えば1か月くらいは遊べそうではあります 金払っちゃうんだったらKimiよりGLMのがいいけどな
Kimiはガチガチで脱獄しても健全なエロしか書かないけどGLMの方が文章力あってロリでも近親でも何でもあり >>760
良い物教えてくれてありがとう
ccr、roo-code、continue.devからopenrouterを追放できたわ わいはchutesを使ってるわ
一番安いプランなら月3ドルで1日300回の制限やからチャットだけなら困らん
オープンウェイトのモデルしかないけど有名どころは一通りそろってる これからは子供がクリスマスにグラボをお願いする時代になるんだろうな grokはllmエロいけるしチャッピーもそのうち解禁だからローカルllmの意義が減ってきてる気がするんだが、このスレ的には何に使ってるの？ 俺はローカルllmやるで
もはやエロ関係ない(脱獄すればできるし)
ポテンシャルがえぐいんよローカルllmは そうなんか、そう言われるとやってみたくなるな。
5090は近々買う予定なんだけどこれで足りる？nvidia 同士なら分割処理できるみたいだし、でかいモデル用に3060 12g一つ買い足しておいた方がいいかな。ラデオンとの分割は無理っぽいよね。 ローカルで動かすことそのものが目的みたいなところはある
あとはまあ、うちの子（AI）はローカルで完結させておきたいし >>773
まんま同士だw
実は俺ももう5090買うところなんだよ
俺個人はグラボ2枚刺しは今のところはやるつもりない、けっこう熱とか電力とか食うみたいだし
まあ動かしたいモデルにもよると思うけど…
ちなみに購入サイトとかまだ決まってなかったら、フロンティアではDDR5メモリ128増設で73万くらいで割りと安く買えるからおすすめかも パーツ高騰でもう買い替え無理だし
今のメモリ128GBVRAM24GBで5年は戦うしかない
MoE技術の進化が末端まで降りてくることに期待してわたし待つわ 今からやるならPCを分けたほうがいいと思うよ
少し上の方にも書いてあるけどLLM専用としてMac Studio >>721
画像生成用として5060Tiか5070TiあたりのPCを使うとかさ
まぁ、どれくらい本気でやりたいか、どっちを優先したいかだよね
少しやってみたい程度なら5090は十分すぎるけど本気でやりたいならMac Studioには勝てない >>773
llama.cppのrpcならnvidiaとamdの分割処理もいけるよ >>775
いいね。俺は事情で月末になるけど参考にさせてもらうわ、ありがとう。グラボ2枚はややこしいよなやっぱ。
>>776
たりないのか、一体いくらvram あれば実用できるんだ…
>>779
rpc か、結構ややこしそうだね、ありがとう。
>>774
ちなみにどんな子育ててるん？育て方もよくわかってないけど、育ててみたい意欲はあるんよね。 高密度モデルだと5090を活かしきれるモデルではメモリが圧倒的に足りない
32GBに収まるモデルだと5090活かしきれないというジレンマ
MoEだとメインメモリに律速されるのでGPUはそれほど変わらない
LLM目的なら5090は正直おすすめしない やっぱmac studioになるのか？
それか30902枚か >>784
200B以上のMoEを最低限の速度でも良いから動かしたいというならmac studioが良いんじゃね プロンプト処理速度は遅いけどdeepseek系でも20t/sくらい出るらしいし
逆にVRAM48GB構成は100BクラスのMoEも載り切らないし、70Bクラスのdenseモデルが最近出てないから微妙になってきてる RTX xx90系を2枚刺しはあまり現実的ではないよ
1枚で3～4スロットの厚みがあるし長いからE-ATXくらいのクソデカマザーか外付けじゃないと物理的に取り付けられない（ケースも無理そう）
電源は最低でも1500Wくらいで12V-2x6が2つ必要（それかデュアル電源）
一般家庭は「壁のコンセント」が1500Wまでだから実質的にエアコンみたいな専用コンセントが必要
そして爆音爆熱
xx90系はかなり特殊だから一度しっかり調べたり実物を見に行ったほうがいいよ 複数台マシンで分散させて動かすのはあんま流行ってないかんじ？ 正直ポテンシャルはエグくないと思うけどなー
vram32gb1枚刺しで見られる夢は小さいぞ うーん775だけどmac再燃しはじめたな
まあゆっくり考えよう
M5は来年だっけ 4090x1と3090x3で運用してるけどリミットかけたうえで1500W電源でギリギリだな
ケースに収めることは最初から放棄してライザーカードでにょきにょき生えてる ええ!?RTX5090を複数刺ししたいって!?
そんなあなたにINNO3DR GeForce RTX™ 5090 iCHILL FROSTBITE
......どう考えてもコンシューマー向け製品じゃないよコレ MacはM5チップ世代からGPU側に搭載したNeuralAcceleratorでようやくまともなfp16性能が出るようになったんで、今からならM5MaxやM5Ultraを搭載するであろう新型Mac Studioを待ったほうが良いと思われる Mac m3 って96gbメモリでもファインチューニングとかできるんかな 5090複数枚狙うぐらいならQuadro系統の方が良くないか?今度出るRTX5000PROが72GBのはずだし。 aquif-ai/aquif-3.5-Max-42B-A3B
日本語対応でなんかえらいスコアええのぉ 5090ってどれくらい電気使うの？１０００Wじゃ足りない？ 5090の1枚だとLLM用途には非力
大きいモデルを動かすにはMoEになるけどメモリが遅いせいで、5090がフルパワーになることなんてほぼない
200Wから300Wの間で、いいとこ200W付近だな
動画・画像生成ならOC無しで575W付近だな あと電源は複数構成にしてて、RTX5090専用に1000Wを用意してる >>797
俺もそう思う
あとRTX Pro 5000じゃなくて6000もう出てないっけ モデルを学習させたいのならRTX、
大きいのを推論させたいだけならMACでしょう みんな一体何を推論させてるんだ…夢は感じるけど具体的に何しようか自分でははっきり定められない。 学習させようとなるとローカルではさすがにきびしい
サーバーレンタルしたほうが絶対にいい LoRAとRAGならRAGの方が難易度高いんだよね？Super RAGだかって簡単にやってるけど、あれはLoRAじゃないの？ RAGはそもそも学習させてるわけじゃないし単にベクターストアとかに格納した内容を参照させてるだけだから別に難しいこともなくない？ 難しいのかぁ
べつに30Bくらいのを学習できるとは思ってないけど、ちっちゃいのでもやれるといいけど
RAGのことも勉強しなければ >>802
Ti SUPER相当のシリーズがRTX Proでも来るってリークあったんよ。そっちの5000PROが72GBという話。6000PRO SUPERが来るならワンチャン128GBもあるかもしれへんね >>804 OpenHands とかで「改良しつづけよ」という雑なプロンプトで自動的にプログラムを改良してもらってる
時間かかるし、途中自分でスナップショットとって失敗に気づいてgit巻き戻して、と人間臭くて笑ってしまう
何度も失敗するから有料API使うと目の玉飛び出す金額になってしまうから、こういう用途はローカル向き
M4 Max 128G でVRAMに120GByte回してるから、python側(推論しない)は mbpで回している
120GByteでギリギリだよ。96Gだと頭の悪いLLMしか動作させられなくて結局成果物ができない
AI Max+ は Linuxなら120GByteくらい回せるらしいからワンチャン動く 96でも頭わるいのかぁ困ったな
金がいくらあっても足らん
今のM3はファインチューニング向いてないらしいけど、M5出たらそこも改善されるといいなあ 複数枚とか考え出すとgpuクラウドが輝いて見えだすしローカルは険しいよ 有名なYoutuberがGPU8枚挿しでローカルLLM動かしてた気がする クラウドで微調整するにしても最低3090以上のローカルGPUも欲しい
学習設定やデータセットをテストを小さいモデルでやるにしても全部クラウドでやると無駄に金いくらあっても足りないし微調整後の推論は結局ローカルGPUだし 火出そうって・・・
マイニング流行ってた頃はパワーリミットしてたとは言え、20枚挿しも珍しくなかったんだから8枚挿しくらい余裕だろ
マンションとかならともかく一軒家ならブレーカー落ちることないし マイニングとか何世代前だよ
最近ので8枚とか普通に暖房だろ
業務用サーバーレベルだぞ 昔のGPUなら８枚でも良かったが5090を８枚なら燃えると思うｗ 普通の個人はパイプライン並列だろうし電源は意外と余裕ある
うちは300W gpu x2が650W電源で働かされてる ブレーカー落ちるし、そもそも電源ボックスで起動すらできない
50A契約とか三相電源とか考えないとな、コンセントは15Aが定格 グラボの為に、エアコン用の200V電源とか使ってる人いるのかな 