なんJLLM部 避難所 ★10
5090(購入済み)で今新規にPCを組もうと考えてるんだけどメモリは何GB積めば良い？ 今、メモリ買うのかい、夏まで１／５の値段だったのに >>445 やりたいことはやったらいいけど メインメモリ128GBだとQwen3 235BのQ4は多分無理。Q3になると思う。 今はLLMもAI画像もAI動画も最低128GBは欲しいところ >古いPCに電源とGPUだけ載せ替えたら？ってくらい時期が悪い ちょっと前のMI50は今買うddr5より容量単価安かったな… 金有りそうだからryzenAI max+ 128GBにM.2からのoculinkで5090を接続するのを試してほしい メインメモリ128GB&VRAM24GBでQ4のQwen3-235bが動いとるで 今ってデカいメモリ持ってる場合の最適なモデルってQwen-3-235Bなの？ >>455 >>455 MiniMax M2.1 単に日本語応答だと学習量足りなくて雑魚になってるだけかもよ >>445 古いPCでDDR4-128GB(今のPCのGPUを付け替える)にしようかと思ってたけどDDR5にすべき？ >>460 >>453 5090持っててやるべきは、動画生成系だと思うよ >>461 Gemini liveが手軽なサイズでローカルに降りてくるのはいつになることやら 昔見たPCI-Ex16にM.2 SSDを四枚挿してRAID0でSWAPdisk？だったかでメインメモリの代わりにしてデカいLLMを動かすのがいいかもしれない DDR4もどんどん生産終了になっていくとか聞いたしメモリは27年まで枯渇しっぱなしだし こんな状況だから来年は省メモリに最適化したLLMが出てくれると嬉しいな 性能を上げるためにモデルを巨大化した結果、メモリ不足になったわけで でもエロ学習をどんどん弾くようになってるし自力で簡単にモデル作れる世の中になるまで絶望的な予感 >>470 DDR4を入手よりも対応するマザーボードの入手が難しい 条件付きとはいえDDR4の生産終了が延期するらしい https://gigazine.net/news/20251225-samsung-ddr4-ncnr/ 5090と192めもりあるから何かに有効活用したいけどやっぱり動画生成に向き合うのがいいのかなあ 64GBx2の価格が上がりすぎて、静電気怖くてAI用PC弄れん。 5090あるなら32BくらいまではQLoRAできるし画像生成系でもSDXLのfull finetuningもできるし学習なら割と遊べる Mac買い替えるんだけど、流石に128GBとかは買えないから買えて64GBなんだけどローカルのモデル動かすには中途半端なサイズなのかな？ LLM用途で64GBは後悔することはあっても満足することは無いと思うで うーむ。ようやく化石PCから新調したけど思ったより速度出ないな。 >>431 >>485 128GBでQ5で使える170Bくらいの良い感じのモデルが欲しい LM Studioでとりあえず色々なモデルダウンロードしてるんだけど 何も考えずに ollama 使ってたけど直接 llama-server 叩いたほうが速いうえに webui も付いてたんだね GLMくらいのサイズのMoEで要らないエキスパートを外せれば128GBでも動きそうだが 米欧中のモデルって中身がほとんど英語と中国語だから >>487 >>480 予算という制限は最優先だけろうけど64GBはちょっとつらい オープンなモデルで見ると中国製はまだ日本語わかる方で英語圏のはマジで日本語知らない DRAM市場は価格変動が激しく、利益率が低いことで知られています。 >>489 >>484 >>498 >>487 のニキと何が違うんやろ >>499 >>500 >>500 openRouterのGLM4.7はプレフィルにここの<think>のやつを入れたらだいだいOKだな 帰ってくることになるから × >>503 ノベルはどこでみんなプロンプト勉強してるんだろ あと、ノベルに限らずLLMへの質問の仕方で回答かなり変わるしイマイチかん所が分からない Grok先生とのレスバが最強でしょ >>56 https://aicharactercards.com/ モデルの進化に伴ってプロンプトの書き方は意味を失っていって、適切なコンテキストを渡せるかどうかの話になっていくから、今からプロンプト頑張っても1年2年で賞味期限切れになる気がする そもそもプログラム言語が書けなくても色々やらせられるのが画期的だったんだからそれを学ぶってのも変な話なんだよな ある程度は同レベルじゃないと会話が通じないのと同じで、AIに高度なことをさせようと思ったら自分自身にも知識が必要という AntiGravity時代やから的外れなコードやドキュメントを指示出しで軌道修正するスキルが一番大事や GLM4.7を量子化無しで動かしたいなあ >>509 >>511 >>514 >>518 チャッピーとかみんなマークダウン形式でやり取りしてる >>520 >>521 チャッピーとかは頭いいから、適当に書いても組みとっていくれるけど >>522 >>522 絵は長らくdanbooru語で書かなきゃいかんかったから変にプロンプトぢから必要なだけで やりたいことやモデルにもよるけど、AIが得意な言語に合わせるのは重要だぞ >522 >>522 MiniMax-M2.1って出てんねんな MiniMaxは日本語全然ダメやね >>524 ,525 >>527 >>528 >>529 自分もコミュ力ないから画像認識モデルに画像投げて「過激で性的なストーリーを」で終わりよ >>532 BTO受注停止騒ぎの直前に新規にPCの発注をかけてたけど PC新調しようかと思ったらネット注文不可 流石に2週間遅くないか 新しいモデルを作ったで 小説生成支援アプリのproject wannabeと合わせて使ってみてほしいやで https://huggingface.co/kawaimasa/Wanabi-Novelist-24B-GGUF >>538 mradermacher/Mistral-Large-3-675B-Instruct-2512-i1-GGUF ヒイヒイ言いながらddr4 3200 32gbを中古で買い集めて128GBにしたよ >>543 >>538 http://127.0.0.1:5001/api/extra/generate/stream. Details: --- >>533 >>534 >>545 http://localhost:5001" ;のメッセージを確認し、5001以外のportが使われている場合は設定→KoboldCpp設定→KobldCpp API portをkoboldcppの表示に合わせる >>547 >>547 >>545 で書いたようなエラーが出てしまいました http://127.0.0.1:5001/api/extra/generate/stream. Details: --- >>549 http://localhost:5001 が開けるか（5001は手元のport番号に合わせる） 3090(24GB)x2＋メインメモリ128GBで、Qwen235B-A22Bも123B系も0.5t/sくらいなんだが、もうちょい早くならんもんかね >>551 >>550 >>555 の続き >>552 価格コムでVRAM16GBで見てたら >>555 >>558 https://i.imgur.com/jd8G4zK.png 8枚64万円とそれを動かす巨大リグをなんとか構築しても128GBにしかならない、という時点でどうもこうもないような >>563 VRAM128GBとメインメモリ128GBあれば大抵のことはできる パフォーマンス重視ならllama.cppを直接叩いたほうが良いのでは ただデカいモデルが動かせれてコンテキスト出力されるまでの時間が5分とかかかってもいいなら4枚刺しが正解と実際に検証した俺が言ってみる 画像や音声生成は苦しいがLLM目的ならradeonも選択肢に入るんやで。 >>555 >>561 >>555 様の言われたとおり、 >>565 >>567 5060tiのメモリ帯域はそこまで速くないからなぁ… 画像/動画生成用途ならGPGPU性能が物を言うし LLM用途しかしないなら、Mac Studio（512GB）が最強やろな 以前なら150万あったらxeonでメモリ1tb載せられた・・・ 今の状況で512GBのMacとかいくらになるんだ 5060Ti の帯域が狭いなら5070 Tiとか？これでも5090と比べたら半値でVRAM(16+16)確保できる >>562 >>562 >>579 >>562 はGLM4.7でkvキャッシュ量子化してないからメモリに結構余裕がありそうやな >>578 >>582 macは初速は速いけどコンテキストが大きくなってくると生成前処理が致命的に遅くなる gpt-oss-120bなら5090 2枚で設定は不明だが78 tpsは出るらしい PCIe経由ってのがボトルネックだよね。PCIe7までいっても512GB/s程度だし あと5090単体でも15 tpsは低すぎるし設定ミスってそう 今4090で試したら18token/s出たから ちなllama.cppでBlackwell世代のGPUを使ったときにmxfp4が高速化するようになったのは1週間ぐらい前のことやから 最新の7588を試してみたけど5060tiだと少し前の7502と比べてtpsに違いはなかった 5060tiでそれやと5090なら30近くは行きそうやが最新ビルド版で高速化しなかったんはよくわからんやね https://huggingface.co/bartowski/openai_gpt-oss-120b-GGUF-MXFP4-Experimental 5090で120bだとボトルネックがGPU側ではなくメインメモリの帯域だからじゃない？ 全部VRAMに載ったらそもそもインタフェースの速度を気にする必要がないから段違いの速度なるで >>592 gpt-oss-120bをVRAM16GB,メモリ64GBだと落ちる寸前だな >>597 VRAM72GBのpro5000も年明け出荷のようだし、geforce多枚積みよりはこっちの方が筋いいわな あけましておめでとうございます本年もよろしくお願いします >>561 RTX 5090は5,000ドル（約78万円）に値上げする見通しとか VLM動かせる環境作ったからQwen3-VL-235B使ってみた https://i.imgur.com/n74THhW.jpeg グラボの値上げえぐすぎるだろ >>604 横からだけど厳密にテストしたわけじゃないけどQwen系はパラ数デカい方が規制緩くて小さい方が厳しい感じだったな LGAI-EXAONE/K-EXAONE-236B-A23BっていうLG製？のモデルが出てるけど どうだろ 韓国語って元々漢字ベースだったものをハングルに置き換えたせいで同音異義語を文脈からしか区別出来んからLLMモデルしんどそうだな GLM4.6 357B Q4kmがubuntuでKoboldCpp linux版で4.5token/s出たので報告。 >>612 倍以上早いってよりかはWindows(のNvidiaのドライバ)だと勝手にVRAMからメインメモリに漏れるから ローカルLLMでエロチャやるには3060やと力不足なんやろうなぁ… >>615 >>612 >>612 >>619 >>617 Windows llama.cpp: 4.18 t/s 出るならそっちのが快適かも。 >>620 >>620 grok先生がエロで責められてる ローカルで遊んでる人はgrokでエロ画像と言ってもピンと来ないだろ 今日からLM Studioやってみてるのですが メモリなんて上がる一方だから増設できるなら今増設しない手段は無いわ 色々試したが結局magnum v4 123b Q8_0から離れられないワイ やはり増設ですか >>630 DDR5の4枚はbiosアプデしなかったら起動すらしなかったんで気軽にやろうとしてたから少しビビった MBやメモリのの当たり外れによるけど、4枚が同じモデルであること前提で 去年なんJNVA部スレの方でDDR5の4枚をデフォの3600で使わず5600で使ってたら まだメモリ増設はしてませんが、とりあえず試しに >>562 オーバークロックはアホのやることだよ まーオーバークロックってのは、出るかもしれない運転だからね、パッケージに書かれているのは最低保証クロック数で moe系みたいにメインメモリ上でガッツリ回す用途にはメモリクロックさえ上げてりゃ効くから、レイテンシほぼ縮んでないJEDECネイティブ高クロックが珍しく効果を発揮する >>639 Grok先生が叩かれているせいで、GPTのエロ解禁がまた伸びそうじゃね >>630 オーバークロックって言っても電圧上げない限り物理的に壊れることなんてほぼないよ」 定格で使ってても壊れるのがPCパーツなわけだから、OCするかしないかは保証を捨てるか捨てないかって話では Qwen3.5でーへんなぁ RTX5060TiでLMstudio使用で、固定キャラとして育てるチャットアバターでオススメなLLMモデルある？ 「んっほぉぉぉおおおぉぉぉおおお！」(少し照れながら) CPUやGPUの製品は性能にばらつきがあって、一番最低の能力を製品につけている。 >>646 新品の３０６０をいくらなら買う？10万出すやついる？ VRAM小さすぎてそもそもLLMでは使えないかと 3060VRAM12GB×４＝48GB＋4090VRAM24GB＝VRAM72GBでLLM動かしてるけど 4090VRAM24GB×４だと電源がもたないのでは？ >>649 >>654 横からだが24GB以上必要で72GBに収まるモデルならCPUとかメインメモリ経由しなくて済むんだから全然違うのでは TITAN RTXがリース落ちで出回っていた頃に全部狩っておけば良かった 4070Ti Super に 4060Ti(16GB)を増設しようと中古購入したぜ。 mGPUなんて殆どやらなくなったし折角なら一度やっておくべきよね だからNVIDIAは高額なGPU一枚売るより、安価な3060を大量に売った方が儲かると考えたわけ NVIDIAにとってコンシューマ向けGPUなんて慈善事業 AIバブルにあぐらかくわけにもいかんやろ >>664 >>658 >>663 >663 中国、「日本の軍事力強化につながる」品目の輸出禁止 だってさ AMD製グラボでの画像生成AIが爆速になるComfyUIアップデートが配信、ROCm統合で生成速度が5.4倍に https://gigazine.net/news/20260107-amd-comfyui-rocm/ radeonばっか使ってるけどllm方面じゃ理論値のrocm頑張るよりvulkanド安定なんよな ってのがこれまでの話だけどどうなるか VRAMの数とCUDA対応かしか気にしてないけど、他に見る要素あるの？ やっとWindowsでrocm使えるようになったんだ ROCmは元々AMD Instinctとかの業務用GPU向けだったから Rakuten AI 700Bか、なかなかやるな三木谷 LFM2.5B-1.2B-JP思ったよりプロンプトに従うし一応エロもいけるな https://www.youtube.com/shorts/odx5NLbYz8g LFM2.5 JPはサイズの割りにはかなり上手くやれてる方なんだけど、やっぱり1.2Bってのはちょっとしんどいところある LFM2.5B-1.2B-JP使ってみたけど、爆速なだけで いまどきは自宅のラボで作ってみたする奴もいるらしいぞ 小規模モデルの性能が上がってくるとそれはそれでワクワクするな 5b未満のモデルはゲーム組み込み用とかそういうニーズもあるやで 会話らしい会話が出来る性能ではないがゲームでどう使うの 実例が今あるのかわからんけど スマホで小型モデルを動かすのが理想だけど ChatGPTを使ってるゲームはあるけど やったこと無いから知らないけど，アダルトな会話が楽しめるスマホアプリはローカルじゃないのか？ >>691 LFM2.5B-1.2B-JP気になって覗きに来たけどローカルでエロチャするには微妙な感じか ローカルLLM使ったゲームはすでにたくさんあると思うよ >>691 Cerebrasがzai-glm-4.7の無料Tierを公開したで https://www.cerebras.ai/blog/glm-4-7 Free TierでRPD=100か >>699 これはモデルが早いというよりはハードウェアが超特殊だからな・・・。 Cerebrasは半導体ウェハを切り取らずにそのまま使ってる https://i.imgur.com/33194P8.jpeg >>680 >>681 >>699 最近始めた人は、日本一高い山は？って質問に富士山って答えられるかでＬＬＭの性能見ればいいよ >>709 >>709 ワイは 文章の良し悪しを判別すること自体も難易度が高いタスクなんだよな 自分の得意な専門分野の事を聞いたら良いんじゃない？ エロ画像を認識させて画像の内容をエロく説明させたいんだけど、おすすめの環境ある？ 初心者はLM Studioが良いよ ありがとう slmが凄いとかいう風潮やめて欲しいわ SLMは色々な用途で普通に役に立ってるし 釣りタイトル文化に問題があるような AI驚き屋ってのがある ラズパイとかが好きなタイプの連中が騒いでるんじゃね SNSで新しいAI情報を紹介してるだけみたいなのまでAI驚き屋といって叩いて煽ってる側が PC新調したしローカルLLM始めたいなと思ってスレ読んでたけど、割とグラボ複数でVRAM増強してる感じなんやね >>729 ちょっと前に比べたらvram16gbに乗り切って日本語ちゃんと返せるモデルが乱立してるのは劇的進歩ではあるよ Qwen235bが出た時に速攻でメインメモリ128GB以上の環境を作れた奴が勝ち組 軽量でも動く設定いれて軽いモデル入れれば動くやつもあるよって感じかな qwenやgpt-ossなどMoEだとGPUは1枚で十分 SLMでフィジカルAIって好きな特徴の女がいたらパシャパシャしまくるデバイスとかそんな奴やろ？ ryzen haloってのはcpuオンダイメモリなん？ 3060復刻、DDR4復刻、AM4復刻 >>726 一般向けでこんなに高騰するんじゃ企業向けの高騰も時間の問題だよな OpenAIが数年分のメモリの大量発注かける DRAM事業はハイリスクハイリーターンだからな 破滅的忘却のせいでAIの性能に限界が出てくる >>745 >>744 ま、人類に与えられたリソースを食い潰す速度がとんでもなく加速してるって事よ >>747 べつにリソースを食い潰してるわけではないだろ >>749 >>751 誰のせいかと言えばトランプ関税のせいでしょう 旧世代回帰で、得をするのはインテルだな、いいね、13世代14世代なんてなかった。インテルの主力は12世代。 そのうちメモリ2Gも積んでるなんてスゲーみたいになるのか 今SSDもヤバい事になってきてんだよね だいたい悪いことは中国のせい 正月だったかパソコン工房でSSD4TBが3万円台で売ってけど買っとくべきだったな >>751 【本文】↓ llamacppで数日前にqwen3-nextの1〜2割高速化のパッチが当たってたみたいやで
