なんJLLM部 避難所 ★10
古いPCでDDR4-128GB(今のPCのGPUを付け替える)にしようかと思ってたけどDDR5にすべき？
メモリってベンチマークでは差が出るけど実際にはDDR4・5変わらないって話を聞いて悩んでる
実際の所どうなんだろ？
>>460
ありがとう ちょっと出遅れたけどキャンセルになることなくなんとか買えてさっき置き配回収した
世界が変わった、そこまでか！DDR5早い？
>>453
取り合えすStable DiffusionがメインでLLMも気になってるくらいだからまだ出せないわ
今のGemini3とnanobababaの品質ならすぐにでも買うけど多分まだまだだよね
ただ、AIさんに来年にはローカルでも同程度になるかと聞いたら、昨今のLLMの進歩を見るとなる可能性が高いとい言ってたw
しかもメモリも節約できるタイプが出るみたいな話で大変楽天的だった
場合によってはそこそこのPCを買って待つのもありじゃないかと思ったりしてる 5090持っててやるべきは、動画生成系だと思うよ
Stable Diffusionの生成スピードが速くなるけど、別にできないわけじゃない >>461
DDR4もDDR5もLLM用途だと相対的に見ればたいした差はないよ
DDR5の新品だと今の状況だと2倍以上の価格差になるので128GBまででいいならDDR4にしてその価格差で容量増やしたほうが絶対にいい
というかDDR5の64GBの2枚が30万ってうぇぇぇ・・・・ Gemini liveが手軽なサイズでローカルに降りてくるのはいつになることやら 昔見たPCI-Ex16にM.2 SSDを四枚挿してRAID0でSWAPdisk？だったかでメインメモリの代わりにしてデカいLLMを動かすのがいいかもしれない
PCI-E 5.0なら理論上は512Gbpsの帯域幅あるけど実際のところどうなんだろうね
まあSSDも値上がってるけど DDR4もどんどん生産終了になっていくとか聞いたしメモリは27年まで枯渇しっぱなしだし
数年待てないなら早く買った方がええな こんな状況だから来年は省メモリに最適化したLLMが出てくれると嬉しいな 性能を上げるためにモデルを巨大化した結果、メモリ不足になったわけで
高性能かつ省メモリなモデルができるならメモリ不足も起こってないという でもエロ学習をどんどん弾くようになってるし自力で簡単にモデル作れる世の中になるまで絶望的な予感 >>470
今まではメモリが調達できる状態だったからその方針で進んでいただけで
調達できなくなったらそれに適応するように方針を変えるやろ
他の分野でも必要なものが調達できなくなってからようやくその部分を代替・効率化する技術が発展するとかよくある話だし DDR4を入手よりも対応するマザーボードの入手が難しい
CPUやメモリは耐久性高いんだがマザーボードは大量の部品の集まりで故障しやすく中古はハイリスク 条件付きとはいえDDR4の生産終了が延期するらしい
DDR4がレガシー化してるとは言え、この動きが続けば俺としてはありがたい・・・
Samsungが主要顧客と「キャンセル・返品不可」の契約を締結しDDR4の生産終了を延期
https://gigazine.net/news/20251225-samsung-ddr4-ncnr/ 5090と192めもりあるから何かに有効活用したいけどやっぱり動画生成に向き合うのがいいのかなあ 64GBx2の価格が上がりすぎて、静電気怖くてAI用PC弄れん。 5090あるなら32BくらいまではQLoRAできるし画像生成系でもSDXLのfull finetuningもできるし学習なら割と遊べる Mac買い替えるんだけど、流石に128GBとかは買えないから買えて64GBなんだけどローカルのモデル動かすには中途半端なサイズなのかな？
LLMのこと考えなければ64GBなんて全然いらないんだけど今あるRTX5060Ti+128GB(DDR4)の環境より早くなるならありかなって。。 LLM用途で64GBは後悔することはあっても満足することは無いと思うで うーむ。ようやく化石PCから新調したけど思ったより速度出ないな。
magnum123b iQ3k_mを旧PCで0.17t/s
同Q8_0を新PCで0.41t/s
うーん、なにか設定ミスったかな。まあ、CPUメモリだしなぁ >>431
そちらの環境では何t/sでてますか？
こっちは1.89t/sでしたわ
GLM4.7 Q5_K_XL >>485
4.1t/sですわ
GLM4.7 Q5_K_XL 128GBでQ5で使える170Bくらいの良い感じのモデルが欲しい LM Studioでとりあえず色々なモデルダウンロードしてるんだけど
ふと思ったがファイルってそもそも安全なんだろうか？ 何も考えずに ollama 使ってたけど直接 llama-server 叩いたほうが速いうえに webui も付いてたんだね
ollama ってなんのためにあるんだ… GLMくらいのサイズのMoEで要らないエキスパートを外せれば128GBでも動きそうだが
メモリ128GBの貧乏人のことを真剣に考えてくれる開発元はQwenくらいしかないのが悲しい現実 米欧中のモデルって中身がほとんど英語と中国語だから
日本語メインのユーザーから見たらスッカスカのsparse状態だよな
もちろん英中を抜いて精度が維持出来るわけではないだろうが
日本人があまりにも不利すぎる >>487
さんきゅ
コンテキストをVRAMに乗せて、メモリ設定をexpo1にしたら、generate 2.16t/sになったけど、まだ半分かぁ >>480 予算という制限は最優先だけろうけど64GBはちょっとつらい
Macはメモリ全部をVRAMに回せるんだけど、当然OSの
分が必要なわけで 8から10GByteは少なく見積もったほうがいい
もともとQ4対象とするモデル(gpt-ossとか)じゃないと劣化が激しくて
実用には程遠い(Q1で「動いた!」と夢を見てもねw)
最近MoEが流行ってきたせいで128GByteでもちょいちょい足りない
待てるならM5 maxを待った方がいいよ
M3チップから先のM系CPUは、mlxモデルなら量子化圧縮の他に内部でリアルタイムで
コストなしにメモリー圧縮してくれる
例えば100GByteのモデルだと80GByteくらいになることもある。当然まったく縮まないモデルもある
あと画像動画系はM4maxまでは使いもんにならんので素直にRTXを選択だ オープンなモデルで見ると中国製はまだ日本語わかる方で英語圏のはマジで日本語知らない
Llamaとかきついね
最初あれを日本語ファインチューニングしてた会社多かったけどqwenの方が日本語分かるってみんな乗り換えたし DRAM市場は価格変動が激しく、利益率が低いことで知られています。
特に、AIブームによるサーバー向け需要が優先され、PC向け供給が逼迫している現在、
ASUSのようなPCメーカーにとっては調達コストの上昇が深刻です。
噂では、ASUSが2026年に自社DRAM生産ラインを構築（または提携）するのは、
自社製品（ノートPC、デスクトップ）の供給を安定させ、価格転嫁を避けるためとされています。
しかし、この市場はSamsung、SK Hynix、Micronの「ビッグ3」が支配しており、
新規参入は資本集約的で収益化が難しい。台湾企業がこうした市場に手を出すのは、
単なるビジネスではなく、台湾の半導体エコシステム全体の戦略的強化を意図している可能性があります。
台湾政府は半導体を国家安全保障の柱と位置づけ、TSMCのようなファウンドリ（受託製造）だけでなく、
メモリ分野での自立を推進しています。これにより、中国依存を減らし、
米台同盟を強固にする地政学的メリットが生じます。 >>489
画像生成AIの初期にモデルデータに任意のコードを仕込めるのが発覚して
安全なSafetensorsやGGUFに移行したから今はほぼ大丈夫 >>484
PC新調したんやね
同じモデルで比較しなかったのはなんでだろ？ >>498
書き忘れてたわw
iQ3k_mだと1.32t/sやった
Q8でここまで落ちるんかとショックだわ
>>487のニキと何が違うんやろ
多分スペック的には大差ないと思うけど
ryzen7 9800x3d msi rtx5090
メモリcp64g56c46u5✖4 256G
5090怖いんでPL運用 >>499
うひゃ、すごいな
俺は4年前のスリッパなんでそこまで性能良くない
俺のスペックはこれ
Threadripper Pro 5955WX(16c32t)
DDR4 3200MHz 32GB@8枚(オクタチャネル)
RTX 5090+RTX 3090@3枚 PCI4.0接続
違いはメモリ帯域かなと思ったけど
5955WXは2CCDという制約があって、メモリ帯域がまだフル稼働してない状態なんよ
実効帯域は半分の90GB/s弱のはず
これだとDDR5のハイエンドデスクトップと変わらんはずなんよね
Magnum v4 123B Q8試してみたけど0.58t/sだったので、GLM4.7ほどの差はない模様 >>500
すげーその構成でどれくらいの電源が必要ですか >>500
おおお
サーバでvram爆盛りやないすか
土俵が違いましたわw openRouterのGLM4.7はプレフィルにここの<think>のやつを入れたらだいだいOKだな
ただreasoningのほうに本文が全部入って帰ってくることになるからapi呼び出しコードとかちょっと修正がいるかも
ttps://www.reddit.com/r/SillyTavernAI/comments/1pv8jto/glm_47_my_holiday_present_to_those_effected_by/ 帰ってくることになるから ×
帰ってくることがあるから ◎ >>503
4.7の規制解除版が出るまで
huihui-ai/Huihui-GLM-4.6-abliterated-GGUF
これ使ってる
thinkオフにしてやるとレスポンス良くて使い勝手いい
しかも日本語エロ最高ｗ ノベルはどこでみんなプロンプト勉強してるんだろ
学習場所みたいなの知りたい
ちなみに、SDはCivitaiなど先人のプロンプトが物凄く役に立った あと、ノベルに限らずLLMへの質問の仕方で回答かなり変わるしイマイチかん所が分からない Grok先生とのレスバが最強でしょ
ＧＰＴのエロ解禁でどう変わるか >>56
尻タブのキャラクターカードを参考にするといい
https://aicharactercards.com/
ピンキリだけど何の取っ掛かりもなく一人で試行錯誤するよりはだいぶマシだ モデルの進化に伴ってプロンプトの書き方は意味を失っていって、適切なコンテキストを渡せるかどうかの話になっていくから、今からプロンプト頑張っても1年2年で賞味期限切れになる気がする そもそもプログラム言語が書けなくても色々やらせられるのが画期的だったんだからそれを学ぶってのも変な話なんだよな ある程度は同レベルじゃないと会話が通じないのと同じで、AIに高度なことをさせようと思ったら自分自身にも知識が必要という AntiGravity時代やから的外れなコードやドキュメントを指示出しで軌道修正するスキルが一番大事や
書けない分からないじゃなく出してから考えるんや GLM4.7を量子化無しで動かしたいなあ
500万円あったら足りるんかね >>509
ありがとう
キャラクター設定を作るまでは分かったけどそれでどう楽しむのかが良く分からない
SDだとシンプルに画像を作ってみて楽しめるけどLLMはどうするん？
>>511
SD、2年やってるけど、プロンプトは基本的に同じだな、ただ関わってると大きな変更があると掲示板で話題になるからその時一部変更してそのまま移行できてる
>>514
そんなことはない、分からなければ聞けばいつまででも教えてくれる
サンプルプログラムを貼り付けるだけのスキルしか無いから、高度なこと(何が高度なのかすら分からない)は無理だと思うけど、
こんなスクリプト作ってと言って、動くまで繰り返したら中身の全く理解できないソフトができたりしてるわ しかも、Perlしか使えないのに、PythonでGUIなソフトまで作ってくれた
時間はかかるけど、どんな物が欲しいのか(可能なら途中の処理がはっきりしてれば)がはっきりすればある程度はできる時代だと思う
ただ、ファイルの読み書きみたいな基本的な事もお任せしてたら、最近それも忘れてきた、AIなしだと何もできなくなりそうな怖さある >>518
LLMはAIのシステムプロンプトに「あなたはこういう役割だからこういう風に振舞って」と基本ルールを記述しておく。
それとは別に「今からこういうことをして」というユーザープロンプトを与えると、基本ルールに沿った挙動で返信してくれる。
だから例えばAIに対して「あなたはファンタジー小説家です。私はあなたの担当編集者なので私の指示に従って小説を書いてください」という基本ルールを与えておいて
「それでは今から、物語の最初のシーンである勇者が冒険に旅立つ場面を書きましょう」とユーザープロンプトを与えるとファンタジー小説家らしく小説の冒頭を書き始めを生成してくれる。
スクリプト作るときも基本は同じやで。
AI画像生成、特に最近主流のリアスなんかはdanbooru語のプロンプトを与えるだけで良かったけど、LLMはもうちょっと設定の仕方が細かく分けられているって感じ。
さらにAIが理解しやすい記述方法にマークダウン記法とかを使った構造化プロンプトがあるからそれぐらいは覚えておいた方がいい。
構造化プロンプトはZ-image turboでも有効だと判明したからAI生成画像をやる場合でも覚えておいて損はないと思う。 チャッピーとかみんなマークダウン形式でやり取りしてる >>520
これでどうエロに繋げるの？
とりあえず、mistral-small-24b-instruct-2501-abliterated-i1落としてエロ小説にしてと言ったらやってくれたけど、
それなら本でいい気がするが、LLMみんなハマってるし、もっと楽しんでるよね？
いまいち楽しみ方が分からん
あと、プログラム(Perl)だけどやってほしいことを箇条書きや文章で投げるだけばかりだったわ
ただ、AIにプロンプトをお願いしたら###がたくさんあるのを返してくれるな この記法も覚えたほうがいいのか
z-imagaはまだ使ってないけどnanobananaだと誤字脱字無駄な文章ありまくりでもいいものができるし、内部でうまいこと処理してくれてんのかな
>>521
みんなのプロンプト例をあまり見ることがないから知らなかったわ
画像だとあるけど、LLMでもこんなプロンプトでこんな物作ったみたいな例がたくさん乗ってるサイトってあるかね？
そういうのからざっくり勉強(真似)したい チャッピーとかは頭いいから、適当に書いても組みとっていくれるけど
マークダウンで書けば100%指示が伝わるから >>522
絵だってAIで生成せずともpixiv見るなり画集やCG集買うなりすればええやろ？
でも自分好みの絵が欲しいからAIで生成しているわけだ
文章も同じで自分好みの小説やキャラとのチャットを楽しみたいからLLMで生成するわけだ
本で満足できるなら別にLLMで生成する必要は無いで
エロに繋げるならエロ小説だけでなく
koboldcppのアドベンチャーモードを使って、プレイヤーの行動を記述することで物語が順番に進むエロTRPGみたいなこともできるし
単にキャラ設定を書いて自分好みのキャラとエロチャットを楽しんでもいい
妄想力とリビドーを働かせて遊ぶんやで >>522
自分のお気に入りのキャラ（版権でもオリジナルでもいい）の設定を書いて
自分好みのシチュエーション提示して書いてもらったりする。
エロなら竿役の設定もね 絵は長らくdanbooru語で書かなきゃいかんかったから変にプロンプトぢから必要なだけで
こっちは日本語でも英語でも人間相手に分かりやすい書き方なら何でもいい
典型例にはmarkdownがある やりたいことやモデルにもよるけど、AIが得意な言語に合わせるのは重要だぞ
Nano Bananaは日本語だと全然言うこと聞かなくて
プロンプトを英語に翻訳したらあっさり意図した画像が生成できたりする >522
よく分からないうちはもっと大型のLLMでやるほうがいい
gemini3.0proのAPI版とか
で、文章生成AIスレを両方とも覗いて参考にするのがベストに思える
ある程度小説読むひとなら、エロを主目的にするよりは文章を書くことを目的にしてエロで習慣化する、てのがいいんでないの
面白さを優先してたらエロさと微塵も関係ない話を10万字書いてました、みたいな話はあるあるだしね
数を書くと文章の型とキャラの型が出来てくるから、そこまで行けばあとは好きに作れるようになるよ >>522
ローカルAIなんてGPTやらGeminiやらと性能が雲泥の差があるから、余程の特定用途でもない限りローカルAIを、しかもエロ用途で使わない。
そういったコアな質問をしたかったのかな？ MiniMax-M2.1って出てんねんな
229Bだって
MiniMaxってあまりここで話出てこないけどどんなんやろ MiniMaxは日本語全然ダメやね
表現が貧弱というより日本語で答えろって言っても中国語か英語になりやすい >>524,525
同人誌を知らない人が、初めて同人誌というものを知ったら夢中になるじゃん
同じ様に、ローカルLLMをどんな風に楽しく使ってるのか、どういう世界があるのかが気になってる
チャットだけどエロゲ(殆選択肢なし)は昔良くしてたけど、主人公の発言がもし大量に必要ならコミュ力無いから正直進められる気がしないわ><
自分をアシストするような強化したLLMを用意したらいけるかもだが
あと、ソフト使ったりそういう感じで作り込んだりするんだな勉強になる！
ただこれって公開してる人居ないのかね？2chの頃だと自作小説を延々と投稿する人とか居たけけど最近そのスレ見かけない
>>527
かなり適当な書き方やDanbooru語でもいい感じで出るけど、英語必須って色々とレベル高そう
>>528
つい最近ローカルLLMはじめたんだけどサイズ的に小さいかな？ ただ、思ったよりも的確で驚いてる所。
パスワードとか個人情報がたくさんあって表に出したくないのはローカルで使えそうな気がしてる。
また、無料しか使ったこと無いけどGemini有料版は更に優秀？無料でも十分凄いと思ってる所だが使いこなせてないかも
あと、文章生成AIスレあるのか、見てみる
>>529
自分の場合版権もの多めでエロ画像を1日5000枚くらい見たいという熱烈な欲望があって生成AIをはじめた
GeminiはSDのLoRA学習元画像を作るのに使ってる
このスレではSDよりも高価なPCを用意してLLMで楽しんでる人も多く、どう楽しんでるのか気になってる感じ
自身はヌルオタで情報集めるのが下手で同人という世界を知ったのもかなり遅く、楽しそうな世界はあるような気はするけど、具体的な世界が見えない感じ
ただ、規制なしLLMは元々化学を専攻してた身からすると、どこまでも知識を掘れるのは面白いと感じてる、作ることはないけど知識欲はなかなかに満たしてくれる
あとRAGとか？うまくすれば、ちょびっツみたいなAIが作れるのかとか気になってる 自分もコミュ力ないから画像認識モデルに画像投げて「過激で性的なストーリーを」で終わりよ
Qwen3-VL-32B-Instruct-hereticあたりならノリノリで書いてくれるぞ
AI絵に設定やストーリーが加わるだけでも没入感が全く違う >>532
主人公の発言なんて1文でもいいよ。あとはそれに沿って適当に進めてくれる
もしくは3つの選択肢に番号を振って提示させるようにすれば「1」って打つだけで選択肢1の内容を書き進めてくれるようになる
1. 町に出かける
2. ダンジョンを探索する
3. エルフの村を襲撃する
みたいに文章の終わりに次のユーザーの行動の選択肢を提示させるようにするんだ
他にもキャラ設定とシチュエーションを練り込んで、「昨日1日中犯され続けたことについて1時間ごとに区切って詳細に報告しろ」って言えば
どんな風に犯されたのか好きなキャラが淫語連発しながら報告してくれるとか色んな遊び方があるぞ
とにかく発想力をフル活用して自分がエロい、楽しいと思う遊びをするんだ
ある程度賢いモデルなら大体のことは出来る BTO受注停止騒ぎの直前に新規にPCの発注をかけてたけど
納期が長いと冷静になっていけないなぁ…
外部のAPI経由でLLM使うなら
メモリを128GBにしなくても良かったんではないかとか
今になって頭の中でぐるぐるとしちゃって困る
GPUは16GBで抑えちゃったのになぁとか 