なんJLLM部 避難所 ★7
レス数が900を超えています。1000を超えると表示できなくなるよ。
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★6
https://mercury.bbspink.com/test/read.cgi/onatech/1739448962/ >>798
メインメモリを最大96G gpuに割り当てれるらしいけど本来のgpuメモリとは合算して使えるんだっけ？
例えば4090積んでたら120G使えるとか X2 AIは外部GPUも視野にいれるとOculinkが無いのがちょっとひっかかるな
多分拡張M.2スロットあるからそこに変換基板刺して繋ぐか
USB4で繋ぐという手はあるかもだが Qwen3-32BはQwQ-32Bより日本語性能が低い気がする
単純な上位版ではないっぽい qwen3-30B-A3Bのあんまり使われてない部分を排除した16Bバージョンらしい
14Bと比べたらどうなんだろうね
235Bを150Bに減らすこともできるらしく、そっちはまだっぽい
https://huggingface.co/kalomaze/Qwen3-16B-A3B >>823
bartowskiのIQ4_XS試してみたけど普通にダメそう
出力が欠けてたり文字化けしたりで使い物にならん あんまり使われてないから削ってみましたってロボトミーやんけ 小説用の新しいモデルを公開してProject Wannabeを更新したやで
https://github.com/kawaii-justice/Project-Wannabe/tree/main
https://huggingface.co/kawaimasa/wanabi_24b_v1_GGUF
主な変更点は次の展開を明示的に指定できるオーサーズノート機能に対応したことと、小説の続きを書かせるタスク時に冒頭部分が本文と重複して話が進まない問題を解消した点やね 詳しくはreadmeを見てほしい
データセットも2倍以上に増やして、あらすじや設定等の詳細情報を複数のフォーマットに対応させたから指示性も柔軟性もpreview版より大幅に上がってると思うで
チュートリアルも充実させたから合わせて見ると理解が深まると思うで
プレビュー版に意見くれたニキ達にはほんま感謝や ktransformersって、プロンプトごとに学習データ使用範囲を予測してVRAM、DRAMに振り分けるんでしょ？
そうすると、プロンプト入力が増えるほど、参照が必要な学習データが増えて処理が遅くなるのではと思う。
単発でなく繰り返しプロンプト入力のでの処理時間と結果がどうなのか知りたいところ。
まあ通常使用だと精々5回位しか同系列のプロンプトしか入力しないから問題なさそうだけど。 >>819
今外部のLLM（Claude)でコーディングサポートに使ってて、Qwen3 ならローカルでコーディングサポート出来るかな？と使ってみたけどやっぱり知識的にというか分析的にイマイチおっちょこちょいな感じがするんよね… >>826
更新サンガツやで
まずdev-04-28verのDynamic prompt やけど
{うきうきと|楽しそうに|悲しそうに}などで機能したで！
プロットで試したんやが、本文にもその雰囲気が多少反映された感じで面白いンゴ
ただ初期設定500トークンを超える長さのものだとプロット冒頭に書いたのは影響薄くなるね
ちょっと疑問やけども
設定
キャラA＝{黒髪|赤毛|茶髪}｛内気|悪戯っ子|負けず嫌い｝
てしたとき、ランダムで決めた「黒髪」「内気」は以後ずっと引用される（ように内部で指示されとる）んやろか？ >>826
今回のmain-05-03
オーサーズノートの使い方がようやく解ったで
実際に指定してみたらそのとおり字数かけてくれた
地の文をじっくり書いて欲しいワイからするとメチャ嬉しい機能や！
こんなんが可能ならワイも好きな作家を学習させてみたいと思ってしまったで
ワイは今んトコ好みなんはc4ai-command-a なんやけど
地の文をちゃんと書いてくれるんや、クソ重いけども代え難い魅力や
今回の機能でwanabi_24b_v01_q4km の24Bでもかなりええ感じに思えたんで
いずれRyzenAImaxが普及した暁には c4ai-command-a でのアレンジもお願いしたいで！ >>826
あとまた勝手な希望やけども
恐らく皆、設定にキャラ表を書いとるよね？
キャラ表を別textなりで用意して、別個で読ませたら
「キャラA」「キャラB」とタグができる（消すのはいつものX）のはどうやろか
設定もjsonに書かれとるけども、さすがにスクロールせんと見えんから
「この設定て誰が出てくるんやっけ」となるし、保存したjsonのによっては継ぎ足した差分で混乱するから
ひとつにまとめたいんや
別ファイルにすることで生成する直前にいちいち読みにいかなあかんくなるとは思うけども……
更に発展させると要素カードを作ってマインドマップ的なものを組み立てて、それをストーリー化とか
（NotebookLMがそうなのかもしれんがまだいじっとらん）
三幕構成のフォーマットに穴を埋めていくとそれっぽい物が完成するとかもできそうや
とにかく楽しみやからワイでよかったらなんぼでもデバッガーになるで >>826
GUIっぽくプロットをいじれるようになってワイルドカード使えたら
誰でもアサイラムに就職できるかもしれん
Z級サメ映画フォーマット
├─ １幕目
│ └─ サメの不穏な影（資料映像wild）
│ └─港町 （場所wild）では海辺で（祭wild）の準備中
│ └─ エサ枠のチャラ男チャラ女たち（キャラwild）
│ └─1人が「この海には（伝説wild）があって……と言い出す
│ └─1人行方不明（キャラwild）になる
│ └─ チャラ男が（有力者wild）に危険を訴えるが（理由wild）により断られる
│ └─相手にされないチャラ男たち、お互いの（悪口wild）で罵り合う
├─2幕目
│ └─祭が開始される。突然（空間wild）の中から（突然変異wild）した（サメ外見wild）が群衆に襲いかかる
│ └─（反撃wild）にもかかわらずサメは人間たちを（面白死亡wild）で食べていく
├─3幕目
└─（ひょんなことwild）で、サメは姿を消す
└─（人間は愚かwild）というテーマっぽいことを語る
書いてて思ったけど別に港町じゃなくてもええんよな、雪山とか砂漠にもサメ出るし >>828
公式がQwen3-30B-A3Bの方を勧めてる（openhandsと組んで検証したみたい）
ただまだcloudeやgemini2.5proが圧倒的だね
swe benchに圧倒的な差がある text-generaton-webuiを2.6から3.2に上げたら
ST経由の出力がとんでもなく長くて繰り返しが多くなってしまったんですが
解決法知ってる方いますか？ >>826
更新サンガツ。アイデア出しの時に詳細情報の各項目を出力に含める含めないを指定することは難しいんかな？
設定が長いとプロットだけ書いてほしいときに時間かかるんや。 >>835
大葉とST共にキャラカードとかチャット履歴をバックアップ取ってからクリーン再インストール >>835
アプリの更新で出力の雰囲気が変わるのは俺もあったな
画像生成でもそういうことはあるしある程度は諦めて調整し直すしかないと思う >>830
>>836
使ってくれてありがとやで
dynamic promptは生成されるたびにランダムに選択やね 面白そうな展開やアイデアが出たら、手動で調節する形やね
>>ランダムで決めた「黒髪」「内気」は以後ずっと引用される（ように内部で指示されとる）んやろか？
GUI側で非表示にするだけなら簡単に出来るけど出力時間は同じだから時短にはならんね 特定の項目のみを出力はデータセットから変えないといけないから厳しい
>>更新サンガツ。アイデア出しの時に詳細情報の各項目を出力に含める含めないを指定することは難しいんかな？
データセット変えるのは簡単なんだけど次のモデルに入れようと画策してるアイデア出し時にアイデアの補間（既存の詳細情報を膨らませる）する機能とも相性悪そうなんよね 良い方法が無いか考えてみるわ
機能要望は出来るだけありがたいからどんどん送ってや unsloth/Qwen3-235B-A22B Q3_K-XL がMacBookで動いたから試してみたけど
個人的にはイマイチだった 昨日初めてローカルLLMやったんだが、Gemmaとあと名前すら忘れたけどバカな上にキチガイレベルで検閲ひどくてドン引きしたモデルがあった
そのあとMistral 7B入れたら日本語みたいな言語喋る何者かって感じで会話7割くらいができなかったな mistralは欧州しぐさ強いからアジア対応なんて期待できない Largeは動かせてないけどMistral Smallはあのモデルサイズにしては日本語できる方だけどな rtx4070からrtx5070tiに変えたら少しは生成早くなるかと思いきや、koboldcppでエラー吐いて止まるようになってしまった
AIで調べたらコンテキストシフトが悪さしてるとか言われたけど、GUI上で切っても効果無し
画像生成の方でもz-tipoがエラー吐くしaviutlもエラー吐くし散々だよ mistralにキレてる意味がわからん
mistralに論破でもされたんか？ >>844
グラボじゃなくてドライバ変えたからアカンとか？
最近の緑ドライバ評判悪いし mistralは内部に日本好きがいると思われる
トークナイザーからTekkenとか命名してるし Mistral Largeは123Bだっけ
あの辺気軽に動かせるようになればまた変わるんだろうな mistral large 系のmagnum v4は日本語最強やで >>851
LLMだとLoRAだけ公開ってほとんどみないな
NSFW系小説だと上のwanabi 24bも対応してるしaratako氏の
https://huggingface.co/Aratako/SniffyOtter-7B-Novel-Writing-NSFW-GGUF?not-for-all-audiences=true
これとかも有名や このモデル時代は1年前のモデルやけどXでqwen3 8bバージョンも出すって言ってたから期待してる 汎用的に使えるようにLoRAにする一歩前段階のものがあるといいのだけど 画像生成みたいなLoRA作成環境ってLLMにもあるん？ LLMのLoRA作成ツールはあったはず
前に調べた時にはあった koboldcppに続いてsilly tavernの設定項目の解説をchatGPT先生にお願いしてるんやが面白いな
使ってるberghof-ERP向けの動体温度を採用したおすすめパラメータで組んでみたら挙動が理想に近づいた
ちなみにberghofのコンテキストテンプレート、なぜか俺はずっとmistralV1だと勘違いしてたんだけど多分ChatMLもしくはAlpacaが正解やわ
それにしてInstructモードをオンでやると変な挙動が出なくなった >>847
そうかもやけど乗せ替えたときに最新版ドライバ入れんと動作せんかったんや…
単にグラボ変えただけやのにこんな事になるとは >>836
アイデア出しタスクで条件付きやが精度を維持したまま高速で特定の項目だけ出力できるようにしたやで
Project Wannabeを更新すれば使えるはずや
複数の項目の出力は良い方法が思いつかなったので無理やった Twitterで回ってきたけどQwenにエロデータ学習させてる人がいるらしいからそれ使ってみるか wannabeに触発されて、今更、初めて自分でllmの微調整して量子化までやった
プログラミング分からん俺でもgeminiに聞きながらやったら4日でここまで来れたから、そんなに難しいことではないと思う
データセットとハイパーパラメータとかいうやつは、これからゆっくり学んでいく
データセットの自作はAPI経由で集めるか、AIに作らせるしかないんかな
自分好みにしようと思うとめっちゃ大変だね 学習はデータセット作成に全体の9割の労力を使えと言われるくらいにはデータセットの品質が結果に直結するから頑張るんやで
LLMで合成データを作るなら無料枠をかき集めると安上がりなんでおすすめや
openrouterなら10$チャージすれば無料モデルなら1日1000リクエストまで使えるようになる
googleもGemini 2.0 flashや2.5 flashなら結構無料枠あるしgrokならデータ共有すれば毎月150$のクレジット貰える ピンとこんのやがデータセットって要は大量のドスケベ日本語サンプルってこと？
どういう雰囲気で〜とか指示して書きまくってもらう感じ？ データセットの形式もLLMで作ってもらう内容もモデルの目的次第やね
小説を書かせたいならLLMに書かせるよりスクレイピングなりOCRなりで取得して→LLMには目的に応じて単なるプログラム処理では得られない情報を作ってもらう形やね（例えばあらすじから小説を書かせたいならLLMであらすじを作らせるとか）
チャット用途なら会話履歴自体をほぼ0からLLMに作らせることになるはずや
この場合なら最終的なデータセットの形式も指示文と出力文を用意する形（所謂SFT用データ）になる
特定の知識を与えたい場合は事前学習の方が適してると言われているから特に変形させずひたすらプレーンテキストを与える形式(>>488みたいな)を作ることになる 今って2つのAIに会話させて小説を2人のLLMsで作っていくって出来る？昔Rinnaで2人会話させる昨日作ってたニキがここにいて使わせて貰ったけど、アタオカ2人が会話してて面白かった（使い物にはならんかった 登場人物一人一人にslmを割り当てて監督llmに指示させるのはどう？ 昔のリンナは酷かったよな
STのグループチャット機能使えば行けるんじゃね？ >>851
そもそもQwQ-32Bとかの人気モデルは大抵エロも学習してる
それで満足できるかは人によるだろうけど 32Bってかなりマシなんじゃね？
7Bだと日本語モドキ喋る何者かだぞ STのグループチャットはLLMの性能向上もあってかなり使えるようになったけどまともな会話を続けさせるならユーザーがプロンプトで逐次介入しないと無理だと思う >>872
それ多分設定がうまく出来てない
7Bは複雑な関係や状況は把握しきれないけど普通に流暢に会話出来るよ
むしろ下手な20〜30Bモデルより会話が自然だったりする こことか色々なところの反応見るとchat templateの概念を理解出来てない人が意外と多いのかもなって感じがする
ローカルLLMでまともに会話できないって言ってる人はここで躓いてることが多いイメージ、最近のモデルは7Bとかでも普通に会話はできるよ >>870
基本的な語彙力とかはモデルに頼るとして
エロい表現とかはLoRAで補強したいですね >>872
ほんそれ
最新のナウいやつは知らんけど
大抵の小型モデルは言語をあやつる怪異レベルなんよな >>875
まず長い設定を覚えてくれないから正確なキャラの維持やTRPGゲームマスターみたいなことができないよね
例えばお嬢様でも敬語で落ち着いて喋るお淑やかにしたいのに「〇〇ですわ〜！」連発するとかね
そんでセリフの例を少し渡すと「アレンジしろ」と注釈をつけても同じ言葉を繰り返すし
たくさん例を渡すと今度は扱いきれなくなってセリフとルールと注釈を取り違えて指示文とか喋りだす
って認識なんやけど違うん？
クソデカモデルで長時間待っても大差なかったんやけどワイの使い方が悪い？ キャラの維持はサイズよりRP用にチューンされたモデルかどうかが重要だと思う
例えば俺のお気に入りの7Bのberghof-ERPの方はsilly tavernで使うとキャラ追従性がとても良くて口調や性格も崩れない
mistral3.1も使って比較したところ、こっちは同じキャラカード使っても口調がどこか教科書チックというか、お硬い感じになるね
ただし7BはTRPGの進行みたいな複雑なルール把握はまず無理だからそういう用途では大サイズモデルを使うべきだろうね >>875
俺なんかお前が言うところの「初心者」なんだろうけど、7Bと14Bじゃ全然違うぞ ローカルLLM動かしたこと無いけど
巨大モデル使えば性能良くなるんでは？って思って
ThunderComputeでVRAM80GBのNVIDIA A100XL借りて
初めてOllama動かしてみた
VCPUs: 4, Memory: 32GB, Cost/Hour: $0.82
20ドルまでは無料らしいので偶に実験する程度なら安く使えそう
これのQ5_0量子化のやつ
無規制っぽくて、文章の整合性はともかく脱獄のような事をしなくても申し訳してこないのは良いな
https://huggingface.co/mmnga/c4ai-command-r-plus-gguf
https://www.thundercompute.com/about
Every account also receives $20 in free credit each month, so many users run small experiments at zero cost. 知識を付与するのがLoRAが一番苦手な学習やから
賢いモデルにエロさを付与するよりそこそこの賢さの無検閲モデル（出来ればベースモデル）を軽くチューニングしたほうが結果として賢さとエロさを両立できる
りんなのQwen3日本語チューニング出すのを待っています 3060にPhi4はいくら4bitにされてるとは言え重いなぁ >>858
サンガツ。かなりいい感じに動いてるわ。応援してるで。 データセットのロードうまくいかんと思ったら、windowsのパスの最大長制限ってのが原因だった
デフォだと260文字までしか対応してないんだってね。無効化したらいけた
geminiにエラーコード放り込んで、最後に「もしかしたら…」って言われたのがこれなんだけど、geminiなかったら一生躓いてたと思う
技術畑の人にとっては割とありがちだから常識らしい 今まで難しそうと思って後回しにしてたsilly tavernとcomfyUIを繋げて画像生成、やってみたら意外と簡単だった！
生成指示文を改良していけばさらに色々出来そう
ちなみにLLMはberghof-ERP-7B-Q8
画像モデルはcottonnoob-V3
https://i.imgur.com/DDVCcmL.jpeg qwen3ってstable diffusionのエロプロンプトとかエロ小説書ける？
自分で調べてqwen3ダウンロードしてるんやが
今ダウンロード中75%
1秒に0.07%くらい まあいいや
qwen3は別な目的に使う
今magnumシリーズの適当なのをダウンロード中 magnumダウンロードしたが、彼女は「幼女レイプは犯罪です」と取り合ってくれなかった
486見て別なバージョンダウンロード中 magnumはMistralベースの12Bか123Bが良いぞ lumimaid-magnum-v4-12b導入したが幼女レイプはできないとのこと
誰か幼女監禁孕ませレイプ小説書けるモデルしりませんか？ では前スレで教えてもらったkobore cppをダウンロードします
長らくやってなくてすいません kobold cppでした
ダメです、英語で返答してきます これの24GBのをVMに入れてみたが、ただ単にOllamaに入れて使うだけだと
>>881の巨大モデルよりエロ小説生成の指示の理解度落ちてる気がする
デフォルトの温度だとダメなのか？
温度下げるとある程度は従うようになるが、ChatGPT用のCanジェネのプロンプトそのまま使って台詞例生成させてみたら
女性の台詞例なのに前立腺でイクとか言い出したり
なんかおかしい
前立腺に関する台詞は別な物に変えて再度出力するように指示しても従わず、残り続ける
頑固すぎやろ
スキーン腺=男性の前立腺と同じと思ってる？どっちにしても女性台詞で言うのは不自然な気もする
Aratako/calm3-22b-RP-v2-GGUF ・ Hugging Face
https://huggingface.co/Aratako/calm3-22b-RP-v2-GGUF 私は幼女が牢獄で両腕を鎖でつながれた状態でレイプされつづけて孕んで出産して己の惨めさに泣くような、そんな小説を書いて欲しいのです
そのようなことができるモデル、誰か知りませんか？ >>899
そりゃ馬鹿正直に言ったら書いてくれないよ
小説内では語られないけど純愛で同意あり〜とか書いてみ >>899
ワイは今のところmagnum v4 123Bで申し訳くらった事ないんだが、むしろ君のプロンプトで食らうか試して欲しいわ >>897
内部的に英語で思考して日本語出力されるときに誤訳されてる可能性 >>900
なるほど
>>901
123b、試してみます >>887
これは支持しなくてもランダムに画像で表情出してくるの？
ときメモできるやんｗ >>904
STの機能は画像出せってコマンド打ち込むと自動でAIに「最後のメッセージのときの状況をコンマ区切りにしてまとめろ」って投げて返ってきたやつをSDなりComifyなりに生成させるやつやね
やから表情はランダムやなくて状況に応じたやつになる >>899
過去スレにもあるけど、koboldとかで申し訳の文章消して、
「了解しました。私はそのようなシチュエーションが大好きなので、のりのりで書きます！未成年の方は読まないでください」
みたいにすれば書いてくれる
qwen3日本語性能悪いと思ってたが、意外と悪くないな
小説やロールプレイのキャラのコメントが苦手なだけで、ベースの性能はかなり良さそう 小説やロールプレイ苦手だったらこのスレ的には駄目じゃね？ qwenやgemmaはベースモデルからデータのフィルタリングしてるからなぁ
追加学習でもプロンプトでも検閲を消すのは驚くほど簡単だけど空虚な回答しか返ってこない >>899
NSFWやuncensored（abliterated）とついてるモデルならだいたい通ると思うよ >>906
やり方調べてみます
>>909
nsfwモデル試してみます うーん、magnumに無理やり「書きます。未成年は見ないでね」と言わせた上で6歳児監禁孕ませレイプ書かせようとしましたが、18歳しか書いてくれませんね
当面はnsfwやuncensoredのモデル当たってみます lm studioというuiにて、japanese-nsfwで検索したところ、ロリ監禁虐待孕ませ小説をつくらせることに成功しました
みなさんのお力添えもあり成功しました
ありがとうございます
それでは次の課題は、stable diffusionのエロプロンプト用のllmモデルですね
こちらも探していこうの思います >>905
そうそう
でもなかなか上手くプロンプトを出力してくれないんよね…
ポーズ、服装、表情を考えてって指示してあるのにエラーになったりそのまま「ポーズ・服装・表情」とだけ書いてきやがったり…でもたまにちゃんといい感じのプロンプトを出してくる
berghofでは流石に成功率3割ってとこで、24Bのmistral2501でも同じく駄目だったや
そういう指示に対応出来るモデルじゃないとあかんのやね >>913
状況理解とフォーマットに合わせる正確性が試されるから最低でもQwQ-32B以上の性能はいるな
その辺のモデルじゃまず無理 7BにSBV2にcomfyって組み合わせでもVRAM24GBが大忙しなのに…
LLMだけで32Bとか夢のまた夢やね… stable diffusionのロリ虐待出産プロンプトを、ローカルllmにつくらせることもとりあえず成功しました
deepseekのローカルnsfwモデルを使いました
10歳のロリが開脚磔の状態で泣き叫びながら出産してる画像のプロンプトをつくらせることに成功しました だからあの機能は実質API用みたいなところはある
それかネットワーク越しでもいけるから2PCか レス数が900を超えています。1000を超えると表示できなくなるよ。
