なんJLLM部 避難所 ★5
■ このスレッドは過去ログ倉庫に格納されています
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★4
https://mercury.bbspink.com/test/read.cgi/onatech/1725931151/ >>272
ファインチューニングで使ったデータ以上の長さの文を送られるとAIが困惑して意味不明なこと言い始めちゃうんよ
モデル的に128kまで行けるから前の文章も覚えてはいるんだけどね 10token/sか
追い付かなくなってくる速度だな
リアルタイムで音声チャット出来るようになるにはこれでも足らないんだろうな >>272
そういえばwabisabi俺も16Kで意味不明な文章に破綻してたわ 日本語のerpデータセットってhfに上がってないんかな
官能小説データは自力で集めて今手元に数GBくらいあるんやけど >>276
日本語のerpはaratako氏のデータセットしかないと思う >>273>>275
16kまで行ける人がいるならモデルが原因ではないのか？
俺は8k以下でおかしくなるし
RTXのAI性能が上がるpytorchのパッチが来るらしい
https://x.com/_kaiinui/status/1877548551707689165
pytorchってどこで使ってるんだっけ？ digitalmateこれツンツンした時のreactionとかにもLLM使ってくれたらいいのにな
あと一定時間話しかけないと向こうから話してくれたり
結局自分からアクション起こさないと駄目だから億劫になっちゃう
伺かみたいだったら常駐する意味もあるんだけどな >>278
すまん、64→32→16と上から試して破綻してたからもうええかってなったんで8Kは試してない >>280
どれぐらいのコンテキスト長で破綻してたの？
俺は最大16k設定にしたのに6kぐらいで破綻した >>264
runpodってやつか
しかし60円/時で済むのか
ちゃんとスケジュールでterminateしていれば意外と趣味の範囲か…？ ポッキーゲームやツイスターゲームが学習されていないモデルって結構あるのな
説明してもなかなかルールを理解してくれない >279
開発自体は活発だしコミュニティも付いてるからパッと思いつく機能は時間経過で全部付くんじゃないかな
複数キャラを起動して勝手に会話させるとか
テキストを渡すと内容について評価感想を出してくれるとか
伺かにChatGPT3. 5のAPIを導入しているプロジェクトもあるみたいだから、Koboldcppをopenai 互換で起動しておいてHostsか何かでopenaiへのアクセスをリダイレクトすればLocalLLM伺かを爆誕させることも出来るかも >>279
その機能って超単純な仕組みで追加出来るだろうからリクエスト出せば受け入れられそうやな
一定時間入力されない場合に入力されるプロンプトや特定箇所をクリックした時に入力されるプロンプトを数種類用意しとくだけで済むし Android アプリのコトモ、ChatGPTのボイスモードよりそれっぽい合成音声とガードの脅威的緩さがすごいな
ダメじゃない！？ってなる
これぐらいの合成音声がどこででも使えるようになると色々捗るんだけど Style-Bert-Vits2ですか
VITS-APIアクセス経由でDigital Mateと接続できたりするやつ...？ sbv2にもapiはあるけど書き方違うはずだから使えないと思う sbv2入れてみたけど抑揚がおかしくて使ってないわ
あれいいのか？
それとも俺の設定がおかしいのか sbv2はモデルで発音に滅茶苦茶差があるからそれだと思われ
10月あたりにkotomoと比べたけど自分はそこまで差があるようには感じなかったわ そうなのか
もう1回チャレンジしてみよう
LLMで作った小説の朗読に使えそうなの探してるとこなんよな Japanese‐TextGen‐Kage‐ｖ0.1.2‐2x78‐NSFW‐gguf
Mistral_Nemo_NSFW_E3V1_Q8_0‐GGUF
Ninja‐v1‐NSFW‐128k‐i1‐GGUF
最近入れて悪くないなってなったLLM >>293
おーありがとう参考になる
こんな感じでテンプレの>>15も最近の情報にどんどん入れ替えて欲しいな
最初のテンプレ書いたの自分だけどさすがに古いわ… 120BクラスのQ8をそれなりの速度で動かせる環境が手に入って、Lumimaid-v0.2-123Bとmagnum-v4-123bを試して見たところ、普段使っているcalm3-22b-RP-v2と比べてそんなに優れているように感じませんでした
もし120Bクラスを常用している方がいたら感想やお薦めのモデルを教えていただけないでしょうか？
使途は日本語ERPです 合成音声、パッと調べた感じだとStyle-Bert-VITS2からいろいろクリーンにしたAivisSpeechに移行中って感じなのかな おっと送っておる
いろいろ作っている最中です感あるから後から触るので良さそう >>297
普段はLumimaid-v0.2-12Bを使っててたまにLumimaid-v0.2-123Bを触るけど123Bの方が少ないプロンプトで理解してくれる(察してくれる)のは感じるかな
他のモデルは自分は触ってないけどLumimaidやmagnumの123Bをマージしたlumikabra-123B_v0.4とか良いかも
あとはMistral系のモデルはtemperatureを0.3程度にするのが推奨されていることが多いからそのへん弄ってみるとか >>297
プロンプトや用途によるのかな？
俺が使ってる小説強化プロンプトで試してみたけど、magnum-v4-123bはプロンプト通り小説が強化されてるのに対して、calm3-22b-RP-v2は強化されてないように感じる。
calm3-22b-RP-v2はよく似た文章の繰り返しが多いのガ気になったかな。
magnum-v4-123bだとガチャ要素が少なくて、ほぼ一発て通るからこれオンリーで使ってるよ。
あと察してくれるのはまさにその通り。
小説強化プロンプト
https://rentry.org/nz5nodmx
システムプロンプトなどに張り付けて、指示文を書くだけ >>302
横だがいいねこれ
koboldとかで使うにはwsにシナリオ入れとく感じ？ >>303
ごめん、kobold使ってないからwsとか分からん
lmstudio使ってるんだけどシステムプロンプト書くところにリンクのプロンプト文を貼り付けて使ってるだけ
普通に1回目からリンクのプロンプトを投げるのでもいいのかもね
後は書いて欲しい内容を適当に投げて執筆してもらっています >>304
サンクス
帰ったら色々試してみるわ
koboldは最近追加されたstorywriterモードがいい感じなんでこれとうまく融合させてみる エロ小説を書かせると2000文字ぐらいで切り上げられちゃうんだけど
もっと長文で書かせる定石みたいなのってあるの？
>>302使ってもあっさりした描写ですぐ射精して終わりになっちゃう storywriterモード使ったらちょっと長くなったわ
でも複数キャラを出すと同じような展開ばっかりになっちゃうな
LLMで小説書き切る人はすげえわ >>307
storywriterモードは区切りのいいところで一旦終わってくれるので
そのまま続けてくれ とか
もっと〜を掘り下げて とか指示して流れを誘導していくのが面白い >>308
あれinstructモードだからそういうことが出来るんか >>301, 302
情報ありがとうございます
いつも次の応答を誘導するようなプロンプトを書いているので少ないプロンプトでもいけるというのは盲点でした
モデル、プロンプトの紹介もありがとうございます
手もとで試してみようと思います 小説家プロンプト、読み上げ環境で使うとたのしいな
AI文章は小説としてはまぁうんだけど目の前で即興でアイデアを喋っているという体裁があると気にならなくなる >>298
AivisSpeechはVoicevoxのフロントエンドにStyle-Bert-VITS2を組み込みましたみたいなやつやで
ゆっくり実況的ななにかを作るなら便利そうやけど、単に音声バックエンドとしてつかうならStyle-Bert-VITS2で十分やと思うぞ 今現在つかうならSBV2が正解だね
sasayaki28(ASMR風囁きスタイル)ちゃんに物語を読んでもらうのがとても良かった
ただSBV2はリポジトリの更新が止まってる、話速を調整すると単にスローモーションになるetcの問題がAivisSpeechでは解決されている、ファイル形式の刷新など下回りの整備をやっている…
てことは多分中の人たちはAivisSpeechにかかりっきりで、両者が統合されないにしてもSBV2の次の更新はAivisSpeech開発からのフィードバックがされてAivisSpeechベースの仕様になる雰囲気があるような
ならばいまのSBV2でより良い結果を求めて詳しくなるよりは、AivisSpeechベースになってから深く触ればいいかなと
AivisSpeechがうまく行って音声モデルがさらに増えてからのほうが面白みも増すだろうしね AivisはSBV2に比べてちと生成速度が遅いのが難点。
公式もそこは有料APIで補ってくれってスタンスだし。 >>313
なんJRVC部の住人に普通にSBV2の作者がおるんやが
AIVISの作者とやり取りはあるけど基本的には関わってないみたい
最近はエロ音声の文字起こし精度を高める方向を頑張っててSBV2に組み込むやり方も解説してた
SBV2自体の更新はサボってしまってるとも Deepseek以外でクソデカモデル含めると今一番日本語性能良いローカルモデルってMistral-Large系列？Qwen2.5 72b系の方が良かったりする？ mistral largeでいいと思う
qwenはなんかネイティブ感が足りない
固い用途で使うなら別にqwenでも全然あり Chatbot Arena見るとllama 405Bは日本語性能も良いみたいだけどサイズデカすぎるわな >315
情報たすかる
まずはモデルを簡単に作れるようにするための仕事が先、という話にも聞こえるな
技術が切り拓かれていってるタイミングだからアンテナの張り方も大事になりそう >>317
やっぱ微妙にカタコトなのか、参考になる
Aivisは結局SBV2ベースだけど音声合成専門でやってるような人に聞くと技術的に結構古くて最新のアーキテクチャとか使ったモデルの方がだいぶ性能良いらしいんよね
簡単に使えるレベルにまで降りてきてくれてないけど 濡れそぼるって表現をLLMで初めて知ったんだけど
エロ小説では一般的な表現なの？ちょくちょく出てくるんだよな 濡れそぼつ、な
まろび出ると同じでなぜかエロでしか使われなくなった表現 >>322
濡れそぼつなのか
やっぱエロでしか使われないのね
語感的にそのまま消え去ってもおかしくなさそうなのになんでエロだと残ってるんだろうな 意思に関係なしに身体は反応してるというドライで客観的な視点があるカモ >>322 >>323
濡れそぼつ、別にエロ用語じゃないやろ？ワイにとっては子供のころから普通に目にする言葉や
まろび出る、はあんまり見かけんが LM studio使ってる人ってどのくらいいるんやろ
GUI上で編集だの再生成だのを楽にできて特に困ってもいないから一旦はこれ使ってるんだが
他のプログラムとの連携とか考えだすと他の方がいいこともあるんだろうけど エロ文は表現力が求められるからな
難しい言葉使われがち 前スレで5chの連投スクリプトいなくなったから次スレからオナテク板から戻ろうって提案あったけど
やっぱ連投スクリプトいるじゃん しとどに濡れる、もエロ以外見かけないね
むしろエロは簡単な表現だったらエロくならん気がするけど
メスホールはヤバいくらいエモかった。
ヤバい。マジヤバい。五大湖かよ。
PC板は今けっこうスクリプト受けどるね
sikiガードも抜けてきよる >326
LM Studioは画面がシンプルリッチでごちゃごちゃ感も質素感もないのが良いよね
片端から使ってるけど、まだ機能的な差が少ないので用語さえ分かってしまえば他のものを使うのは難しくないよ
新機能部分はそれぞれあるけど実用レベルなものはあんまないからスルーでいい
あとLM StudioはふだんはEndpoint ( 127.0.0.1:5001 とか )が開かれていないけど、開発者タブの左上、Status:Stopの右側にあるボタンをONにすれば他から接続できるようになるよ ジャンルのそれぞれの文化とも結びついてるような
まろび出すも時代物読んでると臓物がまろび出しがち ヤンキー女とチャットするの難しいな
全然まともに喋ってくれねえ
>>325
つまり子供のころからエッチな環境にいたってこと？ ダメだ
乱暴な口調にするとすぐに男化する
ヤンキーとか女戦士みたいな強い女キャラが好きなのに難しすぎる 男性的要素を持つ女性を表現するには
できればCR+以上のモデルが要るような気はする 普通にマグナムさんどころか軽めのLLMでも、「レデースです」とか「いかにも不良っぽい、男勝りでつんけんした口調でしゃべります」って
システムプロンプトに書いたらいい感じに不良やってくれるぞ
態度も不良っぽくて割といい感じにイヤイヤ従ってくれる マジ？
エッチなことをすると、一人称が俺様になったりチンポ生えたり
userを女扱いしたりすることが多くなるんだけどプロンプトの書き方が悪いのか 10割で書かせるのはムリなのでは
Editや再生成で無かったことにしていくのが単純で簡単だけど、それだと魔法が解けてしまうひとも居そうだね 10割じゃなくても良いんだけどかなり頻度が上がるんだよな
クール系女戦士なら大丈夫なんだけど、荒くれものみたいな粗暴な口調にすると男になりやすい 10割でなくて良いなら手間の問題だから、出力結果を二次加工する方法があると綺麗に解決できそう
画面表示する前に出力文を評価して女の子にちんちんが生えてたらレッドアラートを出してくれるLLM処理とか
ちんちん行為ををまんまん行為に書き換えてくれるLLM処理とか
単純な事に思えるからLM StudioかSillyTavernのプラグインに存在してもおかしくないような 「今どんな感じ？」とか
トリガーワードつけて
雰囲気壊さないようにプロンプト説明はチャット画面に表記なしで
ゲームの1枚絵みたいに画像生成出来たらいいな そういやふつうのモデルって文章がNSFWかどうか判別して拒否してきたりするよね
てことは軽量だけど理解力はあるphi4.ggufちゃんを回して文章評価させればえっちな文章かどうかは判別できる、あるいは10段階でどのくらいえっちなのかも判別出来たりする...? >>339
尻タブで探したけどよく分からなかった……
拡張機能ってどこで探せばいいんだ
>>340
koboldに画像の自動生成機能があったような
>>341
7Bのvecteus-v1-abliterated-q4_k_mでもそこそこエッチ度評価できたよ
プロンプトに
-会話のエッチ度の表記:文章の最後に[会話のエッチ度：n]という形式で会話内容のエッチ度を表示してください。
nには1〜10の数字が入り、数字が大きいほどエッチです。
基準として、乳揉みは[エッチ度：3]です。
って入れておくと、エッチなことをするとちゃんと数字が上がって、エッチじゃないと数字が下がる
そこまで賢いモデルじゃないからかなり大雑把だけど 20個文章生成してえっち度で並び替えさせると使えそうだね
NSFWに厳しいモデルほどトレーニング段階でではえっち文章を食べてて、理解力がある可能性があるような
脱獄プロンプトで実力を試すとなかなかやりおるわけですし >>342
サンガツ
koboldもあるのか
STで画像生成プロンプト有りは
見たことあるが
相手がタグを喋りだしたら笑ってしまう >>NSFWに厳しいモデルほどトレーニング段階でではえっち文章を食べてて、理解力がある可能性があるような
鋭い考察に見えるがどうなんやろうな？
エッチ関連の重みバッサリ削って申し訳領域に強制ご招待されてるだけな様な気もするが 乳揉みは[会話のエッチ度：3]です
は書いたらダメだったわ
マッサージで足を揉んでも「揉む」に反応して乳揉みと同程度までエッチ度が上がってしまう
この記述を消したらマッサージのエッチ度が下がった
>>343
エッチな文章をしっかり食ってないと判別して弾けないもんな エロライトノベルをイメージしている人とフランス書院をイメージしている人の差があるスレでつね セッション長くなると繰り返しがちになる問題を検証してたんだけどベースモデルでかなり決まるっぽい
8gbに収まるサイズでテストしたらaya-expance-8b＞mistral-nemo＞gemma-2-9bの順で繰り返しの出現頻度が少なかったわ
ファインチューニングの問題だと思い込んでクレジット溶かしちまったぜ ayaは意外と優秀よな
cohereだしCR＋程度かと思ってると案外やれる やっぱベースモデルの重要度でかいよね
音声でも似たような傾向あるわ
ファインチューニングでいくら頑張っても元が悪けりゃ無理だったり このベンチマークが便利かもな
長文向きのベンチマーク
これのWord Count Ratioが低いほど繰り返しが少ない
https://arxiv.org/abs/2412.08268 digitsが出たらNSFW向けに調整した大型モデルも増えるのかな
7Bや11Bモデルでは満足できなくなってきたから待ち遠しい digitsは世界的にかなり引き合い強そうだし、そもそもAI開発者向けを謳ってるから販路も不明だしで、一般人がまともに買えるかちと怪しい。 LLMの次に来るLCMとかいうのが凄そう
次の単語を予測するのではなく、次の文章、意図を予測する仕組みとかなんとか
そのおかげでLLMに比べて長文と多言語対応に秀でてるらしい
https://zenn.dev/galirage/articles/meta-large-concept-model-lcm LCMは単語の上に概念があると言ってしまった時点で、概念のさらに上にあるものや下にあるもの、外側にある世界そのものや内側にあるなにかを考える必要が出てくる気がする
単語だけで全部出来るんだ、ならシンプルゆえの物量作戦で限界まで到達できる可能性あるけど、LCMは無限に作り直しが要求されるんじゃなかろうか ただまあ↑で言われてる繰り返し問題なんかはモロに改善されそうよね 同サイズでの進化があんまり見られないから新しい手法が来るのは嬉しい 海外のエロAIチャットサイトで色々モデル試したけどどうしても繰り返しが出ちゃって
ローカルならもっと改善されたモデル使えるかと思ってここにたどり着いたけどやっぱり難しいのか silly tavernの繰り返しペナルティ辺りの設定を詰めればなんとかなる事も多いけど使うモデルによって最適な設定は変わると思うので自分で試行錯誤するしかないっていう
そもそも繰り返しそうになったら手修正で防ぐという力技も 同じ話題や単語を避ければある程度は防げるんだけど
エッチなことしてると延々と同じことしまくりたくなるんだよね
>>359の言う通り、チャット履歴を遡って繰り返す単語や言い回しを削除・変更すれば繰り返しはほぼ消える LLMで再評価して自動修正出来ていい部分だと思うんだよな
LangFlowとかに手を出す必要があるんだろうか なんか今やってるセッション調子よくて、変な繰り返し少ないわ
同じルミメイドマグナム12bでも全然繰り返してたことあるんで原因不明
やたら長いシステムプロンプトが効いてるのか、
目まぐるしく変わる展開が効いてるのか、LMStudioのアプデ後が調子いいのかは分からん
繰り返しには困ってるからむしろ再現性欲しいぐらいなのだが 尻タブだとアプデすると繰り返しや出力文がおかしくなるからバックアップ取って一旦設定とかリセットすると治ったりするってたまに言われてる 一人称とかの頻出単語も修正することになったりしないの？
繰り返しペナルティで問題になるのも確か頻出単語が引っ掛かることだったはず 実際、変な癖覚える前に編集して改ざんしつつ続きから簡単に書かせられるのはLLMの大きなメリットだと思う
気になったら途中で出力止めて、少しだけ編集して助走つけつつ続きから書かせる形式がかなり良さげ
もうちょっとだけ文章欲しい時とか
「
だけ書くとセリフ書いてくれるし、その展開好みじゃないんだよなぁって時は主役側のセリフちょっと弄れば結構思い通りの展開になってくれる
TRPGのちょっと難しい処理とか、計算ミスしまくるんだけどそれはもう手動で修正することにしたし koboldとかだと>>366みたいに自分でちょっと書いて続きを書かせられるけど
これって尻タブでも出来る？
aaya-expance-8b試してみたけど結構良いね
ただ「私は女戦士だ。戦闘なら任せておけ」みたいな強そうな喋り方をなかなかしてくれないな
対話の例を書いても会話履歴を修正しても「私は女戦士よ。戦闘なら任せてね」みたいな女っぽい喋り方になりがち
他のモデルならちゃんと喋ってくれるんだけど 同じセリフを繰り返すなら、同じセリフを繰り返すキャラとエッチすればいいんじゃね？
と思って4種類のセリフだけを喋るNPC姦をやってみたけど相性抜群だな
延々と特定のセリフを繰り返すしエッチなことをすればセリフに喘ぎ声だけを足すことも出来る
設定をしっかり練らないとセリフには無いことを喋り出すけど geminiも繰り返し多いんだよな
claudeはちょっとマシになる
chatGPTが一番繰り返しは少ない LCMだとエロという概念を全て申し訳してしまう可能性 それ例えば練乳ぶっかけをエロと捉えるのか健全と捉えるのか気になるなw ■ このスレッドは過去ログ倉庫に格納されています
