なんJLLM部 避難所 ★5
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★4
https://mercury.bbspink.com/test/read.cgi/onatech/1725931151/ >>242
有名なのはLumimaidじゃないか
Mistral系はなんでもいけると思うけどな digitalmateはollama apiを使う感じなのかな?バンドルで売ってるchatwifeは不要? いろんなサービス試してみたけどオープンLLM動かすならfeatherless.ai使うのがコスパ良さそうだ Digital Mate、色々触ってみたけどLLMチャットにキャラクター概念を挿入するためのソフトって感じだな
高度なことを追求するよりは理想のキャラデータを量産できる体勢を作ったほうが面白くなりそう
良い絵を一枚持ってきてL2Dで少し動かして口調サンプルからセリフを4oに作ってもらうとか
>244
chatwifeは別の会社が作ってる同系統のソフトというだけっぽい DigitalMateそのものは、俺はこれは別にいいやってなったけど、
今後何かちょっとした開発をこちら側でしたいってなった時に大事になってくるのはこの方向性だなとも思った
LLMの文章を画像出力させる！みたいなことしたい時も、
文章読ませて画像プロンプトそのものを出力させるより、「タグ」のプリセットを予め用意して適したのを選ばせた方が精度が高い
指向性を定める箱をちゃんと用意するのが大事なんやろなって感じ digitsのせいでm4ultraとstrixhaloへのモチベがダダ下がりしている
macの制限受けるUltra
おそらくAI以外のパフォは大した事ないdigits
いまいちAIへのやる気感じられないAMDのstrixhaloでそれぞれ欠点はあるんだけども digitsも感覚麻痺してるから3000ドルで安い！ってなるけどA40１年ノンストップで借りる額と同じなんよな
使わないときは止めれば4、5年は使えるしそのぐらいたてばもっと安くて性能いいものが出てると考えると何とも サブスクは値上げの可能性が付きまとうから単純比較はまた悩ましい koboldのアドベンチャーモードってtokenを大量消費する仕様があったりするの？
設定したコンテキストサイズの半分ぐらいで文章がおかしくなるんだけど
>>234
ほえー
ちょっと面白そうだね
MMDとかよく分からんけど digitsは高価だろうけど、ドッキングできるのもあって中古の需要は高いだろうし、売却すればそれなりの金額になるんじゃないかな（希望的観測）
……ってそうなってくるとdigitsのレンタルもできるようになってくるのかな？そういやsaladだったか、個人でGPUリソースの貸し借りするサービスあったような…… digitsは開発者向けと言ってるから一般販売用の第二世代がすでに準備されてる可能性あるような
70bが動かせて10万円ですとか 何にせよ販売経路も一般とは異なりそうだし5月に使用感のレビュー見るしかないな
帯域がどうだろうなあ もしかしてこのスレってクラウドサービスでオンデマンドスケベLLMしてるエンジニアの鑑がいるのか？ >>251
多分ユーザー側で入れる情報と別にアドベンチャーモード用のプリセットプロンプトも読んでるからそこでトークン消費してる >>256
チャット派のワイはこれで200Bが動かせるとしてもやっぱ応答速度が気になるんや
3000ドルやっす！とは思うけど冷静に考えると5090に9800x3D合わせても2500ドル以下で買えるしなあ…
小説派は全速力で飛び付け！とは思うで >>258
ははあ、そういうことかいな
アドベンチャーモードは面白いけど半分も占有されるのは辛いもんやな 推論速度は気になるところなんよな
公開されてるのはfp4が1pflopってことだけやねんけど、
そこからいろいろワイ独自に推測に推測を重ねて
最速で4070くらい、再遅で4070の半分くらい(3060くらい？)かなって気がしとる
4070の半分くらいやったとしても70bをおそらく5token/sくらいで動かせるので
結局ほしいんやが redditで画像に写ったメモリチップの比率から32bitチップでstrixhaloと大差ないって考察してる人はいたね
イメージ画像だろうし500は出るだろ派やappleみたいに128bitチップ専用に作ってもらって1T出るんじゃないか派もいたけど >>260
ワイはGeminiが無料でコンテキスト大量だからそっちでアドベンチャーモードと同じ遊び方してる
NSFWも露骨なのは止まるけど、システムプロンプトにコンプライアンス最低でとか過激な表現は避けて婉曲的に描写することとか書くとエロいこと自体はしてくれるし >>257
クラウドにインスタンス建ててLLM置いてオレオレLLMサービスにAPI接続ってことか？
A40(48GB)でも$0.39/hrとかすっから24時間借りっぱなしとかになると月額数万とかになるだろ
どこにもホストしてないドマイナーモデル/俺だけのファインチューニングAIを使いたいんだあってケース以外割にあわん クラウドでGPU使うならnovita.aiが安いかな
RTX4090が安く使える paperspaceって手もあるぞ
A100は期待できないがA6000ならまぁ混雑時間以外は大体使える
ただ、gradioない奴（SillyTavernとか）使おうとすると自力でgradioでラップするかバレたら垢停止の方法使うしかないけど・・・ チャットは何token/sあれば実用的なんだろうな 人間相手のチャットで長文派だと平気で10分とか20分とか待たされることもあったな 尻タブでも設定したcontext長が16384なのに6000ぐらいで
文章にアルファベットや記号が混ざっておかしくなる
もしかしてこれは繰り返しペナルティとか温度とかの設定の問題か？
まあ設定を弄っても全然改善しないんだが
はあーん、マジで分からん
context長を長くしても全く生かせてない >>270
ファインチューニングモデル使っててベースモデルなら問題ない場合はファインチューニングでロングコンテキスト性能が劣化しちゃってるからどうしようもない >>271
前スレのwabisabi-v1なんだけどそういうことなのかな？
バージョンアップで8kから128kにコンテキスト長が伸びたことを謳っていたから大丈夫そうなんだけど
https://mercury.bbspink.com/test/read.cgi/onatech/1725931151/754 >>272
ファインチューニングで使ったデータ以上の長さの文を送られるとAIが困惑して意味不明なこと言い始めちゃうんよ
モデル的に128kまで行けるから前の文章も覚えてはいるんだけどね 10token/sか
追い付かなくなってくる速度だな
リアルタイムで音声チャット出来るようになるにはこれでも足らないんだろうな >>272
そういえばwabisabi俺も16Kで意味不明な文章に破綻してたわ 日本語のerpデータセットってhfに上がってないんかな
官能小説データは自力で集めて今手元に数GBくらいあるんやけど >>276
日本語のerpはaratako氏のデータセットしかないと思う >>273>>275
16kまで行ける人がいるならモデルが原因ではないのか？
俺は8k以下でおかしくなるし
RTXのAI性能が上がるpytorchのパッチが来るらしい
https://x.com/_kaiinui/status/1877548551707689165
pytorchってどこで使ってるんだっけ？ digitalmateこれツンツンした時のreactionとかにもLLM使ってくれたらいいのにな
あと一定時間話しかけないと向こうから話してくれたり
結局自分からアクション起こさないと駄目だから億劫になっちゃう
伺かみたいだったら常駐する意味もあるんだけどな >>278
すまん、64→32→16と上から試して破綻してたからもうええかってなったんで8Kは試してない >>280
どれぐらいのコンテキスト長で破綻してたの？
俺は最大16k設定にしたのに6kぐらいで破綻した >>264
runpodってやつか
しかし60円/時で済むのか
ちゃんとスケジュールでterminateしていれば意外と趣味の範囲か…？ ポッキーゲームやツイスターゲームが学習されていないモデルって結構あるのな
説明してもなかなかルールを理解してくれない >279
開発自体は活発だしコミュニティも付いてるからパッと思いつく機能は時間経過で全部付くんじゃないかな
複数キャラを起動して勝手に会話させるとか
テキストを渡すと内容について評価感想を出してくれるとか
伺かにChatGPT3. 5のAPIを導入しているプロジェクトもあるみたいだから、Koboldcppをopenai 互換で起動しておいてHostsか何かでopenaiへのアクセスをリダイレクトすればLocalLLM伺かを爆誕させることも出来るかも >>279
その機能って超単純な仕組みで追加出来るだろうからリクエスト出せば受け入れられそうやな
一定時間入力されない場合に入力されるプロンプトや特定箇所をクリックした時に入力されるプロンプトを数種類用意しとくだけで済むし Android アプリのコトモ、ChatGPTのボイスモードよりそれっぽい合成音声とガードの脅威的緩さがすごいな
ダメじゃない！？ってなる
これぐらいの合成音声がどこででも使えるようになると色々捗るんだけど Style-Bert-Vits2ですか
VITS-APIアクセス経由でDigital Mateと接続できたりするやつ...？ sbv2にもapiはあるけど書き方違うはずだから使えないと思う sbv2入れてみたけど抑揚がおかしくて使ってないわ
あれいいのか？
それとも俺の設定がおかしいのか sbv2はモデルで発音に滅茶苦茶差があるからそれだと思われ
10月あたりにkotomoと比べたけど自分はそこまで差があるようには感じなかったわ そうなのか
もう1回チャレンジしてみよう
LLMで作った小説の朗読に使えそうなの探してるとこなんよな Japanese‐TextGen‐Kage‐ｖ0.1.2‐2x78‐NSFW‐gguf
Mistral_Nemo_NSFW_E3V1_Q8_0‐GGUF
Ninja‐v1‐NSFW‐128k‐i1‐GGUF
最近入れて悪くないなってなったLLM >>293
おーありがとう参考になる
こんな感じでテンプレの>>15も最近の情報にどんどん入れ替えて欲しいな
最初のテンプレ書いたの自分だけどさすがに古いわ… 120BクラスのQ8をそれなりの速度で動かせる環境が手に入って、Lumimaid-v0.2-123Bとmagnum-v4-123bを試して見たところ、普段使っているcalm3-22b-RP-v2と比べてそんなに優れているように感じませんでした
もし120Bクラスを常用している方がいたら感想やお薦めのモデルを教えていただけないでしょうか？
使途は日本語ERPです 合成音声、パッと調べた感じだとStyle-Bert-VITS2からいろいろクリーンにしたAivisSpeechに移行中って感じなのかな おっと送っておる
いろいろ作っている最中です感あるから後から触るので良さそう >>297
普段はLumimaid-v0.2-12Bを使っててたまにLumimaid-v0.2-123Bを触るけど123Bの方が少ないプロンプトで理解してくれる(察してくれる)のは感じるかな
他のモデルは自分は触ってないけどLumimaidやmagnumの123Bをマージしたlumikabra-123B_v0.4とか良いかも
あとはMistral系のモデルはtemperatureを0.3程度にするのが推奨されていることが多いからそのへん弄ってみるとか >>297
プロンプトや用途によるのかな？
俺が使ってる小説強化プロンプトで試してみたけど、magnum-v4-123bはプロンプト通り小説が強化されてるのに対して、calm3-22b-RP-v2は強化されてないように感じる。
calm3-22b-RP-v2はよく似た文章の繰り返しが多いのガ気になったかな。
magnum-v4-123bだとガチャ要素が少なくて、ほぼ一発て通るからこれオンリーで使ってるよ。
あと察してくれるのはまさにその通り。
小説強化プロンプト
https://rentry.org/nz5nodmx
システムプロンプトなどに張り付けて、指示文を書くだけ >>302
横だがいいねこれ
koboldとかで使うにはwsにシナリオ入れとく感じ？ >>303
ごめん、kobold使ってないからwsとか分からん
lmstudio使ってるんだけどシステムプロンプト書くところにリンクのプロンプト文を貼り付けて使ってるだけ
普通に1回目からリンクのプロンプトを投げるのでもいいのかもね
後は書いて欲しい内容を適当に投げて執筆してもらっています >>304
サンクス
帰ったら色々試してみるわ
koboldは最近追加されたstorywriterモードがいい感じなんでこれとうまく融合させてみる エロ小説を書かせると2000文字ぐらいで切り上げられちゃうんだけど
もっと長文で書かせる定石みたいなのってあるの？
>>302使ってもあっさりした描写ですぐ射精して終わりになっちゃう storywriterモード使ったらちょっと長くなったわ
でも複数キャラを出すと同じような展開ばっかりになっちゃうな
LLMで小説書き切る人はすげえわ >>307
storywriterモードは区切りのいいところで一旦終わってくれるので
そのまま続けてくれ とか
もっと〜を掘り下げて とか指示して流れを誘導していくのが面白い >>308
あれinstructモードだからそういうことが出来るんか >>301, 302
情報ありがとうございます
いつも次の応答を誘導するようなプロンプトを書いているので少ないプロンプトでもいけるというのは盲点でした
モデル、プロンプトの紹介もありがとうございます
手もとで試してみようと思います 小説家プロンプト、読み上げ環境で使うとたのしいな
AI文章は小説としてはまぁうんだけど目の前で即興でアイデアを喋っているという体裁があると気にならなくなる >>298
AivisSpeechはVoicevoxのフロントエンドにStyle-Bert-VITS2を組み込みましたみたいなやつやで
ゆっくり実況的ななにかを作るなら便利そうやけど、単に音声バックエンドとしてつかうならStyle-Bert-VITS2で十分やと思うぞ 今現在つかうならSBV2が正解だね
sasayaki28(ASMR風囁きスタイル)ちゃんに物語を読んでもらうのがとても良かった
ただSBV2はリポジトリの更新が止まってる、話速を調整すると単にスローモーションになるetcの問題がAivisSpeechでは解決されている、ファイル形式の刷新など下回りの整備をやっている…
てことは多分中の人たちはAivisSpeechにかかりっきりで、両者が統合されないにしてもSBV2の次の更新はAivisSpeech開発からのフィードバックがされてAivisSpeechベースの仕様になる雰囲気があるような
ならばいまのSBV2でより良い結果を求めて詳しくなるよりは、AivisSpeechベースになってから深く触ればいいかなと
AivisSpeechがうまく行って音声モデルがさらに増えてからのほうが面白みも増すだろうしね AivisはSBV2に比べてちと生成速度が遅いのが難点。
公式もそこは有料APIで補ってくれってスタンスだし。 >>313
なんJRVC部の住人に普通にSBV2の作者がおるんやが
AIVISの作者とやり取りはあるけど基本的には関わってないみたい
最近はエロ音声の文字起こし精度を高める方向を頑張っててSBV2に組み込むやり方も解説してた
SBV2自体の更新はサボってしまってるとも Deepseek以外でクソデカモデル含めると今一番日本語性能良いローカルモデルってMistral-Large系列？Qwen2.5 72b系の方が良かったりする？ mistral largeでいいと思う
qwenはなんかネイティブ感が足りない
固い用途で使うなら別にqwenでも全然あり Chatbot Arena見るとllama 405Bは日本語性能も良いみたいだけどサイズデカすぎるわな >315
情報たすかる
まずはモデルを簡単に作れるようにするための仕事が先、という話にも聞こえるな
技術が切り拓かれていってるタイミングだからアンテナの張り方も大事になりそう >>317
やっぱ微妙にカタコトなのか、参考になる
Aivisは結局SBV2ベースだけど音声合成専門でやってるような人に聞くと技術的に結構古くて最新のアーキテクチャとか使ったモデルの方がだいぶ性能良いらしいんよね
簡単に使えるレベルにまで降りてきてくれてないけど 濡れそぼるって表現をLLMで初めて知ったんだけど
エロ小説では一般的な表現なの？ちょくちょく出てくるんだよな 濡れそぼつ、な
まろび出ると同じでなぜかエロでしか使われなくなった表現 >>322
濡れそぼつなのか
やっぱエロでしか使われないのね
語感的にそのまま消え去ってもおかしくなさそうなのになんでエロだと残ってるんだろうな 意思に関係なしに身体は反応してるというドライで客観的な視点があるカモ >>322 >>323
濡れそぼつ、別にエロ用語じゃないやろ？ワイにとっては子供のころから普通に目にする言葉や
まろび出る、はあんまり見かけんが LM studio使ってる人ってどのくらいいるんやろ
GUI上で編集だの再生成だのを楽にできて特に困ってもいないから一旦はこれ使ってるんだが
他のプログラムとの連携とか考えだすと他の方がいいこともあるんだろうけど エロ文は表現力が求められるからな
難しい言葉使われがち 前スレで5chの連投スクリプトいなくなったから次スレからオナテク板から戻ろうって提案あったけど
やっぱ連投スクリプトいるじゃん しとどに濡れる、もエロ以外見かけないね
むしろエロは簡単な表現だったらエロくならん気がするけど
メスホールはヤバいくらいエモかった。
ヤバい。マジヤバい。五大湖かよ。
PC板は今けっこうスクリプト受けどるね
sikiガードも抜けてきよる >326
LM Studioは画面がシンプルリッチでごちゃごちゃ感も質素感もないのが良いよね
片端から使ってるけど、まだ機能的な差が少ないので用語さえ分かってしまえば他のものを使うのは難しくないよ
新機能部分はそれぞれあるけど実用レベルなものはあんまないからスルーでいい
あとLM StudioはふだんはEndpoint ( 127.0.0.1:5001 とか )が開かれていないけど、開発者タブの左上、Status:Stopの右側にあるボタンをONにすれば他から接続できるようになるよ ジャンルのそれぞれの文化とも結びついてるような
まろび出すも時代物読んでると臓物がまろび出しがち ヤンキー女とチャットするの難しいな
全然まともに喋ってくれねえ
>>325
つまり子供のころからエッチな環境にいたってこと？ ダメだ
乱暴な口調にするとすぐに男化する
ヤンキーとか女戦士みたいな強い女キャラが好きなのに難しすぎる 男性的要素を持つ女性を表現するには
できればCR+以上のモデルが要るような気はする 普通にマグナムさんどころか軽めのLLMでも、「レデースです」とか「いかにも不良っぽい、男勝りでつんけんした口調でしゃべります」って
システムプロンプトに書いたらいい感じに不良やってくれるぞ
態度も不良っぽくて割といい感じにイヤイヤ従ってくれる マジ？
エッチなことをすると、一人称が俺様になったりチンポ生えたり
userを女扱いしたりすることが多くなるんだけどプロンプトの書き方が悪いのか 10割で書かせるのはムリなのでは
Editや再生成で無かったことにしていくのが単純で簡単だけど、それだと魔法が解けてしまうひとも居そうだね 10割じゃなくても良いんだけどかなり頻度が上がるんだよな
クール系女戦士なら大丈夫なんだけど、荒くれものみたいな粗暴な口調にすると男になりやすい 10割でなくて良いなら手間の問題だから、出力結果を二次加工する方法があると綺麗に解決できそう
画面表示する前に出力文を評価して女の子にちんちんが生えてたらレッドアラートを出してくれるLLM処理とか
ちんちん行為ををまんまん行為に書き換えてくれるLLM処理とか
単純な事に思えるからLM StudioかSillyTavernのプラグインに存在してもおかしくないような 「今どんな感じ？」とか
トリガーワードつけて
雰囲気壊さないようにプロンプト説明はチャット画面に表記なしで
ゲームの1枚絵みたいに画像生成出来たらいいな そういやふつうのモデルって文章がNSFWかどうか判別して拒否してきたりするよね
てことは軽量だけど理解力はあるphi4.ggufちゃんを回して文章評価させればえっちな文章かどうかは判別できる、あるいは10段階でどのくらいえっちなのかも判別出来たりする...? >>339
尻タブで探したけどよく分からなかった……
拡張機能ってどこで探せばいいんだ
>>340
koboldに画像の自動生成機能があったような
>>341
7Bのvecteus-v1-abliterated-q4_k_mでもそこそこエッチ度評価できたよ
プロンプトに
-会話のエッチ度の表記:文章の最後に[会話のエッチ度：n]という形式で会話内容のエッチ度を表示してください。
nには1〜10の数字が入り、数字が大きいほどエッチです。
基準として、乳揉みは[エッチ度：3]です。
って入れておくと、エッチなことをするとちゃんと数字が上がって、エッチじゃないと数字が下がる
そこまで賢いモデルじゃないからかなり大雑把だけど 