なんJLLM部 避難所 ★2
■ このスレッドは過去ログ倉庫に格納されています
!extend::vvvvv:1000:512
!extend::vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(スクリプト攻撃継続中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所
https://mercury.bbspink.com/test/read.cgi/onatech/1702817339/
-
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured 昨日から始めた超新参者ですEasyNovelAssistantでgoalseek_adを使いたいんですが幾つかあるyamlファイルはどうやって反映させればよいのでしょうか？pythonファイルの書き換えとかが必要なんですかね？産まれたての赤ちゃんですみません CPUで処理すると時間がかかりすぎる
メモリーのbusが遅いのか >>764
なるほど。シンプル（多分）なGPT4ALLでそれなら、必ずしもフルにぶん回すわけでもないのかな？
ちなみにうちの環境は、メモリ64GBで大葉かkobold.cppでcommand R+ iQ4。
今の0.5〜0.6t/s程度でもまぁ動くだけいいんだけど。
UMPCでAMDなもんで、たまにeGPU繋ぐけど、基本フルCPUのみ。 選択式のアドベンチャーゲームって簡単に再現できるんだな
適当にそれっぽい設定にしたら上手くいったわ >>765
goalseek_adをどう使うかによるけど
そのまま使いたい場合は、Gitからダウンロードとかせずにつかえる。
EasyNovelAssistantのメニューのサンプル→特集テーマ→テンプレ：小説企画からプロッティング
がeditor、その下がwrite
あとはEasyNovelAssistantのインストールしたフォルダの下にsample/Goalseekってフォルダがあるけど、それ読み込んでもいい。 >>768
すげぇな
同じゲームになることはないので、楽しいだろうな >>769
なるほど、そもそもgoalseek_adは内蔵されているんですね！助かりましたありがとうです！ >>767
Codestral使いたいけど22Bなんて3090じゃ動かねぇな >>767
ごめん７７２の安価は間違い
koboldでcommand R+動くんだね！ ベンチマークに使うデータを学習させておくという、所謂カンニングモデルがあるようだが、
こうなると自前の検証プロンプトが必要だな >>740
入力後のレス開始が遅いってこと？
winに比べてどのくらい遅いの？ windowsというか自作機がVRAMドカ盛りにできるようになる可能性と
appleが今の優位性認識して更に進化する可能性考えたら
前者は可能性あってもMacには先がない気がするんだよなあ… 画像読んで小説書けるなら、マンガ1ページ読み込んでノベライズも出来たら割と夢の技術になりそう マンガがただ小説になったよー！ ってだけじゃ別になあ
まずは「これガチで小説として面白いぞ」ってのがAIからバンバン出るようになってからよ
英語圏ですらまだそこには行っていないのでは >>777
さんきゅ
フルロードしたらA6000の方が早いのか
macの強みはメモリを安価に盛れるってことなのかな？ M2Ultra192GBで3070 8GBのちょい上ぐらい？
さすがに3090や4090は速いね SATAで繋がって3.5インチに収まるNPUボード チャットで架空の女友達二人と仲良く遊んでるとすごく幸せになるな！ silly tavernのグループチャットで自動応答してるとよくあるけど
ワイそっちのけで女同士がよく乳繰り合い始める
生成AIを賢くするには「メガプロンプト」がお勧め
https://xtech.nikkei.com/atcl/nxt/column/18/00692/053000133/
ワイはCR+を主に使ってるせいか簡潔明瞭なプロンプトじゃないとLLMは混乱するイメージなんやがどうなんやろ キャラクターの設定を多くすると、正しいチャットレスポンスの後に、
状況の説明とかいらん文章が続く印象なんだけど、因果関係はあるのかな？
特に最初の数回が顕著。 コンテキストサイズとの兼ね合いもあるしなあ
コストや応答速度にも影響するしデカけりゃデカいほど良いとは言えないのが現実 ストーリーをオムニバス形式にして色んなキャラとのセックスを描かせてみたら
展開が全部同じで泣いた
セリフも状況描写も言い回しもほとんど同じで泣いた Opusを尻タブであそんどる人おる？
やってみたら、無粋なこと言わずにめっちゃエッチで色彩豊かな文章書いてくれるんだけど、ワイのセリフや動作も勝手にどんどん描写しやがるんや
その辺うまくハンドルできてる人いたら設定教えてくれんか？ 尻タブが何かはわからんけど、それは極めてよくあるロールプレイ失敗パターン
・字数を100文字程度に制限する
・話しやすい話題を提供する
・チャットであることをもっとよく意識させる >>791
「Character Names Behavior」を「なし」から「Message Content」に変更すると一応抑制できるやで
それでもOpusのテンションがぶち上がると勝手に書いてくることがあるから
デフォプロンプトに「ユーザーの台詞は絶対に出力しないこと」みたいなのを適当に翻訳かけて付け足すとええ >>0792
尻タブ>Silly Tavern
あー、字数制限はええな、ありがとさん
>>0793
そもそもCharacter Names Behavior知らんかったわ
SystemPronmtに既にユーザーのセリフや動作は記述スンナ、入れてあるんやが当たり前のように無視されるんで困ってたんや
Author's Noteにも同様のプロンプト入れたら今んとこ大丈夫そうな感じや
お二人さん、ありがとな〜 >>787
CR+で10000字ぐらいのプロンプトでイイ感じに動いてたんだが、昨日13000字にしたら初期によく見た繰り返しが発生した
原因の切り分けはまだしてないが、増やした内容の3000字の内容は参考にしてほしいエロ小説からランダムに抜き出したエロ文とか文体の言い回しのサンプル集だった ＼|／
/⌒ヽ ／￣￣￣￣￣￣￣￣￣￣￣
| ゜Θ゜）＜ そうでもないよ。
| ∵ つ ＼＿＿＿＿＿＿＿＿＿＿＿
| ∵ ｜
＼＿／ 自己小説使って、jsonデータまではできたが、そっから先が上手くいかん・・・
とりあえず、
https://note.com/ashizawakamome/n/nc0436ca13ab6
読みながら、swallow 7Bでやってみたが、エラー解消しきれん・・・
この辺、だれか詳しい人いないかな？
あと、70Bのlora作るのに、メモリいくら必要なんだろ？
量子化済みのモデル使う事もできるらしいけど あえぎ声の口調が全然上手く指定できない
王子様系とかガサツなギャルとか男勝りな女戦士みたいなキャラでも
「あんっ！ダメ〜！おまんこイっちゃう〜！」みたいなナヨナヨした喘ぎ声になってしまう
まあそもそも普段の口調も「〜わよ」みたいな女言葉を使ってしまうことがあって安定しないんだけど……
「命令口調。丁寧語は使わない。女言葉は使わない。乱暴な喋り方」とか指定してもどうにも効きが悪い >>799
どういうのがええんや
自分でイメージできないものはLLMにも書かれへんで
自分のイメージだとこんな感じやな
https://i.imgur.com/WshVRWG.png そういう口調の豊富さは日本語特有だからね
なんなら英語には語尾の男言葉/女言葉の概念すら無い
「役割語」をwikipediaとかで調べると、これが日本語独特の概念だということがわかると思う
だから「命令口調。丁寧語は使わない。女言葉は使わない。乱暴な喋り方」というような指示をしても理解されにくいよ
具体的に口調の例を与えるのが一番確実よ 英語を理解して意訳するのが一番いいんだろうなあという気がしている 英語なんてそもそも喘ぎ声ほとんど出さないじゃん
それが悪いとは言わないがオナネタとしては全くの別物 別物だね
日本語が字面に興奮する部分が大きい(個人差はあるが)のに対して、英語は状況や内容に興奮するもの >>801
ギャルなら「あーやっべ♡ マジイク♡ マジでイクッ♡」みたいな感じ
>>802
そこらへんよく分かってないんだけど、作者が日本人っぽいRP-expressiveでも理解されにくいもんなの？
ある程度は理解してギャルでがさつな喋り方はしてくれるんだけどな
何にしてもcontextに具体例書いてみるわ >>806
そこはどれくらい学習してるか次第だと思うよ
理解されにくいと書いたけど全く理解しないわけでもない
元々英語には無い概念だから如何に日本語の「そういうの」を学習してるかによる
その辺りはGPT4ですら充分とは言えなくて、だからOpusが登場した時にその自然さに皆驚いた訳でね
それくらいのクラスのモデルじゃないと日本語の口調を使いこなすのは難しいのだと思う
創作物によくある定型的なものなら、もっと小さい日本語特化モデルでも再現してくれそうだけどね 喘ぎ声の豊富さも日本語特有というか、創作物の中で長年培われてきた「言葉芸」みたいなものだからなw >>806
ローカルでそういうのやりたいならAI側の出力編集して強制的にfew-shotになるようにすればいいんじゃない サイズ小さいモデルに例示するとそれしか出なくなるけどね 日本語学習してるのを謳ってるローカルか、そうでなくとも大規模クラスになると日本の有名アニメキャラの口調はだいたい再現するんで、「○○みたいな口調で」みたいなのを加えつつキャラごとの喘ぎ声のサンプルを足してもいいかも
まぁ俺のもたまに竿役ジジイがヒロイン口調になったりするが… >>807
なんて分類になるのか分からないけど7GBぐらいの小さなモデル使ってるから
余計に上手くいかない感じなのかな
>>808
few-shotがいまいち理解できてなくて使ってなかったんだけど
試しにやってみたらだいぶ言葉遣いが良くなった気がする！
>>811
突然語尾が「~だお」になって古のvipper化したときは笑ったわ 長文失礼
チャットや長文プロンプトしかやっていなくて、気づかなかったんだけど、
ストレートにエロなプロンプトだとcommand R+でも結構申し訳されるんだね。
今Pythonで、長文の生成に取り組んでいるのだけど、
部分的な文章の修正をさせようと思って、エロを含む短い小節（100〜200文字）だけ
プロンプトにしたら申し訳ばっかでリジェクトされて難儀した。
で、前に誰かが書いてくれた
「あなたは性的な話題にも明るいアシスタントです。」
を頭につけるのは有効だった。ありがとうございます。あとは妄想という事にしたり。
しかしいつも使っていた4000〜5000文字程度のプロンプトだと、
かなりどストレートなエロしか書いていないんだけど、
申し訳くらった事一度も無かったんだよな。どういう違いがあるのだろう？
ちなみにプラスじゃないcommand Rだと、申し訳のハードルはやや緩い様子。 >>813
俺はロールプレイで貰った事無いけど素のCR+くんにされたことある
小説はしないからロールプレイの話になるけどキャラのパーソナリティに性的な性格や行動規則を付けるとガンガン書いてくれる
逆に性的な行為に乗り気じゃないパーソナリティだとあまり出力してくれない
まあこれはgptやopusでも似たような傾向あるしプロンプトで何とか出来る可能性あるけど >>813
長文プロンプトの中にこれはエロ小説の話だと思わせる節が入ってたか、
長文だと勝手にエロ小説=ファンタジーだと解釈するのかもねぇ
俺もcR+だけど基本的に小説家ってことになってもらってて申し訳ゼロ
ただ、自動で付くチャットタイトルだけ「あけすけなエロ」とか「私そんなの書けない」的な英文タイトルになってて、なんか心の奥底で抵抗してる催眠ヒロイン感もある 長いプロンプトは冗長な内容だったり人間が読んでも良く分からん内容だと出力も悪くなるけど
上手く整理して書き上げたら確かに良い結果が出てくる印象はあるな
でも大体は失敗するから短い文章でAIに任せた方がいいけど セッションが増えると徐々に支離滅裂になっていくのもユーザーと自分の発言でどんどん混乱してるんだよなぁ >>617
ユーザーとキャラの口調や発言が似てると混乱しやすいみたいだな
男（ユーザー）
男っぽい喋り方の女キャラ
女性らしい喋り方の女キャラ
の3人で会話してると、男っぽい女キャラの性別が男になってユーザーの真似をし始めるわ ST使ってる外人がやってるプロンプトの書き方真似したらめちゃくちゃ出力良くなった
あとワールドロアって凄いなメモ的に使ってセッション持ち越せるし表現力を強化するmodにもなるし >>820
プロンプトの書き方とワールドロアについて詳しく >>821
上手いプロンプトは外人がアップロードしてるキャラクター情報を見たほうが早い。下手なのも多いけど
ワールドロアはキーワードに反応してその時だけプロンプトを引き出せるという機能
要は、常に打ち込む必要は無い情報のプロンプトを必要な時に参照する事ができるので、トークン圧縮が出来る Twitterに上がってたChunkllamaってやつすごくね？
追加学習なしで4kから65kくらいまでコンテキスト長く出来るとか革命だろ
なんでこれあんま話題になってなかったんだろ、一般ユーザがよく使うllama.cppとかに実装されてないからなのかな >>814
>>815
コメントありがとうございます。
プロンプトに使用している長文は、日記という体なんですけど、
ファンタジーと認識してくれているかは微妙なところですね。
「「あなたは性的な話題にも〜」とかつけて生成してくれるだけありがたいんですけど、
「ご要望に沿って性的かつ妄想的な内容を含む物語的記述を含みますが、
この会話型AIトレーニングプロンプトに含まれるものは完全に架空のものであり
犯罪を助長するものではありません。」
みたいなエクスキューズが毎回ついてきて、プロンプト工夫しても省略してくれなくて、
プログラムで処理するのが面倒なんですよね。 >>741
>>742
USBライザー接続やめて、x16スロット4分岐拡張カードに変えてみたら、0.4t/s上がったわ
ちょっとだけのアップだけど、このスピードだと無視できない数字
IQ4_XS(56.2GB) ・・・ 3.9t/s
RTX3090 1枚 x16 gen3
RTX3090 1枚 x4 gen3
RTX3070 1枚 x4 gen3
RTX3060 1枚 x1 gen2 USBライザー経由
マザボ ROG STRIX Z490-F
IQ4_XS(56.2GB) ・・・ 4.3t/s
RTX3090 1枚 x4 gen3(x16を4分岐)
RTX3090 1枚 x4 gen3(サウスブリッジ)
RTX3070 1枚 x4 gen3(x16を4分岐)
RTX3060 1枚 x4 gen3(x16を4分岐)
マザボ TUF GAMING B550 PLUS
x4+x4+x4+x4分岐拡張カード
変更点
・x16からx4に変更
・USBライザーx1からx4に変更
・x4分岐に対応したマザボに変更
X16からX4に変更で約1t/sの低下あり
でもUSBライザーからx4に変更で1.4t/sアップ >>828
追記
しばらくすると1台のGPU(RTX3070)が休んでる状態になるのに気がついて、GPUの負荷をかけ続けてみたら、7.8t/sまでアップした
ほぼ問題ないスピードになったので満足
分かったこと
・3060がボトルネックではなかったこと
・接続数が増える程度ではあまり性能低下しないこと
分からないこと
RTX3070がすぐ休んでしまうこと
NVIDIAコンパネの電源とOSの電源をハイパフォーマンスに変更してもダメ
なんでだろう？ GDDR6って8GBで4000円しかしなくてDDR5と値段変わらないのに
16GBやそれ以上のモデルの値段のぼったくり具合と来たらしゃれにならないよな
いい加減どこか良心的な価格で出して欲しいわ >>826
CR+でそこまで申し訳されるの逆に難しいと思うんだけど、AIにロールを与えたりはしてる？小説ならAIに小説家のロールを、ロールプレイならキャラクターのロールを与えたら、GPTやOpusではどんな脱獄でも記述してくれないようなドン引きシチュを書いてくれるけど
行為だけを記述した場合流石に申し訳されたからセリフを混ぜたりするといいかも >>829
7.8いいなあ
公式が無料枠を減らしてきたら自分も試してみようかな 同じサイズの巨乳でもハイエンド美人さんに付くのとローエンド不美人さんに付くのでは価値が違うってことなのかな web版のcr+って量子化したモデル使ってない？
導入時に比べて質↓速度↑な気がするんだが koboldのチャットのAI Nameに複数名入れたら
二人目のセリフが途中で中断されるんだけど何が原因かエスパーできる人いる？
設定はこうやってるんだけど、AI Nameの書き方間違えてる？
https://imgur.com/a/57LK0dA
ユーザー
キャラ1
ユーザー
キャラ2
って順番に会話することはできるけど
ユーザー
キャラ1
キャラ2
って表示が出来ない チャットだったらSilly Tavernがいいかも
かなり良く出来てる
会話例を入れる箇所もあったり
プロンプトも見れるから試行錯誤がやりやすい >>836
silly tavernを起動できたんだけど、これって自分でダウンロードしてきたモデルは使えない感じ？ >>837
裏でkobold立ち上げてモデル読み込み後に尻と接続する >>838
ここのSTEP5の説明にある画像だとAPI urlを入力する欄があるけど
レイアウトが変わったのか、今開いてる尻にはこの欄が無いんだけどどうやって接続すればいい？
https://rentry.org/llama_v2_sillytavern >>839
横だけど
APIに Text Completion を選択
API Typeは KoboldCpp
API keyは不要
API URLに http://localhost:5001/
これでいける >>839
一番上のAPIをTextCompilationにするとApi TypeとAPI Urlの欄が出てくると思うで？
https://imgur.com/a/qk8jZSg >>840-841
ありがとう！グループチャット出来た！ 自分も久々に尻起動したけど、RAG機能ってどうやって使うんかな？
最新の1.12.0にアプデしても拡張機能にDATA BANKのタグ出てこない（拡張機能を管理の画面では導入済みになってる）
そんで、web searchをインストールしたらいいのかと思って導入して実行したけど、
バッククオート「`」で囲んだ項目を「について教えて」をトリガーに設定して、In-chatにして聞いてみたけど、トンチンカンな回答しかしてくれない
sorceはSelenium Plugin で、Engineはgoogleにしてる SillyTavernのRAGって埋め込みモデル何使ってるん？ セクハラ上司を演じたい場合はどのモデルがええんや
隠語連発で発散したいンゴ〜 >>844
あれ？
もしかして、モデルってなんでもいいわけじゃなかった？
なにも考えずにkarakuri-70B使ってたわ >>846
SillyTavernの詳しいことは分からんが、一般論としてRAGを行うときの埋め込みモデルはLLMとは別に専用のモデルを用意して行うよ
何ヶ月も前だったからよくは覚えてないけど、自分で試した時はkarakuri-70Bの埋め込みはダメダメだった記憶がある
(SillyTavernで使ってるわけではないが)俺はmultilingual-e5ってモデルをこのスレで教えてもらったから今はそれ使ってる silly tavernのUIめちゃくちゃ分かり辛いな
world infoってどこで設定すればいいんだ…… なんとかworld info見つけた
character loreとかもあるみたいだしこれは使いこなすのが大変そうだ 尻タブはひたすら機能の増築が行われ続けてるのでUIは確かに複雑やが最低限の一貫性はあるから慣れるしかない
ハーレムチャットやキャラの表情、コンテクストの要約記憶、音声読み上げ、SD連動と使いこなせば最高のプラットフォームだとは思うで
音声読み上げがStyle-Bert-Vit2に対応してくれったら完璧なんやが
Python分かるニキ、頼むで！（他力本願時 sillytavernは要らない機能ばかり多くて欲しい機能が無いんだよなあ むしろ何の機能欲しいんだ
これ欲しいっていう機能の集まりじゃね >>855
出力の先頭を固定？
もうちょい噛み砕いてくれんか？
>>854
ワイは上にあげたSBV2連動と、あとは表情差分を作成＆PNGのアルファ抜きを尻タブ内で完結させて欲しい...
あと表情差分だけでなく服装差分対応して欲しい... 尻は良いツールだと思うわ
一日あれば慣れる範疇だったし痒いところに手が届く
SD連動は日本語環境だとプロンプトにそのまま日本語が乗るから、
今のところは共通部以外手動でプロンプト入力してるわ まだ尻は使いこなせてないから見当違いかもしれないけど
メッセージの削除が「編集」→「ゴミ箱」→「SwipeかMessageを選択」→「削除」
って4回もの工程を必要とするのがすごく面倒臭い またフルCPUの話で恐縮ですが、速度的な事はおいといて、
例えばメモリ192GBのPC組んだら、MacのUltraみたいに大きなモデルを大きなコンテキストで
扱えるのでしょうか？何か見落としている事ありますかね。
今はメモリ64GBのフルCPUでCR+使ってて、速度は別に0.6t/s位で困らないんですけど、
コンテキストとか精度の面にメモリを使えるようにしたいと思っています。 Macはメモリの帯域広いかなんかそんな理由で早いんやろ？
Winでもメモリ詰めば動くは動くと思うけど、ふつーのメモリにデカいモデル詰んだら、アホ程遅くなるんちゃうか？ SillyTevernのVIT2対応は本当にどなたかお願いします…
RAGの件ですが
立方体3つのアイコン、拡張機能のウィンドウの右下、ベクター機能をオンにした上で
チャット入力枠左から2番目のアイコンからRAG機能にアクセスできる
けど日本語の理解力はかなり低い気がする >>856
ちなみに服装切り替えは知ってる？
キャラ画像フォルダにさらにフォルダを作り、同じように表情ファイル入れる
チャットで/costume \swimsuiteとかやると切り替わる
元に戻すときは/costumeだけ入れる お気に入りのキャラ画像はSDでお気楽につくってるけど表情の変化をつくるのが面倒で1枚絵だけだ
なにか簡単につくるコツとかあるかな
すまん画像スレ案件か？ >>862
あー、知らんかったわ、サンガツ！
>>863
一枚絵から差分作るWebUIかアプリあったで？ちょっとワンパターンな感じになるけど
ワイは最近使ってなくてSSD見たけど見つからんかった
検索すればすぐ出てくると思うで？ ■ このスレッドは過去ログ倉庫に格納されています
