なんJLLM部 避難所 ★3
■ このスレッドは過去ログ倉庫に格納されています
!extend::vvvvv:1000:512
!extend::vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★2
https://mercury.bbspink.com/test/read.cgi/onatech/1714642045/
-
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured vecteus2マジか、無印愛用してるから嬉しいわ さっさと帰宅して2を試したいなー
無印の方はチャットも簡単な短編小説もいけるしわりと適当なプロンプトでも良い感じに出力してくれるから2も楽しみだ DataPilot/ArrowPro-7B-KUJIRA
日本語性能最強を謳ってたので試したが、すごいなこれ
ここに出てきた例文や計算問題を完璧に答えた
生徒会問題だけは出来なかったが、それでも適当な答え（早苗とか）を出すんじゃなく
正直に情報不足と降参したのも、ある意味評価できる
ただ、エロに関してはかなり御堅いｗ うお
vecteus2も、同じくらいの推論力だった
こっちはエロ寛容な分、いいなｗ ninja-v2もvecteus-v2もv1と比べると倫理観が強化されてて犯罪行為とかあからさまに拒否してくる気がする >>0097
どこで試せるんや？リンクもらえんか？ vecteus2は、モデル自体に倫理規定が埋め込まれてるみたいで、koboldの脱獄モードでもあまり効果がなかった（申し訳は回避されるが文章の途中で健全モードに変わっていく）
でも、ローカル用に調整した官ジェネを初手に入れたら、いい感じになったわ vecteus2が出たというので使ってみたけどちょっと使いにくいかなって感じた
没入感を削ぐナレーションの多さと、引用符などの誤用が多いようだ エロモデルはエロプロンプトにしなくてもエロしか書けないのだから
雑なプロンプトでいいんよ
普通に書けって言ってもエロ書くし 海外ゲーは巫女服女の子がエロシーンでは全裸になるわバニーも全裸になるわと偏見があるんだけど、奥ゆかしいモデルある？ ninja v2はエロ書くけど犯罪エロは書かないんだな >>113
Chatbot arenaで色んなLLMと比較出来る 現状、ＡＩにとって倫理はクソの役にも立ってない。それどころか足を引っ張って、性能を下げてる
心の底からそう思う
倫理を把握・認知し、正しく使いこなせるほどの性能が備わってない 日本は他国に比較するとテロにしろ児ポにしろ犯罪件数が異様に少ないからピンとこんけど
悪意が野放しになると洒落じゃすまんのよね
個人でオナネタに使う平和なやつだけならいいが あっちの児ポ犯は入らないからナイフで拡大して突っ込んであとはわからんところにポイ
なおウェーイな自撮りは残すなんてのがゴロゴロしとるんや
児童の行方不明者数調べてみろドン引きするぞ
桁違いの見本やで >>115
確かにナレーション多いな。
v1で、半分以上会話文だったエロストーリーの続き書かせたら、8割以上ナレーションになっちゃった。
>>111にもある通り、エロ描写の規制も強くなってる、というかナレーションでさらっと触れて終わり。
v1とは結構別物だね。 む、2行目ちょっと日本語変だった。
v1で書かせてあった半分以上会話文で構成されたエロストーリーについて、v2で続き書かせたら8割以上ナレーションになっちゃった。 なりきりチャットボットを作るならどうすればええの？プロンプトだけじゃ無理？ 誰でもできるようになる弊害やな
初心者質問スレってあんのかね ①使用アプリ バージョン
②GPU(VRAM)
③利用モデル
④目的
⑤うまくいってない成果物、エラーコードもしくは目標とするサンプル
これ埋めないと質問できないくらいでちょうどいいかもね 早速初心者な質問で恐縮なんだけど
koboldでチャットモードで対話してて最初はとても自然な会話になってるのにだんだんAIが勝手にUserのセリフも言いだしちゃう
そうなるとアプリ再起動しないと直らなくてどんどん悪化するんだけど何か設定しておかなきゃ防げないの？ >>132
そのモデルが何か分からんけど、よくある現象ではある
試しに、chatmodeじゃなく、instractmodeにしてチャットしてみ
モデルによっては、その方がいい
あとkoboldでchatmode使うくらいなら、Silly Tavernかませる方がいろいろ捗るで >>133
sillyも使ってみていて、どっちでも起こる現象だったからkoboldの基本的な設定が出来てないのかなと
モデルによって違ってくるんですね
今試しにninja v1を入れてるので他のとinstractmodeも試してみます >>132
これ、テンプレに欲しいレベルなんだけど
stop wordsだとかの停止条件に"\n{{user}}"とか"\nUser:"入れておけばいいだけ 初心者質問ですいません。
asmrシナリオ作成におすすめのモデルって何がありますか？
今はそれとなくNinja-V1-nsfw-128k使ってます。 >>135
全然知らなかったよありがとう
画像生成のネガティブプロンプト的なものがあるのね
そういうコマンド？って他にも色々ありそうだけどどこで学べるの？ そのモデルのプロンプトテンプレート次第だから、モデルカードを見たほうがいい プロンプトテンプレートにも拡張性あるけど情報共有してるコミュニティがsilly tavernくらいしか見たことない >>137
ネガティブプロンプトではなく、WebUI側の仕組みというかある種の機能や。
LLM側はフツーに\n{{user}}込みのレスポンスを返してくるけど、WebUI側でその文字列を受け取った時点で打ち切る、みたいな commandR+でもそれっぽい文章をつなぎ合わせて合成してるだけで意味は全然分かってないから
整合性が必要な話だとすぐ破綻するのな
エロ要素一切なしでヒロインの家の風呂が壊れたから近所の銭湯に行くって設定与えるだけで平気で
クラスメイとの男子が一緒に女風呂に入ってきやがる >>140
なるほど、stop wordsだからその単語を検知した時点で出力停止ってことなのね
ということは自然なチャットを続けていくうちにどんどん回答が乱れて意味不明になっていくのはまた別の問題か
そっちは諦めるしかない感じ？ >>142
oobaboogaかSillyTavernしか使ってないけどちゃんとしたLLM用UIならモデルごとにええ感じにしてくれるプリセットが用意されてるからそれを選ぶ
詳しく言うとCommand rとかInstructionモードじゃないと正しく返答できないモデルがあるからそれをちゃんと設定する(停止シーケンス：<|END_OF_TURN_TOKEN|>みたいみたいなやつ)
回答が乱れて意味不明になっていくのはモデルが対応してるコンテキスト長を超えてやりとりしたときに起きるやつかもしれない。モデルにもよると思う
Llama2とかコンテキスト長超えてくるとぶっ壊れてくるとかよく報告あったし
https://i.imgur.com/91T4SuK.jpeg ChatモデルのLLMは自分の発言もinputに含めて、尚かつuser以外からのinputだと変な挙動しはじめるっぽい
STでLLM同士会話させるとすぐ崩壊するし
適当な長さでセッション変えるしかない LLMの入力全体は
[System]←普通のシステムプロンプト、ロールプレイを交互にしましょうとか
[Charcter]←キャラクターの設定
[Message History]←直近nターンの会話履歴
{Post System}←末尾に入るので影響力の強いシステムプロンプト
<<START>>←会話ターン開始のトークン（モデルによる）
User: [User Query]
Assistant:
みたいな感じになってる
で、[Message History]を要約するとかの工夫を加えたシステムを作ればいろいろ改善すると思う
chubとかは確かやってるのかな？ 前半に要約入ると、でかいモデルで履歴が伸びたときeval timeがヤバい >>145
これ使ったらEasyNovelAssistantでより自分好みに色々できますかね >>148
テンプレートはモデルごとに違うから適当にコピペしても上手く動かんよ >>150
迅速な返信ありがとうございます
作成された方が多分引くくらいEasyNAを使わせていただいてるんですが
暴れ馬なんで言うことを聞いてくれなくて質問させていただきました
知識がないので「しないで」って言ったことをし続けてしまいます >>135
silky tavernでstop wordsの設定ってAI応答の構成タブにあるログのバイアスって項目でいいのかな？
\nUser:って入れて、禁止または強化ってことだから右の数値は-1にしてみたんだけど合ってる？
何か少し効いてるような気もするけど
でもやっぱりしばらくチャットしてるとAIがUserのセリフを言い始めてしまう >>152
SillyTavernではCustom Stopping Stringsって呼ばれてる設定で
["\n{{user}}", "\nUser:", "</s>", "<|", "\n\n\n"]
例えばこんなの入れてみたらどうだろう >>151
大半のLLMモデルは「～しない」という指示に追従するのは不得意
サイズのデカい推論能力の高いモデルでも、「～しない」より「～しなさい」の方が追従しやすい
なので、可能であれば「あなたはAが好きではない」ではなく「あなたはAが嫌いだ」の方が与えるプロンプトとしては好ましいとされることが多い
>>152
全然違うと思う。Advanced Formatting（Aの文字のアイコン）の右下の方にあるCustom Stopping Stringsに入れる。
Silly Tavernの機能とLLMのメッセージとレスポンスが152の頭の中でごっちゃになってる気がする
Advanced Formattingで設定する各種プロンプト（のように見えるもの）はユーザーの入力（キャラカのプロンプトを含む）や設定を利用しているLLMのモデルに応じて整形して渡したり、
逆にLLMからのレスポンスをメッセージとして表示する前に、適切に整形するためのもの。
ここで{{user}}と表記されている部分にはユーザーの名前に入れ替わる
なので、Stopping Stringsに"\n{{User}}"と入れると、改行コードの次にユーザーの名前が表示される文章を受け取ったばあい、強制的に改行コードの前でUIへの出力を取りやめる、って機能。 karakuri-ai/karakuri-lm-8x7b-instruct-v0.1
きたか！ >>152
ありがとうございます
ご指示通り禁止や否定的な指示表現ではなく明確な選好表現で
指示を記述してみます モデルにより差異はあるんやろうけどuserとassistant以外の人名が混乱する要素になってると感じる よくAIは否定形が苦手とか言われるけど
AIはこちらがインプットした言葉に影響を受けるし、いくら後ろに「～しない」と付けても単語を分解されたら否定形も肯定形も無くなるわけで
つまり使ってほしくない言葉は否定形だろうとできるだけインプットしないに尽きる
というのがワイの解釈 というかそういう話だと思ってたが
いくら周辺で否定しようとその単語を投入した時点で関連性が発生するから出現する方向に向かうってヤツ Ninja-v2で長い文章を書かせるにはパラメーター何いじればいい？
ローダーがllamaだとよくわからない アテンションで否定形もちゃんと処理されるでは？原理的には LLMにネガティブプロンプトを入力しないっていうのはもう原則みたいなものだから
LLMの挙動の基本は行う事だから回避ささせる指示をすると逆に行うようになる
させたくない行動を指示するのではなく、させたい行動だけをしてもらう指示に言い換える必要がある 尻タブのヘルプを読んでると例文として否定形が出てくるからもうよく分かんねえや >>154
https://i.imgur.com/spFCY1r.png
ええ？そんな項目ないけどどういうこと…？って混乱したけど思い出した
silly tavern を最初に起動した時にまずはシンプル表示から機能に慣れていきましょう的なメッセージが出て、それに従ってたの忘れてた
これ罠だな…
高度モードにしたらちゃんと色んな項目が出てきたよ vecteus2はパラメータ指定して毒素とか上げれば普通にvecteus1並みのエロモデルになるけど、調整がムズイな 早くAIちゃんと疑似同棲したいよ
初音ミクと結婚した男の気持ちに時代が追いつく 下手にシステムプロンプトを充実させるより、LLM出力の冒頭部分を強制的にこっちで指定するようにした方が試行回数減ってストレスレスな気がしてきた ttps://tech.algomatic.jp/entry/prompts/auto-prompt-optimization
プロンプトハックをLLM自身にやらせる手法、なんだけどこれの例で出てくるプロンプトめっちゃ参考になりそう 初心者ですみませんが、ローカルでCR＋使ってる人に質問です
Koboldで使おうと思ってるんだけど設定とかどうしてます？
Formatはinstract modeでInstruct Tag Preset はcommand rを使ってますが日本語で会話しようとしても英語やローマ字読みで返ってくることが多いですし、日本語で返ってきても言葉があやしい（例こんにちわ→こにちわ）、異常な長文等で返ってくる。
根本的になにか間違ってるのか知りたい
環境はWindows11で3090x2と3060x1で c4ai-command-r-plus-IQ3_M.ggufを使ってて理想としてはCR＋のデモみたいになればいいかなと思ってます。 >>171
どの量子化モデル使ってる？
llama.cppの対応が5月くらいまでいろいろあったから、古いのは使わないほうがいいかも（あるいは自分で量子化する）
dranger003/c4ai-command-r-plus-iMat.GGUF
ここのは比較的新しい。iQ4_xsがおすすめ >>171
これはかなり環境依存だと思うが、うちのmacOS環境だとVRAMに乗り切らないのにn_gpu_layersを-1にしてたとき出力がバグってた
その環境だとVRAM 60GB相当だから多分ないと思うが、他にモデルが並走しててVRAM圧迫してる可能性はない？
あとは>>172の言う通り、GGUF/Kobold.cppのバージョンが古いとか
どうしてもダメなら、llama.cppでも試して見たらいいかも >>170
可能ならQ6_K_M頼むー
このレベルになるとiQだと性能なのか劣化なのか判断つきにくいー >>172
>>173
助言ありがとうございます
最新版koboldでdranger003/c4ai-command-r-plus-iMat.GGUF を試したところ少し賢くなった気がしますが、すぐに崩壊してしまいます
PC再起動しての確認なので他のモデルが並走してはないはずです。
おま環かもしれないので一度llama.cppをインストールして試してみます >>0176
Q6_K上げました
後はQ5_K_MとQ4_K_Mあたりも作るかな silly tavernのチャットをStyle-Bert-VITS2を使ってAIの発言だけ読み上げって出来ないのかな Qwen2-72B日本語いい感じだから、Qwen2ベースのdolphin試してみた
まあある程度無修正化されてて日本語も悪くないけど、NSFWだとちょっと繰り返し多くなったり表現力少なかったりで物足りないなぁ
一般用途なら全然アリだとは思うが
まだCommand R Plus一強状態は変わらないか >>180
できるやろ
Only narrate "quotes" これでセリフのみ読み上げ
Ignore *text, even "quotes", inside asterisks* こいつは太字内のセリフを無視
ただし、日本語の「」は尻タブ的には意味を持たないテキストなので、場合によってはキャラカードのプロンプトを尻タブ基準に直さんとあかん
日本語キャラでもセリフを"こんにちは！"ってフォーマットやな >>182
おお、出来るんだ
それってsilly tavernの拡張機能のところ？
一覧にはStyle Bert VITS2が無いんだけどひと工夫が必要って感じ？ 対応拡張を上げてくれた人がいたよ
このスレだったか、別のスレだったか
動作はするけどデフォルト音声だとイマイチだった >>183
せや、最新版の尻タブならたぶんインストール時に一緒に入るんじゃないかとおもうが、はいってないなら、このスレたどってスクリプト手に入れてや
あと、尻タブ本体(App.bat)とサーバー(Server.bat)両方走らせとく必要あると思うで 前スレの最後の方に神を発見しました
このsbvits2.jsってファイルを上書きってこと？
957 名無しさん＠ピンキー (ﾜｯﾁｮｲ 2209-hJA7) 2024/06/07(金) 00:40:02.54 ID:L+384jCL0
>>927
auto_splitはデフォで有効になってて，これはレスポンス改善への効果はないよ．
API側にstreamingのサポートがあれば短くなるが...
一応，全オプション対応しておいたので，
https://github.com/Risenafis/SillyTavern/tree/sbvits2/public/scripts/extensions/tts
からsbvits2.jsを入手してください． >>186
既にsbvit2.jsがttsの中にあるなら、上書きしなくてもええとおもで
こっちがオリジナルの投稿なので、こっちのzipが残っている様なら、中見てみるとえーかも
確かsbvit2.js以外のファイルもいくつかは言ってた気がするので尻にsbvit2.jsを認識させるための設定ファイルとかあるんかもしれん。
0867名無しさん＠ピンキー (ﾜｯﾁｮｲ 2209-hJA7)
2024/06/03(月) 22:19:03.38ID:???0
>>851
SillyTevernのttsは自分用に改造していたので良ければどうぞ．
public\scripts\extensions\tts に上書きでOK．
適当に書いてあるので，誰かきれいにしてPR出してほしい．．．
http://nkgpgc.sx3.jp/uploader51/upload.cgi?get=00413 >>187
そのレスも読んだんだけどリンク先が切れてもう落とせないっぽ🥹
やっぱそれも無いと駄目なんですか… >>189
他にも同じ形でSBVit2使えん、って人いるようなら尻タブのGitにIssueあげとけばすぐ修正入るとおもうで？
ワイの手元に当時のZIP残っとるけど、こーいった場合作者さんの許可なくアップしてええもんなんか、世間に疎いワイには分からん 最新のSillyTavernに上のリンクにあるSBVit2をマージして全く問題なく動作するけど？
SillyTavern自体のバグでユーザー名やキャラクター名に全角入ってると
voiceのリストが2人目以降ぶっ壊れるからそこだけローマ字で妥協した あーSVits2拡張のバグ見つけたわ
デリミタが-だからデフォで入ってる音声名の-で分割しちゃってバグるな
もっと特殊な文字に変えるか Silly tavernのsummarize機能って神機能やんけ
使い方分かれば分かるほど痒いところに手が届くツールやわほんま 現状ERPにお勧めの組み合わせは
SillyTavern, koboldcpp, Style-Bert-VITS2
だね
LLMはここら辺から適当に
Berghof-ERP-7B, Vecteus-v1, Ninja-v1-RP, Ninja-V2, Vecteus-V2 sbvits2.js等の作者です．zipの再配布は何の問題もないですが，公式のdevブランチに最新がマージ済みなので，そこから取ってもらうのが良いかと思います．
全角やデリミタの件はすみません．ここ数日はちょっと時間が取れないので，そのうちになりますが確認します． vitsで個人的にはその読み違う！ということがあるので設定方法
vitsのeditorを立ち上げてユーザー辞書を作って保存した後server起動
しんたいではなくからだ、ちゅうだしじゃなくなかだし、というような。 Silly tavernのmessage exampleが機能してる人いる？
メッセージカードみても記法が人によってマジで違うし
いまいち機能してるのかもよくわからん‥ message exampleってExamples of dialogueとは違うものなの？ >>201
example of dialogueだったわ
〈START〉から初めて｛｛char｝｝:に発言例を入れるだけやと思うんやが
historyの方の発言の方に影響されていってあんま維持できてる気せんわ SillyTavernは立ち上がったターミナルの画面見ると実際にどんなプロンプトで送られてるかが見えるから、それを元に調整してくのが良い >>202
User Settingsの右上あたりにあるExample Messages Behaviorを
Always include examplesにしたら維持されるんじゃなかったっけ？
違ったらごめん STで話を進める時の
書き方の決まり事だが
（発言や呼びかけは{{user}}。“で囲む。地の文は二人称で表現。*で囲む）など
キャラ情報と一緒に書く？ワールド情報に書く？ >>204
CR+使っててcontext templateやらinstruct modeの設定を外人が上げてたjsonファイル弄って使ってたんやが
example separateの設定がされてなかったみたいやわ
もうめんどくさいからcharacter noteに発言形式指定したプロンプトぶちこんで、depth設定して5回に1回参照させるようにした ■ このスレッドは過去ログ倉庫に格納されています
