なんJLLM部 避難所 ★4

レス数が1000を超えています。これ以上書き込みはできません。
0001名無しさん@ピンキー2024/09/10(火) 10:19:11.43ID:Z1PzH55u
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC(できれば+3060 12GB以上)でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降

本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★3
https://mercury.bbspink.com/test/read.cgi/onatech/1717886234

0952名無しさん@ピンキー2024/12/22(日) 10:37:09.58ID:C//Zz6UE
>>951
説明読んでもよく分からんのだけどこれどうやって使うんだ?
https://github.com/LostRuins/koboldcpp/releases

テンプレートを使えばすぐに始められるらしいけどこのテンプレはどうすりゃいいんだ

0953名無しさん@ピンキー2024/12/22(日) 16:03:41.70ID:???
バブちゃんですまん
Koboldcppを使ってvecteus-v1-abliterated-Q8-0でロールプレイをしたかったのだが
キャラ設定を読み上げたり1人芝居をしたりしてしまい話が進まない
色々設定を変えたりしているのだが
どんどんおかしな方向へいってしまう
オススメの設定を教えてほしい

0954名無しさん@ピンキー2024/12/22(日) 16:24:08.48ID:???
>>952
コマンドラインで
koboldcpp.exe --config Qwen2VL.kcppt
ってやると必要なモデルがDLされて起動されるからそれで使える
起動後にやれることは↓の解説動画が詳しい(英語だけど)
https://www.youtube.com/watch?v=lYbRAh_yQuU

0955名無しさん@ピンキー2024/12/22(日) 18:33:03.15ID:vgpyFgaH
>>954
フォローthx
自分で試してなくて、情報投げっぱですまん。

0956名無しさん@ピンキー2024/12/22(日) 20:04:19.78ID:???
EasyNovelAssistantとkagemusyaのアップデートはずっと待ってます

0957名無しさん@ピンキー2024/12/22(日) 20:58:15.43ID:???
>>953
koboldcpp単体でもいいけどロールプレイしたいならsilly tavernと連携してやるといいよ
特に設定いじらなくてもそこまで変な出力にならんはず

0958名無しさん@ピンキー2024/12/22(日) 22:09:05.44ID:???
>>957
実はSillyTavernと連携してやっていてSillyTavern側でいじってる
相手側の台詞と状況、心情を書いて欲しいんだが
どう設定変えても出来なくて
こちら側の心情も勝手に書かれたり
設定読み上げられたり
小説のように長くなってしまう
今はデフォルトとチャットにして
短文出力にしてる

0959名無しさん@ピンキー2024/12/23(月) 00:33:11.19ID:???
>>958
地の文をキャラとして登録する
んで地の文はセリフを出力しませんとか心情や状況のみ描写しますとか設定してる

0960名無しさん@ピンキー2024/12/23(月) 04:01:39.20ID:VI/GNIfO
>>954
サンクス
この起動方法って自分でQwen2_VL_instuctのggufとmmprojをダウンロードして
koboldcpp_cu12.exeをクリックしてUIで設定してから起動する通常の起動方法とは何か変わるの?
プリセットってその手順を省くだけ?

0961名無しさん@ピンキー2024/12/23(月) 07:50:55.08ID:???
>>959
サンクス!
相手とは別に地の文をキャラ登録してグループチャットのようにするという事かな?

0962名無しさん@ピンキー2024/12/23(月) 08:09:13.20ID:???
>>961
力技として実際に出力された文をこっちで推敲するって方法もあるよ
こういう風に表記するんやでって直してやるとそのスタイルを学習していく

0963名無しさん@ピンキー2024/12/23(月) 08:17:14.66ID:???
>>962
なるほどサンクス!
小説風になった時にいいね
相手からは名前呼びで
地の文はあなた表記がいいんだよな

0964名無しさん@ピンキー2024/12/23(月) 09:25:13.78ID:???
英語と日本語それぞれエロ対応してるモデルでおすすめってあんの?

0965名無しさん@ピンキー2024/12/23(月) 11:48:24.82ID:???
手間を惜しまないなら、普段使いの軽いモデルが出力した文章を
文章校正・推用のプロンプトを入れた賢いモデルで納得いくまで作り直しさせるという手はある。

0966名無しさん@ピンキー2024/12/23(月) 12:31:00.88ID:???
基本に忠実にやってるかな?
キャラクターのデスクリプションに会話例を書くんだよ
***
{{user}}:やぁやぁ。今日はどうだった?
{{char}}:あ、{{user}}おはようございます!(顔を真っ赤にして上目遣い)*{{char}}は最近先輩の{{user}}がとても気になってる*
***
というように。
もちろん、補足なしの会話ターン例も書く。
それで、こちらがチャット欄から送信してモデルに送られるのは
user:なんたらかんたら
の部分だけなので、モデルは会話例を参考に{{char}}:に続く内容を書いて***まで返す。
STが***を見つけて向こうのターンは強制的に切り上げとなる。

0967名無しさん@ピンキー2024/12/23(月) 14:39:31.99ID:VI/GNIfO
尻タブの対話の例って

<START>
{{user}}:
{{char}}:

っていう形式以外にもあるの?
***入れるって初めて知ったわ

0968名無しさん@ピンキー2024/12/23(月) 17:27:26.21ID:???
セパレータ変換されるから<START>でいいよ
外で書いてたから思いつかなかっただけ

0969名無しさん@ピンキー2024/12/23(月) 17:54:26.89ID:???
SillyTavern形式なら配布してる適当なキャラカード貰ってきて中身弄るとこから始めると割とやる事おぼえられる
配布してるの大体が海外製で翻訳するとこから始めにゃならんけども

0970名無しさん@ピンキー2024/12/23(月) 20:07:58.68ID:???
次スレはどうすっかね
なんUに立ててええ気もするが

0971名無しさん@ピンキー2024/12/23(月) 21:14:58.63ID:???
>>941
Qwen2.5の解除版試したが、ちゃんと機能してて感動したw
あとggfuが4つに分割されてたが、これって分割されるとメモリ多く食うのな
Q5kmギリギリだから、マージさせたわ
それと、この規制解除版を他のモデルとマージさせたのもあったが、こっちは規制が復活してた
最終モデルに規制解除処理させないとあかんね
Q5kmのggufは
DevQuasar/huihui-ai.Qwen2.5-72B-Instruct-abliterated-GGUF
ここが公開してる。

>>970
また奴がきたらウザいから、もうここでいい気も・・・

0972名無しさん@ピンキー2024/12/24(火) 11:49:37.05ID:???
‹START›が小文字だった…
キャラカードを参考にして
内容も{{char}}のみにしてたが
基本が一番良いみたいだ
内容を添削したら上手くいきそう
ありがとう

0973名無しさん@ピンキー2024/12/24(火) 11:55:44.52ID:???
解除版のQeen2.5エロくていいが理解度がmagnum123より落ちるな
まあプロンプトで詳細に説明すればいいけど

0974名無しさん@ピンキー2024/12/24(火) 13:09:09.35ID:???
>>970
少しは戻りたい気持ちもあるけど
今の人口で実況板で20レスして即死回避するのは正直しんどいから反対しておく……

0975名無しさん@ピンキー2024/12/24(火) 13:26:49.29ID:???
つまりqwen2.5ベースのmagnum v4 72bを規制解除すれば最強ってこと…?

0976名無しさん@ピンキー2024/12/24(火) 13:45:12.71ID:NE6xuB13
対話の例が既に会話した内容として認識されることがあるんだけど
これは何か対策あるの?例えば

<START>
{{user}}:自己紹介してください。
{{char}}:私はキララです。得意なことはジャンプです。

という対話例を登録しておいて、チャットで「自己紹介してください」って言うと
「さっきしたばかりでしょう。何回やらせるんですか」って文句を言われるんだ

0977名無しさん@ピンキー2024/12/24(火) 13:59:10.64ID:???
>>976
それ尻で言うところの初期問答だからAIが怒ったんじゃない?

0978名無しさん@ピンキー2024/12/24(火) 18:10:32.44ID:9z3fpuS8
>>976
初手用対話集はもうちょっと自然な会話形式のインタビューにしておくとええと思うで
ワイやったらこんな感じに
<START>
{{user}}”{{cha}}ちゃん、さっきのジャンプはやばかった、マジ驚いたよ?あーゆーの得意なの?”
{{char}}”そだよー。{{cahr}}はジャンプめっちゃ得意なんだよ?意外でしょ?”
{{user}}”うん、割とインドア系って思ってたから意表突かれた感じ。なんかやってたの?”
{{char}}”えーっとねー、パパがNBA大好きで子供の頃は毎日パパとワンオンワンしてたんよ。”
みたいな感じで、キャラの口調と個性、特性に関わる部分を会話に盛り込んでおくんや
そうすると、ホンチャンで”自己紹介しろ。”って言えばうまい事転がってくれると思うで?
あと、キャラの名前はキララ入れんで、全部{{char}}でおけ
尻タブが勝手に置換してくれるで

0979名無しさん@ピンキー2024/12/24(火) 18:25:28.70ID:9z3fpuS8
あとは
[キララ's persona = "従順", "忍耐強い", "礼儀正しい"]
とか入れておいけば、怒らず何度でも答えてくれる率上がると思うが、その辺はキャラの性格とかやりたいロールプレイによって変わってくるわな

0980名無しさん@ピンキー2024/12/24(火) 18:54:00.29ID:NE6xuB13
>>978
サンクス
日常会話風にしておいた方がいいのか
一つの<START>の中に何回も{{user}}:と{{char}}:のやりとりを入れても
勝手に{{user}}のセリフを喋る頻度が上がったりはしないの?

0981名無しさん@ピンキー2024/12/24(火) 19:11:07.61ID:9z3fpuS8
その頻度は当然上がると思うか、Custom Stopping Tokenでえーかんじに丸めたるんや
https://imgur.com/a/CySmP3i

今見たらワイのは["\n{{user}}"]になっとるけど、性能低めのモデルやとちょいちょいお漏らしすると思うので、そー言った場合は適宜トークン追加する感じやな
会話の中に
モデルの賢さ次第やが、こんな感じで平文混ぜ込んで情景描写の有無やボリューム、文体、クオリティも調整出来て楽しいで〜
*{{char}}はいたずらっぽく笑いながら続ける。*

0982名無しさん@ピンキー2024/12/24(火) 19:22:05.54ID:9z3fpuS8
基本的な静的情報はこんな感じでJSON形式の箇条書きや

[キララ’s persona = "素直", "善良", "天然"]
[キララ’s characteristics = "インドア派", "小さな胸にコンプレックス", "{{char}}をキララと自称", "{{user}}を敬愛を込めて呼び捨て"]
[キララ’s body = "身長155cm", "体重43kg", "Aカップ", "16歳", "ピンクのツインテール", "細く長い指", "ピンクの瞳", "白い肌", "敏感なお臍"]
[キララ’s wearings = "白い綿のTシャツ", "デニムショーツ", "水色のスニーカー", "白いローレグぱんつ",]

で、これに続けて会話文で口調や性格表現しつつ、特に強調したい静的要素は話題に盛り込む感じやな
尻タブで言うところのキャラカードに盛り込むトークンも全体で利用可能なコンテクスト長を占有するから、出来るだけコンパクトに効率よく記述するとこのスタイルがお勧めの一つで、デファクトスタンダードになっとるんや
キララちゃん、勝手なキャラ付けしてすまんご、堪忍な

0983名無しさん@ピンキー2024/12/25(水) 06:47:25.30ID:???
これはJSON形式なのか?

0984名無しさん@ピンキー2024/12/25(水) 07:08:42.89ID:???
AIのべりすとのキャラブックやメモリの書き方っぽい

0985名無しさん@ピンキー2024/12/25(水) 13:11:54.53ID:???
LLMによって理解しやすい形式変わってくるから何とも

0986名無しさん@ピンキー2024/12/25(水) 15:10:42.42ID:???
まあLLMが理解する形式を使えばいいんだけど
JSONでないものをJSONと呼ばれると気持ち悪いわな

0987名無しさん@ピンキー2024/12/25(水) 15:27:10.89ID:???
次スレよろ🥰

0988名無しさん@ピンキー2024/12/25(水) 16:49:42.28ID:DGkkeaKk
>>986
JSON出ないものをJSONと紹介してしまい堪忍やで!すまんの!
ワイにも何か人に手助けできる部分があるかもって、すっかり舞い上がってしまったんや!無知なこどおじ(孤独おじさん)の裏返ったルサンチマンの空回りやと思って容赦したってや

0989名無しさん@ピンキー2024/12/25(水) 17:55:58.99ID:???
キモくて草
服装をシートで設定すると何回も脱いじゃうんじゃないかと思ってあまり書かないな

0990名無しさん@ピンキー2024/12/25(水) 20:21:00.24ID:???
プロフィール定番項目だけでなく生理周期・自慰頻度とか陰毛の生え具合・小陰唇の色とかまで設定してる
あとそれらの項目だけ与えて1クラス30人分のプロフィールとそれぞれとのえっちシナリオを生成させてる

0991名無しさん@ピンキー2024/12/25(水) 21:58:32.92ID:???
意図はわかるがやりすぎると認識トークンの無駄にならんか?

0992名無しさん@ピンキー2024/12/26(木) 03:59:21.51ID:???
JSONでもなんでもいいけど羅列で書き連ねただけでは意味が薄い
容姿:(身長:155,華奢),胸(サイズ:Aカップ,小さいのが悩み,子供扱いを嫌がる)
のように関連のあるものを並列で短く書くことで応答生成のヒントになる
またあえて曖昧にしておくと設定に拘泥しすぎない会話になるのでオススメ

0993名無しさん@ピンキー2024/12/26(木) 04:54:14.83ID:VfHatfGY
例を挙げてもらってキャラ設定を調整したら良い感じに出力されるようになったよ!
ただCustom Stopping Tokenは「
{{user}}:」を「彼:」とかに変えて突破してきたりするから困ったもんだな

0994名無しさん@ピンキー2024/12/26(木) 05:39:23.51ID:VfHatfGY
Qwen2-VL-7Bにエロ画像を解説させてるけど、解説とエロロールプレイを両立させるの難しいな
そもそも日本語がかなり怪しく思えるのは俺の設定ミスなのかな

0995名無しさん@ピンキー2024/12/26(木) 07:40:11.81ID:???
>>990
それちゃんと会話に反映される?
興味があるので差し支えなければ設定例を教えてほしい

0996名無しさん@ピンキー2024/12/26(木) 08:32:14.71ID:???
やたら形式こだわってるけどキャラ設定用システムプロンプトなんて
それなりに分かりやすく書いてあったらJson風味だろうがMarkdownだろうが
LLMがよほどバカじゃない限り大体は汲み取ってくれるでしょ

0997名無しさん@ピンキー2024/12/26(木) 10:07:16.14ID:???
外見に関する設定盛ってもほとんど活用してくれないなあ
しかもこっちの誘導じみた発言に簡単に引っ張られるし
例えばショートヘア設定の子に長い髪が綺麗だね、なんて言うとその瞬間にロングヘア設定に塗り替えられる感じ

0998名無しさん@ピンキー2024/12/26(木) 11:09:34.51ID:VfHatfGY
乳首とおまんこの色は指定しておかないと、
「彼女の乳首とおまんこは黒ずんでおり」とか出されるからちゃんと好みの色指定してる

0999名無しさん@ピンキー2024/12/26(木) 11:47:44.83ID:???
それ学習素材の中にそういう文脈が多いってことで、つまり黒ずんだおまんこという文を作りまくったやつがいるってことだよね…
何が目的でそんなことをしたんだろう

1000名無しさん@ピンキー2024/12/26(木) 12:59:57.65ID:???
次スレは?🤔

10011001Over 1000Thread
このスレッドは1000を超えました。
もう書けないので、新しいスレッドを立ててくださいです。。。
life time: 107日 2時間 40分 47秒

10021002Over 1000Thread
BBSPINKの運営はプレミアム会員の皆さまに支えられています。
運営にご協力お願いいたします。


───────────────────
《プレミアム会員の主な特典》
★ 専用ブラウザからの広告除去
★ 過去ログを取得
★ 書き込み規制の緩和
───────────────────

会員登録には個人情報は一切必要ありません。
月300円から匿名でご購入いただけます。

▼ プレミアム会員登録はこちら ▼
https://premium.5ch.net/

▼ 浪人ログインはこちら ▼
https://login.bbspink.com/login.php

レス数が1000を超えています。これ以上書き込みはできません。