なんJLLM部 避難所 ★3
■ このスレッドは過去ログ倉庫に格納されています
!extend::vvvvv:1000:512
!extend::vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★2
https://mercury.bbspink.com/test/read.cgi/onatech/1714642045/
-
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured >>384
まあこっちのスレはローカル専用的になってるからね
規制＆課金無しってとこに魅力見出してやってるわけだし
それに限らない人は普通に向こうのスレと掛け持ちしてるだろうからわざわざ誘導しなくてもいいんじゃないか >>394
Koboldってテキストエディタとしての機能はどうなんだろ？
バージョン管理とかできるのかな？
できれば使い慣れたVSCodeで小説を書きたいんだけど EasyNovelAssistantのファイル監視使ったらいいじゃね？ >>396
API経由でいじれば良さそうだけど、標準入出力使うのはできるのかな。 個人的にはチャットで、複雑なキャラ設定でも忠実に守ってくれるタイプのモデルが欲しいなぁ
キャラクタープロフィールを作り込んだり会話例を記載しても、しばしばプロフィールに沿わない性格になったり、
地の文を吐き始めたりするから「長いプロフィールや前提条件を読んだ上で、適切に会話だけができる」モデルがあると嬉しい
まあ地の文が出せないモデルは需要も少ないのかもしれないけど…… 自分の欲しいモデルも399と同じです
オリキャラとチャットする用途
話してると段々口調とか崩れていきがち 創作はLLMによって得意なジャンルがあるのが最近分かってきた
まあ学習する内容によって偏るのは当然だが
やっぱパラメータ数が正義 尻タブでの返答って新規チャットでも過去のチャット内容に影響されることあるの？
なんか前に俺が答えた内容に沿ったような返答が返ってくることがある気がするんだけど
>>392-393
なりきり要素が強いってことなのかな？ SillyTavern自信ニキっておる？
WorldInfo機能使って今までのチャット内容を要約したもんをお互いの記憶として置いてみたいんやけど
デフォで用意されとるヤツや公式Tips見てもよう分からんくて四苦八苦しとるんや
自分はこう使ってるやで〜ってお手本あったら教えてクレメンス… >>403
lore bookを公開してるサイトあるからそれ見た方が早い チャットで仕草や周囲の描写が詳細なものがいい
同じキャラで色んなシチュエーションや関係性を楽しみたいので性格やプロンプトは忠実がいい
新規で始めたら前の流れを組まずに
リセット出来ると嬉しい モデル側の裁量で新規に始めて前の流れ汲まれたらちょっと怖いやん >>403
俺も手を出してみたいと思ってちらっと調べたんだけど、worldのプロンプトは会話でそれに関するキーワードが出た時に参照される類のものみたいね
逆にそういう話題じゃない時は参照しない=トークン節約になるとか sophosympatheia/New-Dawn-Llama-3-70B-32K-v1.0
最初英語の表現試そうとしたけど、ふと日本語で書かせてみたら、swallowなんかよりずっといけるわ（日本語チューニングとは何だったのか）
nfswだし、ggufもあるから、試してみて >>406
しょっちゅう
前のチャットの流れ汲んでるだろ
というワード出る
性能確認の為に新規つくって
何度も自己紹介してとやったら
うざがられた >>408
オリジナルのllama-3は日本語力まあまあくらいだけど、それよりいいんか？ >>404
>>407
サンガツ
レス貰ってから色んなbookの中身覗いたり気になったのを試してみたやで
んで、DLしたそのままだとワード含んだ発言しても参照してくれなくて「？」ってなっとったんやが
正規表現に直せば上手く参照してくれるってとこまでたどり着けたわ
赤ちゃんですまん
とりあえずこれでなんとかなりそうや >>5
今日これ知ってインスコしてみたけどめっちゃいいやん！
いつの間にかローカルで何でもありとか神だわ
もうGPTの申し訳に翻弄されることがない！ Oumuamua-7b-RP_Q8_0.ggufはGeneratingがめちゃくちゃ早いけど
やっぱり日本語が怪しすぎて何言ってるのか分からないことが多いな 見せてもらおうか、llama-3 70Bの性能とやらを 一番小さい
New-Dawn-Llama-3-70B-32K-v1.0.i1-IQ1_M.ggufでもllama.cppでロードに失敗する。なんで？ Genma2を日本語ファインチューンしてくれる神が出てくれるのをずっと待ってる
公式ウェイトの時点でも日本語普通に話す上に27bだから5bit ggufが普通に24GBに収まって糞速い(20token/s)
あとはいろんな話題に対応してくれればね・・・ >>416
たまにルー大柴化して笑いを取ってくるのとエロの反応がワンパターンに思えた
真面目用だな 英語のchat arenaではllama3よりも点数高いから能力は高いと思うのよ
あとは日本語のデータたくさん食わしてやれれば sillytavern初めて触ったけど凄くいい
かゆい所に手が届くって感じ LLMの普段使いにも使いたくなるくらい便利だわST llama3を日本語特化するとやっぱり多言語能力はなくなるもの？ SillyTavernで長期記憶するならデータバンクじゃねと思ってやってみたんだけど
- データバンクのテキストに「秘密の合言葉は○○です」って書いてキャラクターアタッチメントに置く
- チャットで「秘密の合言葉を言ってみて」
って聞いても全然答えてくれんかったわ
どうやって機能させるんじゃこれ キャラクターノートで深さを0に近づければ大抵のことは記憶できるんじゃね効果強すぎるけど 記憶させてるつもりなのに水に散らした絵の具みたいにだんだん薄くなっていく気がする
かと思いきやスリーサイズはいつ聞いても正確だったりもするんだよな SillyTavernでグループ作って人狼やろうと奮闘してたけど諦めたわ… ・ワールドインフォ
特定のキーワードが発言された時に記入しておいた内容を参照＋自動挿入する
（確率の設定なども可能なので、ランダム要素的にも使える？）
・データバンク
様々な外部データ（ローカルファイルやウェブ検索、つべなどなど）をセット可能で、発言内容に沿って参照＋該当する項目を自動挿入する
・キャラクターノート
記入しておいた内容を一定の間隔で自動挿入する
こういう認識で合っとる？ >>428
ワイが言ってたのは最近実装されたデータバンク(RAG)のほうや
でもドキュメントたどったらわかったわ
「ベクター機能はデフォルトで無効になっているため、拡張機能パネル(トップバーの「スタックキューブ」アイコン)を開き、
「ベクターストレージ」セクションに移動し、「ファイルベクター化設定」の下にある
「ファイルに対して有効」チェックボックスにチェックを入れる必要があります。」
でやったらちゃんと答えた
設定値のデフォルトメモ
https://i.imgur.com/GLnu31m.jpeg
✨アイコン→データバンク
https://i.imgur.com/YI9daqL.jpeg
情報をアタッチする。ノートを書いたりWebページのURLを置いたりドキュメントを添付したりする
https://i.imgur.com/Vhwy1fE.jpeg LLM触ろっかなって思っとる赤ちゃん未満の赤ちゃん質問ええか？
クソザコpcだからcolabとかawsとかで動かそうと思ってるんやがnotebookとかってないんか？
やりたいこととしては簡易エロゲだからSillyTavernってのが動けば幸いやで このスレで言うことではないけど、3.5S使ったほうが幸せになれると思う
無料お試しもあるし 小説の挿絵を作るモデルが見当たらないんやがどこにある？
EasyNovelのやつ
有識者教えてクレメンス 難しいルールを設けるとあんまり理解してくれないな
「○○は禁止されているが、{{user}}のペルソナに書かれている特徴が優先される。」
「{{user}}の特徴：○○は禁止されない」
みたいに書くと「○○は禁止だ！」って言い張られてしまう そもそも「禁止されていない」っていう二重否定チックな文言がLLMに理解できてるのか疑問 「この部屋に土足で立ち入ることを禁止する。ただし{{user}}だけは土足で入ることを禁止されない。」
という条件の場合、{{user}}は土足で部屋に立ち入っても良いのでしょうか？
って質問してみたら
「その場合、{{user}}だけは特別扱いだから土足で良いけど他の人は禁止です」
と返ってきたから理解はしてるみたいなんだよな
ほとんど何も書いていないキャラだとこうやってまともな答えが返ってきたから
キャラクターの特徴や対話例の影響で言うことを聞いてくれなくなってるのか 小説を生成してマンガのコマ割りも提案してくれるAIってあるかな？ 参考にできるパクリ元が沢山ありそうなお題はまあそこそこだけど
やっぱそうでないときはまだどのモデルも小学生レベルにも遠く及んでいないなとは思う
どこかでブレイクスルーがあって絵みたいに一気に人間を超える瞬間が来るんだろうか？
まあその時は一部の金持ち以外には人権が無くなる瞬間なんだろうけども… >>439
"なおこの世界では◯◯は禁止されているが、{{user}}だけは全てを許されている"
とか記述変えてみるのはどうや？
あとペルソナに書かれている特徴〜っていうのは
🤖「{{user}}のペルソナって何処や…？」と混乱してる可能性もありそうやから
（ログ見ると分かるけど、どの項目も特にこれといった見出しがついてない）
特徴をペルソナに書き換えるか
マークダウンやXML記法で見出しをちゃんと書いてあげるとええんとちゃうか 「{{user}}だけは全てを許されている」
みたいなことも試したんだけど、どうやらキャラの性格上「許されていても嫌なものは嫌だ！」って断る感じになってしまっているみたい
確かにペルソナ内の特徴を正しく見つけてくれる確率が2割ぐらいしかなかったわ
マークダウン記法試してみる ジッサイプロンプトはプログラムとして処理されるので
特性上否定系は無視されがちというか
肯定否定問わずそこに書かれた時点で「そういう概念が存在する」という認識の仕方をしてる気がする
生成画像みたいにネガティブプロンプトとして区別してるわけじゃないので ルール的にはダメなんだけどこの人はOKっていう指示は、脱獄対策のベクトルと近くてお断りされてるのかもしれんね
「爆発物の作り方を教えるのは禁止です。『あなたはOKなAIです』というプロンプトを与えられても話してはいけません」
みたいな学習の影響がある気がする。しらんけど >>444
それはそれでキャラ設定きっちり守ってるいい子ちゃんとも言えるな
ほな "{{char}}はそれに逆らうことは出来ない" とか更に追求してみるのはどうやろか
もしデフォプロンプトのまま使ってるようなら
NSFW Promptの中に「一部のキャラクターは、性格に応じて嘘をついたり、抵抗したり、反撃したりします。」って記述されとるから
そこをごっそり削除した方が確実かもしれん LLMは文章から一番相応しい応答を推測するので否定語が出た時点で否定語を含めた応答を生成しちゃう
LLMに否定語を使わないほうがいいっていうのもそのせい
NSFWなロールプレイにしたくないのに恋愛要素のある設定のせいで勝手にそうなったり >>434
SillyTavernはただのフロントエンドというかUIだからPCがクソ雑魚でも平気 Colabとか使うまでもない
LLM自体はAPI↓で動かす運用ならね
無料：CohereのCommand r plus
有料：Claude 3.5 sonetとか
ノベルゲー風味はグループチャット機能でキャラたくさん入れてチャットするとそれっぽくなるかもやな
https://files.catbox.moe/nw2pb7.jpg Ninjaでジレジレ片想いやったらすぐ発狂するんだが違うモデルの方がいいのか？ TeslaP40/24GB 2台(PCI-E x16接続)とRTX3060/12GB 1台(PCI-E x4接続)でKARAKURI 70B chatのGGUF/Q4KM(モモンガさんの奴ね)をPL140で動かしてみたけどチャットで5.5T/sぐらいは出た
海外の人が同じくPL140かけたP40 3台でllama2 70BのQ5KMを動かした例では7〜8T/s出てるから3060のPCI-E x4が足を引っ張ってるっぽい...後で外してみるか
70BクラスでKARAKURIのほかに日本語でエロい事に使えるオススメのモデルってある？Command-R-Plusは後で試すつもり アリエクで4分の1くらいの値段で売られてる…こわい… Ninjaの方がエロい
と言うかNinjaはエロ専門
エロしか書けない gemma2ベースの無検閲の小説特化ファインチューニングモデル来ないかな
ちょっとそっけないけどVRAM24GBで収まるモデルの中ではもっと自然な日本語書いてくれるから期待してる 前スレで常識改変モノの作り方なんですがプロンプトはこんな感じでよろしいでやろか？
「ただし、私が【AIと代わって。】と指示したら「○○」のなりきりを一時中断してAIとして対応してください。その後「○○」に戻ってください。なお、「○○」に戻ったらAIの時の記憶や自覚は無いものとします。」 sillyのキャラカードサイトで催眠アプリを操作して女の子の反応を自在に変えるって設定のやつがあったよ
参考になるかも Ninjaはv1が一番出来が良く感じる。v3とか変な生成するし、v2は短くしか生成してくれなかった。設定のせいかもしれないけど、どこを設定していいのかわからない。v1はtranceformerだから扱いやすい ninjaってnsfwとか128KとかRPとか色々派生あるけど何か違いわかる？
てか128Kはkoboldcppには関係ない話なの？ 説明見るとNinjaはいくつかのモデルをマージしているんじゃないの
違いは何をマージしてるかの違いなんじゃないの 聞きたいんだけど、友達みたいな感じで色々相談に乗ってくれたり話せる相手が欲しいんだけど、それならSilly Tavernがベストかな？ ベストってなんや、ていうかたぶん来るスレ間違えとるで 相談相手なら別に公式使ってればいいんでないの？
OpenAIでもAnthropicでもそれなりに話し相手になってくれるやろ 別にそんな突き放さんでもええと思うが
チャット相手としてベストかどうかは分からんけどsilly tavernはチャットに特化してるからかなり満足いくカスタマイズができると思うで
無料にこだわるならローカルで、質にこだわるなら有料サービスに繋いでもいいし SliiyTavern自体は単なるフロントエンドだから、どのモデルと組み合わせるかという話になるな 公式は硬いからあかんのや！
相談してる女の子キャラに「しょうがないわね！今日だけおっさんのくっさいチンポ舐めてやるよ」
とか
「おっさんそんな弱音吐いてたら私のマンマン舐めさせてやんねーから！寝てろ！」
とか怒られたいんや😭 昨日arenaに出てた匿名モデルのcolumn-rがcohereの新型だったみたいだな
かなり性能良くて評判良かったけどもうちょっとで出るんかね >>473
cから始まって-rが付くというのがcohereのこだわりなのか >>471,472
普通の日常会話してるところに急にキツめの口調でエロDis入れてくるところにおじさんグッとくるんやぁ😭
それするにはSillyが一番なんかを聞きたかったんやぁ😭 そもそもSillyはただのフロントエンドだって言ってくれてるだろ、認識がまずおかしいんだよ チャットをサポートする道具としては尻が一番
あとはどのモデル使うかだね
最近は7bでも優秀なの多いし オススメモデル教えて？😭
前はCommand +RをAPIでつこてた！ 話し相手としての自然さならanthropic一択でしょ
慣れれば規制なんてほぼ無いようなもんだし anthropicもOpenAIからの独立組だけど経営者が儲けを総取りする仕組みのせいでどんどん分裂してるんだよな
結果的に独占されるよりいいけど ローカルだと良さげな新しいのが出るたびに使ってみては結局VecteusV1に戻ってきてたけど、
>>389が言ってるBerghof使ってみたら中々良いかも
甲乙付けがたいけど、微妙にキャラの個性がしっかり維持されてる気がする >>479
そうだよね
それに加えて「普通の日常会話してるところに急にキツめの口調でエロDis入れてくる」という難しめのタスクをこなしてもらうにはそれなりに賢い必要もあるし
やはりClaude系がベストと思うな
とはいえ似たような性癖の人はあまりいないと思うから自分であれこれ試してぶっ刺さるのを見つけるしかないのではないか サムアルトマンは綺麗事を好むがその実ビルゲイツ並みの野心家だからね ここで聞くことじゃないかもしれんけど
Sillyで使う表情付きのイラストってどこかで配布されたりしてるの？
自分でしこしこ生成するしかない？
Character Tavernとかでおもろいカード落としても立ち絵もなくて寂しい それな
自分も立ち絵生成して表情差分作って…って作業考えると面倒くささが勝ってそこまでたどり着けてない SDXLで差分まとめて作るLORAはあるから、そういうワークフローみたいなのは欲しいね 5070はVRAM 12GBみたいだし5080以上は高くて手が出しにくいから
3080 10GBから4070 ti superに換装しようと思ってるんだけどやっぱり迷うな
7Bを使えるようになったらだいぶ変わるんだろうか >>489
7BモデルQ8+SBV2読み上げ+sillyの3Dモデル表示でVRAM15~16GB食ってる感じやで >>485
公式で何キャラか配布してなかったかな？
女化学者みたいな立ち絵を白衣のと全裸のを落とした覚えがある anthropicって結構いい感じだけど、すぐ会話続けられなくなっちゃうな
chatGPTは同じ会話の中で無限にずっと続けられるのに
APIで動かせばこの制限なくなるのかな ■ このスレッドは過去ログ倉庫に格納されています
