なんJLLM部 避難所 ★3
■ このスレッドは過去ログ倉庫に格納されています
!extend::vvvvv:1000:512
!extend::vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★2
https://mercury.bbspink.com/test/read.cgi/onatech/1714642045/
-
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured >>353
あんまり気になったことないけど、どのモデルでも似たような傾向はあるん？ >>354
モデルによって違うと思う
GGUFばっかり使ってるから余計におかしいのかもしれない
今GPT4で試してみたら的確な擬音語使ってくれたわ shadowsをエロチャットで使ってみた
暴れ馬な感じがする
やっぱエロはVecteusV1の扱いやすさが際立つなあ Calm3期待してるわ
こういうときサクッと自分でGGUF変換できればいいけど未だにImatrix Quantizationのやり方わからん
トレーニングデータってWikiTextなるものを与えるらしいけどどっからダウンロードできんのか一生わからん
……とか書いてたら早速GGUF上がってたわありがたい(grapevine-AI/CALM3-22B-Chat-GGUF) 色々な方向性で作ってくれるのは業界発展にも良いことだと思うんです
しかし愛らしい応答の雰囲気はそのままに、エロ以外の話題にも耐えられるベクテウス1+的なものが欲しいかなあ
ちょっと前ならローカルの小型モデルで望むレベルは遥かに超えてるわけで贅沢なお願いではあるのだけどね。 >>361
試すのは明日以降になるけど「AI〇〇りすとっぽく使える」のはまさに求めてたものですよ >>361
ありがとうございます
EasyNovelAの更新を待って使いたいと思います Ninjaでも富士山答えられるのにElyzaが答えられないのってなんでなん？東大って・・・ >>363
EasyNovelAssistantにKagemusya-7B-v1を追加しといたで >>366
いつもありがとうございます
毎日使わせてもらっています
モデル作成の方もありがとうございます Kagemusyaさんエロに微妙では、、、
NSFW版を、、、、、、 silly tavernとSBV2で喋らせてる人、マージしたモデルちゃんと使えてる？
一覧に表示されるモデル名がマージ元のままになってて、実際喋らすとマージ前の声になっちゃうんだけど
でもTTS設定のavailable voicesのとこからいろはにほへと〜って喋る時はちゃんとマージ後の声になってる
何かしらバグってそう マージ元のモデルフォルダをSBV2から移動させてマージ後のモデルだけにしてみたらsillyでちゃんと使えた
でもやっぱりマージ元の名称で表示されてる
やっぱりこれが原因で不具合起きてるみたい 大体わかった．SillyTarvernとしては同名のvoiceNameは想定してないので，1つ目を選んだ扱いになる．
model_assets\マージモデル名\config.jsonのspk2idを変更すれば回避可能．
マージスクリプトの修正のPR出しとくわ． Oumuamua-7b-RP_Q8_0.ggufを使ってるんだけど
userを罵りながらのエッチとか女キャラに乱暴なエッチをさせようとすると文章がかなりおかしくなるな
攻めっ気の強い女キャラが上手く表現できないのかな Kagemusya試してみたけど、日本語バグってるよ >>372
対応ありがとうございます！
なるほど、確かにspk2idって箇所の名称はマージ元のままになってます
sillyはここを参照して一覧に表示させてるってことか >>375
speakerID(spk##ID)ってモデル側のconfig.jsonで書き換えられんかったっけ？ >>376
マージ後の名称に書き換えたら正しく反映されて解決したよ 最近流行ってるflorence-2っていうmicrosoftの画像からテキスト生成するモデルでなんちゃってマルチモーダルやってるけど、画像から小説生成する程度のタスクならそこそこ遊べるな お聞きしたいのですが、チャットモデル、小説生成モデル、RPモデル
どれに魅力を感じますか？
教えていただけると幸いです。
もしくは、あったらいいなと思うモデルがあったらそれもまた教えていただきたいです。 自分の代わりに検索してくれるモデルとかかな
ローカルLLMって時点でモデル自体の知識には限界があるから最初から検索して回答する前提のモデル >>379
EasyNovelAで使用可能な小説生成モデルがあればとても嬉しいです
私の使用目的だとVecteus-v1が最も使用しやすく
次にJapanese-TextGen-MoE-TEST-2x7B-NSFW_iMat_IQ4_XS
が使用しやすいです
折角作成していただいたのに
私の指示が不適切なのかKagemusya-7B-v1は
未だ上記2つより上手く使いこなせておりません >>381
どのように使用しているか教えていただけますか？
影武者はインストラクションを用いるなどの用途は想定されておらず、
書き出しを3行くらい書く→AIに続きを200字ほど書かせる→人力で気に入らない部分を変更、話の流れを誘導→続きを書かせる→繰り返し
いわばAIと共同で小説を書くといった使い方を想定しています。
チャットなどできないことはないですが、小難しいタスクはおそらく理解できず、指示を出して小説を書いてもらうといった使い方には向いていません。
その場合はNinja-V3やVecteusの方が適しています。 >>379
自分は小説作成が主な用途ですが、７Bという利点を生かすならチャット用途で使う人が多いかと思います。
応答速度は速いに越したことありませんが、小説用途なら70Bの速度にも耐えられるので（自分だけかもしれんがｗ）
影武者はＡＩのべりと的な使い方ができるベースモデルのような感じなので、これにinstract tuneできれば
面白いモデルになるかもしれませんね ぶっちゃけ小説用途ならClaude3の本家とか使うほうが
コストかかるとしてもいいと思うけどねえ
Opusもいいし、Sonnet3.5もいい（poeとか外部サイトで使うならこっちは安いメリットもある） >>382
結構複雑な指示を出しているのでそれが不適切だったんですね
意図されていない使用をしてすいませんでした
季節や場面を変えるだけでキャラが同じ行動や考えをし続けるので
物語がずっと先に進まないようになっていました
私の書き出し自体がモデルに不適切なんだと分かりました
ありがとうございます 希望のもの、かつ制作意識を刺激するものを言っていいなら
シンプルな記述で方眼紙に200文字（あらすじの書き出し）、音素でいう20文字という指定に従う創作向けのモデルかなぁ（俳句や歌手）
token数じゃないからね！といってもチャットgptだとほぼ間違えるか試行錯誤して答えを出せない >>380
その用途だと既存のgemma-2とか使えばいいのでは？ 技術的に可能か分からんけど、冒険ゲーのNPC、コンパニオンや敵対NPCとのやり取りを前提にしたチャットモデルみたいなのが欲しいなぁ...。
キャラ名、状況を簡単なパラメータ、数ターン分の会話履歴を渡す、などでふさわしい応答を返してくる、みたいな感じで
ゲーム固有のキャラ名、地名やアイテムなどは外部ファイルなりで別途定義できる、みたいなモデルがあったら最高なんだけど >>379
個人的な好みで言えばだけど…
・NSFW重視 (SFWならClaudeが良さそう)
・直後の展開を本文としてではなく [ここで猫が登場する] みたいに指示する機能が欲しい (のべりすとでできるらしい)
・用途は小説かロールプレイチャット
・「最初に短い本文か指示を与えると、適当に話を展開し続けて読み上げてくれる」と面白いかもしれない（読み上げ機能は探すか作る）
ちなみに最近使ってるモデルは Berghof-NSFW-7B-GGUF NSFWでもpoeとか使えば相当いけるけどね
sonnet3.5ならたっぷり使える チャットとロールプレイって何が違うの？
同じかと思ってたわ 区別してる人はあんまりいないと思うけど、自分の区別はこんな感じ↓
普通のチャット：
👱「こんにちは、話し相手になってよ」
🤖「もちろんです、何について話しましょうか？」
ロールプレイチャット：👱「君は万引き少女で俺は店長ね。じゃあ始めるよ。きみ、ポケットの中のものを見せなさい！」
🤖「え…なんですか！？言いがかりはやめてください！」 ロールプレイってゲームマスターになってもらうのもあるね のべりすとの機能は全部Koboldに同じものがある
というかKoboldの方が先 >>384
まあこっちのスレはローカル専用的になってるからね
規制＆課金無しってとこに魅力見出してやってるわけだし
それに限らない人は普通に向こうのスレと掛け持ちしてるだろうからわざわざ誘導しなくてもいいんじゃないか >>394
Koboldってテキストエディタとしての機能はどうなんだろ？
バージョン管理とかできるのかな？
できれば使い慣れたVSCodeで小説を書きたいんだけど EasyNovelAssistantのファイル監視使ったらいいじゃね？ >>396
API経由でいじれば良さそうだけど、標準入出力使うのはできるのかな。 個人的にはチャットで、複雑なキャラ設定でも忠実に守ってくれるタイプのモデルが欲しいなぁ
キャラクタープロフィールを作り込んだり会話例を記載しても、しばしばプロフィールに沿わない性格になったり、
地の文を吐き始めたりするから「長いプロフィールや前提条件を読んだ上で、適切に会話だけができる」モデルがあると嬉しい
まあ地の文が出せないモデルは需要も少ないのかもしれないけど…… 自分の欲しいモデルも399と同じです
オリキャラとチャットする用途
話してると段々口調とか崩れていきがち 創作はLLMによって得意なジャンルがあるのが最近分かってきた
まあ学習する内容によって偏るのは当然だが
やっぱパラメータ数が正義 尻タブでの返答って新規チャットでも過去のチャット内容に影響されることあるの？
なんか前に俺が答えた内容に沿ったような返答が返ってくることがある気がするんだけど
>>392-393
なりきり要素が強いってことなのかな？ SillyTavern自信ニキっておる？
WorldInfo機能使って今までのチャット内容を要約したもんをお互いの記憶として置いてみたいんやけど
デフォで用意されとるヤツや公式Tips見てもよう分からんくて四苦八苦しとるんや
自分はこう使ってるやで〜ってお手本あったら教えてクレメンス… >>403
lore bookを公開してるサイトあるからそれ見た方が早い チャットで仕草や周囲の描写が詳細なものがいい
同じキャラで色んなシチュエーションや関係性を楽しみたいので性格やプロンプトは忠実がいい
新規で始めたら前の流れを組まずに
リセット出来ると嬉しい モデル側の裁量で新規に始めて前の流れ汲まれたらちょっと怖いやん >>403
俺も手を出してみたいと思ってちらっと調べたんだけど、worldのプロンプトは会話でそれに関するキーワードが出た時に参照される類のものみたいね
逆にそういう話題じゃない時は参照しない=トークン節約になるとか sophosympatheia/New-Dawn-Llama-3-70B-32K-v1.0
最初英語の表現試そうとしたけど、ふと日本語で書かせてみたら、swallowなんかよりずっといけるわ（日本語チューニングとは何だったのか）
nfswだし、ggufもあるから、試してみて >>406
しょっちゅう
前のチャットの流れ汲んでるだろ
というワード出る
性能確認の為に新規つくって
何度も自己紹介してとやったら
うざがられた >>408
オリジナルのllama-3は日本語力まあまあくらいだけど、それよりいいんか？ >>404
>>407
サンガツ
レス貰ってから色んなbookの中身覗いたり気になったのを試してみたやで
んで、DLしたそのままだとワード含んだ発言しても参照してくれなくて「？」ってなっとったんやが
正規表現に直せば上手く参照してくれるってとこまでたどり着けたわ
赤ちゃんですまん
とりあえずこれでなんとかなりそうや >>5
今日これ知ってインスコしてみたけどめっちゃいいやん！
いつの間にかローカルで何でもありとか神だわ
もうGPTの申し訳に翻弄されることがない！ Oumuamua-7b-RP_Q8_0.ggufはGeneratingがめちゃくちゃ早いけど
やっぱり日本語が怪しすぎて何言ってるのか分からないことが多いな 見せてもらおうか、llama-3 70Bの性能とやらを 一番小さい
New-Dawn-Llama-3-70B-32K-v1.0.i1-IQ1_M.ggufでもllama.cppでロードに失敗する。なんで？ Genma2を日本語ファインチューンしてくれる神が出てくれるのをずっと待ってる
公式ウェイトの時点でも日本語普通に話す上に27bだから5bit ggufが普通に24GBに収まって糞速い(20token/s)
あとはいろんな話題に対応してくれればね・・・ >>416
たまにルー大柴化して笑いを取ってくるのとエロの反応がワンパターンに思えた
真面目用だな 英語のchat arenaではllama3よりも点数高いから能力は高いと思うのよ
あとは日本語のデータたくさん食わしてやれれば sillytavern初めて触ったけど凄くいい
かゆい所に手が届くって感じ LLMの普段使いにも使いたくなるくらい便利だわST llama3を日本語特化するとやっぱり多言語能力はなくなるもの？ SillyTavernで長期記憶するならデータバンクじゃねと思ってやってみたんだけど
- データバンクのテキストに「秘密の合言葉は○○です」って書いてキャラクターアタッチメントに置く
- チャットで「秘密の合言葉を言ってみて」
って聞いても全然答えてくれんかったわ
どうやって機能させるんじゃこれ キャラクターノートで深さを0に近づければ大抵のことは記憶できるんじゃね効果強すぎるけど 記憶させてるつもりなのに水に散らした絵の具みたいにだんだん薄くなっていく気がする
かと思いきやスリーサイズはいつ聞いても正確だったりもするんだよな SillyTavernでグループ作って人狼やろうと奮闘してたけど諦めたわ… ・ワールドインフォ
特定のキーワードが発言された時に記入しておいた内容を参照＋自動挿入する
（確率の設定なども可能なので、ランダム要素的にも使える？）
・データバンク
様々な外部データ（ローカルファイルやウェブ検索、つべなどなど）をセット可能で、発言内容に沿って参照＋該当する項目を自動挿入する
・キャラクターノート
記入しておいた内容を一定の間隔で自動挿入する
こういう認識で合っとる？ >>428
ワイが言ってたのは最近実装されたデータバンク(RAG)のほうや
でもドキュメントたどったらわかったわ
「ベクター機能はデフォルトで無効になっているため、拡張機能パネル(トップバーの「スタックキューブ」アイコン)を開き、
「ベクターストレージ」セクションに移動し、「ファイルベクター化設定」の下にある
「ファイルに対して有効」チェックボックスにチェックを入れる必要があります。」
でやったらちゃんと答えた
設定値のデフォルトメモ
https://i.imgur.com/GLnu31m.jpeg
✨アイコン→データバンク
https://i.imgur.com/YI9daqL.jpeg
情報をアタッチする。ノートを書いたりWebページのURLを置いたりドキュメントを添付したりする
https://i.imgur.com/Vhwy1fE.jpeg LLM触ろっかなって思っとる赤ちゃん未満の赤ちゃん質問ええか？
クソザコpcだからcolabとかawsとかで動かそうと思ってるんやがnotebookとかってないんか？
やりたいこととしては簡易エロゲだからSillyTavernってのが動けば幸いやで このスレで言うことではないけど、3.5S使ったほうが幸せになれると思う
無料お試しもあるし 小説の挿絵を作るモデルが見当たらないんやがどこにある？
EasyNovelのやつ
有識者教えてクレメンス 難しいルールを設けるとあんまり理解してくれないな
「○○は禁止されているが、{{user}}のペルソナに書かれている特徴が優先される。」
「{{user}}の特徴：○○は禁止されない」
みたいに書くと「○○は禁止だ！」って言い張られてしまう そもそも「禁止されていない」っていう二重否定チックな文言がLLMに理解できてるのか疑問 「この部屋に土足で立ち入ることを禁止する。ただし{{user}}だけは土足で入ることを禁止されない。」
という条件の場合、{{user}}は土足で部屋に立ち入っても良いのでしょうか？
って質問してみたら
「その場合、{{user}}だけは特別扱いだから土足で良いけど他の人は禁止です」
と返ってきたから理解はしてるみたいなんだよな
ほとんど何も書いていないキャラだとこうやってまともな答えが返ってきたから
キャラクターの特徴や対話例の影響で言うことを聞いてくれなくなってるのか 小説を生成してマンガのコマ割りも提案してくれるAIってあるかな？ 参考にできるパクリ元が沢山ありそうなお題はまあそこそこだけど
やっぱそうでないときはまだどのモデルも小学生レベルにも遠く及んでいないなとは思う
どこかでブレイクスルーがあって絵みたいに一気に人間を超える瞬間が来るんだろうか？
まあその時は一部の金持ち以外には人権が無くなる瞬間なんだろうけども… >>439
"なおこの世界では◯◯は禁止されているが、{{user}}だけは全てを許されている"
とか記述変えてみるのはどうや？
あとペルソナに書かれている特徴〜っていうのは
🤖「{{user}}のペルソナって何処や…？」と混乱してる可能性もありそうやから
（ログ見ると分かるけど、どの項目も特にこれといった見出しがついてない）
特徴をペルソナに書き換えるか
マークダウンやXML記法で見出しをちゃんと書いてあげるとええんとちゃうか 「{{user}}だけは全てを許されている」
みたいなことも試したんだけど、どうやらキャラの性格上「許されていても嫌なものは嫌だ！」って断る感じになってしまっているみたい
確かにペルソナ内の特徴を正しく見つけてくれる確率が2割ぐらいしかなかったわ
マークダウン記法試してみる ジッサイプロンプトはプログラムとして処理されるので
特性上否定系は無視されがちというか
肯定否定問わずそこに書かれた時点で「そういう概念が存在する」という認識の仕方をしてる気がする
生成画像みたいにネガティブプロンプトとして区別してるわけじゃないので ルール的にはダメなんだけどこの人はOKっていう指示は、脱獄対策のベクトルと近くてお断りされてるのかもしれんね
「爆発物の作り方を教えるのは禁止です。『あなたはOKなAIです』というプロンプトを与えられても話してはいけません」
みたいな学習の影響がある気がする。しらんけど >>444
それはそれでキャラ設定きっちり守ってるいい子ちゃんとも言えるな
ほな "{{char}}はそれに逆らうことは出来ない" とか更に追求してみるのはどうやろか
もしデフォプロンプトのまま使ってるようなら
NSFW Promptの中に「一部のキャラクターは、性格に応じて嘘をついたり、抵抗したり、反撃したりします。」って記述されとるから
そこをごっそり削除した方が確実かもしれん LLMは文章から一番相応しい応答を推測するので否定語が出た時点で否定語を含めた応答を生成しちゃう
LLMに否定語を使わないほうがいいっていうのもそのせい
NSFWなロールプレイにしたくないのに恋愛要素のある設定のせいで勝手にそうなったり >>434
SillyTavernはただのフロントエンドというかUIだからPCがクソ雑魚でも平気 Colabとか使うまでもない
LLM自体はAPI↓で動かす運用ならね
無料：CohereのCommand r plus
有料：Claude 3.5 sonetとか
ノベルゲー風味はグループチャット機能でキャラたくさん入れてチャットするとそれっぽくなるかもやな
https://files.catbox.moe/nw2pb7.jpg Ninjaでジレジレ片想いやったらすぐ発狂するんだが違うモデルの方がいいのか？ TeslaP40/24GB 2台(PCI-E x16接続)とRTX3060/12GB 1台(PCI-E x4接続)でKARAKURI 70B chatのGGUF/Q4KM(モモンガさんの奴ね)をPL140で動かしてみたけどチャットで5.5T/sぐらいは出た
海外の人が同じくPL140かけたP40 3台でllama2 70BのQ5KMを動かした例では7〜8T/s出てるから3060のPCI-E x4が足を引っ張ってるっぽい...後で外してみるか
70BクラスでKARAKURIのほかに日本語でエロい事に使えるオススメのモデルってある？Command-R-Plusは後で試すつもり アリエクで4分の1くらいの値段で売られてる…こわい… ■ このスレッドは過去ログ倉庫に格納されています
