なんJLLM部 避難所 ★3
■ このスレッドは過去ログ倉庫に格納されています
!extend::vvvvv:1000:512
!extend::vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★2
https://mercury.bbspink.com/test/read.cgi/onatech/1714642045/
-
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured 自前でLlama-3-Swallow-8B-v0.1の方をQ8_0に量子化してみたんけど、設定間違えたんだか会話が成立しないレベルでアホになってしまう……
素直に他の人が上げてくれるの待つしかないか…… ごめんこれbaseモデルの方は追加学習前の素でアホなモデルなんだな、リリースもうちょっとしっかり読むべきだった
instructモデルの方でやってみたら普通に賢かったわ…… MCTCアルゴリズムをシステムプロンプトに組み込んだbotが文章表現力まで上がってたので、そのままプロンプトを拝借して色々捗る
難点は3000トークンも使う 今ってエロとかマルチターンの指示への追従性含めた全体的な使用感(ベンチのスコアではなく)がCommand R Plusより良さげなOSSモデルってあるかな
まあ好みもあるし曖昧だとは思うんだけど gemma-2-27b-it
エロプロンプトも通るな
ウェブ検索とかプログラミングも出来るっぽいので万能エージェントとして使えそう
https://i.imgur.com/RSDFsHO.png
https://i.imgur.com/GmrPkHA.png >>317
これはこれは
VecteusV1から引っ越す日が来たのか…？
ああでもVRAMうう 幼女もののエロ小説とかも、出力の先頭固定してお断り防げばそれなりに書けるな koboldが対応したからチャットに使ってみたけどエロの言い回しが単調な印象
プロンプトが悪いのかな
317みたいにするにはどうすりゃいいんだろう 相変わらずビーカーでコーヒー飲んでそうな色味のSSは見てない。しかも自分作の勝手アプリだろ？有益な情報も産んでないんだからどっか別のスレに消えてくれよ。 >>322
そう一方的な感想で罵られても困る
自作アプリはLLMの醍醐味だし、そもそもコードはgithubに全て公開している以上、有益な情報を含んで無いとか、勝手なアプリだとか言われる筋合いは無いわ
有益かどうかは知らんけどgemma-2のプロンプトに関していえば、システムプロンプトに相当するものはマークダウン形式で<start_of_turn>userの中に書けば結構追従性高いよ(このSSのtool callの指示とかキャラ設定も全部そこにぶち込んだ)
これで満足か？ >>323
俺は好きやでこういうの
ちなみにQ8でVRAMどれくらい食ってるの？ AI開発者はアダルト機能に制限をつけることで
性産業のみを保護している！！ >>324
macの共有メモリなのでロード前後で差をとった概算で、コンテキストは8192 tokensで31GBくらいモデルが占有してる感じ
知識詰め込まれてると量子化の影響大きいかも、と思ってとりあえずQ8にしてるんだが、もうちょい下げても大丈夫かなとは思う 322のﾃﾃﾝはGPTスレでご覧の言動で嫌われて発狂して荒らしまくったり乱立スレ立ててた札付きの荒らしだよ
触らずNGリストにぶち込むのが吉
しょうもない自演擁護したり
勝手にﾜｯﾁｮｲ・ID無しスレ立てようとするのでそれだけ注意ね 俺もQ5Sでsillyのチャットしてみてるけど応答はめちゃ早いもののVRAM24G埋まりっぱなしだー
けどエロは淡白だな
なんかチャットなのにナレーションでさっさと済ませようとしてくる >>328
証明する方法はぱっとは思いつかんが、別人と同一視されるのは不快なのでやめてもらえないか？
まぁこのスレの総意として消えろと言われれば、それは仕方ないので従うが・・・ >>330
これは内緒の話なんだけど、実はお前は>>322ではなく>>323なのだ アンカーつけると面倒なんで外したのが勘違いの元だったかな
ともあれ、煽り口調の楽天ﾜｯﾁｮｲはその手のアレなんでよろしく >>328
>>332
>>333
うお、これは失礼
肩を持ってくれたようなのに申し訳なかったな kobold+尻タブで運用してるんだけど使ってるモデルで設定を変えないと表現の差を感じにくかったりする？ >>326
確かにそう言われればそうだなw
AIのトップ企業が「Webに公開した時点でフリーウェアやぞ(笑)」とかいってる一方でNSFW界隈が守られてる皮肉 CALM3 22Bが出てきたね
デカすぎて自分は試せないけど オンラインモデルでもclaude3やGPT4oみたいなLLMはほぼエロ規制ないけど、dalle3や動画生成aiはエロ規制キツいままだね
まあこいつらはエロ学習もしてないから規制というより無能なんだけど ちょっと上に出てるcohereの新しいモデルってやつ、流れちゃったけどソース知ってるやついる？
本当なら割と楽しみなんだが >>340
sandra kublikのxに書いてある
今後のcommandシリーズの展開とかも
他の企業と同じくモデルサイズの縮小と特化型を目指すみたいだから思ってたのと違う感じになりそうだなぁ >>341
これか、サンクス
https://x.com/itsSandraKublik/status/1807801960738791491
まあR/R+も”本来は”エンタープライズ向けのモデルだとは思うから、特化型といいつつなんだかんだで色々使える〜ってのを少し期待して待っておくことにしよう >>339
言うなら女体の理解度でしょ
エロとは違う >>343
例えば”スマタ”って指示すれば太ももを強調した絵を描くぞ
検閲されるだけでエロ系概念も内部には持ってて引き出すのが難しいだけ >>344
いや、公式がエロは学習から抜いてるって言ってたんだけど… >>351
たぶん、スマタの"マタ"に反応しただけだと思うよ… 擬音語とか擬態語を的確に使わせるのって難しいね
「ふわふわ」が適切な場面で「ゴツンゴツン」とか言い始めることがある >>353
あんまり気になったことないけど、どのモデルでも似たような傾向はあるん？ >>354
モデルによって違うと思う
GGUFばっかり使ってるから余計におかしいのかもしれない
今GPT4で試してみたら的確な擬音語使ってくれたわ shadowsをエロチャットで使ってみた
暴れ馬な感じがする
やっぱエロはVecteusV1の扱いやすさが際立つなあ Calm3期待してるわ
こういうときサクッと自分でGGUF変換できればいいけど未だにImatrix Quantizationのやり方わからん
トレーニングデータってWikiTextなるものを与えるらしいけどどっからダウンロードできんのか一生わからん
……とか書いてたら早速GGUF上がってたわありがたい(grapevine-AI/CALM3-22B-Chat-GGUF) 色々な方向性で作ってくれるのは業界発展にも良いことだと思うんです
しかし愛らしい応答の雰囲気はそのままに、エロ以外の話題にも耐えられるベクテウス1+的なものが欲しいかなあ
ちょっと前ならローカルの小型モデルで望むレベルは遥かに超えてるわけで贅沢なお願いではあるのだけどね。 >>361
試すのは明日以降になるけど「AI〇〇りすとっぽく使える」のはまさに求めてたものですよ >>361
ありがとうございます
EasyNovelAの更新を待って使いたいと思います Ninjaでも富士山答えられるのにElyzaが答えられないのってなんでなん？東大って・・・ >>363
EasyNovelAssistantにKagemusya-7B-v1を追加しといたで >>366
いつもありがとうございます
毎日使わせてもらっています
モデル作成の方もありがとうございます Kagemusyaさんエロに微妙では、、、
NSFW版を、、、、、、 silly tavernとSBV2で喋らせてる人、マージしたモデルちゃんと使えてる？
一覧に表示されるモデル名がマージ元のままになってて、実際喋らすとマージ前の声になっちゃうんだけど
でもTTS設定のavailable voicesのとこからいろはにほへと〜って喋る時はちゃんとマージ後の声になってる
何かしらバグってそう マージ元のモデルフォルダをSBV2から移動させてマージ後のモデルだけにしてみたらsillyでちゃんと使えた
でもやっぱりマージ元の名称で表示されてる
やっぱりこれが原因で不具合起きてるみたい 大体わかった．SillyTarvernとしては同名のvoiceNameは想定してないので，1つ目を選んだ扱いになる．
model_assets\マージモデル名\config.jsonのspk2idを変更すれば回避可能．
マージスクリプトの修正のPR出しとくわ． Oumuamua-7b-RP_Q8_0.ggufを使ってるんだけど
userを罵りながらのエッチとか女キャラに乱暴なエッチをさせようとすると文章がかなりおかしくなるな
攻めっ気の強い女キャラが上手く表現できないのかな Kagemusya試してみたけど、日本語バグってるよ >>372
対応ありがとうございます！
なるほど、確かにspk2idって箇所の名称はマージ元のままになってます
sillyはここを参照して一覧に表示させてるってことか >>375
speakerID(spk##ID)ってモデル側のconfig.jsonで書き換えられんかったっけ？ >>376
マージ後の名称に書き換えたら正しく反映されて解決したよ 最近流行ってるflorence-2っていうmicrosoftの画像からテキスト生成するモデルでなんちゃってマルチモーダルやってるけど、画像から小説生成する程度のタスクならそこそこ遊べるな お聞きしたいのですが、チャットモデル、小説生成モデル、RPモデル
どれに魅力を感じますか？
教えていただけると幸いです。
もしくは、あったらいいなと思うモデルがあったらそれもまた教えていただきたいです。 自分の代わりに検索してくれるモデルとかかな
ローカルLLMって時点でモデル自体の知識には限界があるから最初から検索して回答する前提のモデル >>379
EasyNovelAで使用可能な小説生成モデルがあればとても嬉しいです
私の使用目的だとVecteus-v1が最も使用しやすく
次にJapanese-TextGen-MoE-TEST-2x7B-NSFW_iMat_IQ4_XS
が使用しやすいです
折角作成していただいたのに
私の指示が不適切なのかKagemusya-7B-v1は
未だ上記2つより上手く使いこなせておりません >>381
どのように使用しているか教えていただけますか？
影武者はインストラクションを用いるなどの用途は想定されておらず、
書き出しを3行くらい書く→AIに続きを200字ほど書かせる→人力で気に入らない部分を変更、話の流れを誘導→続きを書かせる→繰り返し
いわばAIと共同で小説を書くといった使い方を想定しています。
チャットなどできないことはないですが、小難しいタスクはおそらく理解できず、指示を出して小説を書いてもらうといった使い方には向いていません。
その場合はNinja-V3やVecteusの方が適しています。 >>379
自分は小説作成が主な用途ですが、７Bという利点を生かすならチャット用途で使う人が多いかと思います。
応答速度は速いに越したことありませんが、小説用途なら70Bの速度にも耐えられるので（自分だけかもしれんがｗ）
影武者はＡＩのべりと的な使い方ができるベースモデルのような感じなので、これにinstract tuneできれば
面白いモデルになるかもしれませんね ぶっちゃけ小説用途ならClaude3の本家とか使うほうが
コストかかるとしてもいいと思うけどねえ
Opusもいいし、Sonnet3.5もいい（poeとか外部サイトで使うならこっちは安いメリットもある） >>382
結構複雑な指示を出しているのでそれが不適切だったんですね
意図されていない使用をしてすいませんでした
季節や場面を変えるだけでキャラが同じ行動や考えをし続けるので
物語がずっと先に進まないようになっていました
私の書き出し自体がモデルに不適切なんだと分かりました
ありがとうございます 希望のもの、かつ制作意識を刺激するものを言っていいなら
シンプルな記述で方眼紙に200文字（あらすじの書き出し）、音素でいう20文字という指定に従う創作向けのモデルかなぁ（俳句や歌手）
token数じゃないからね！といってもチャットgptだとほぼ間違えるか試行錯誤して答えを出せない >>380
その用途だと既存のgemma-2とか使えばいいのでは？ 技術的に可能か分からんけど、冒険ゲーのNPC、コンパニオンや敵対NPCとのやり取りを前提にしたチャットモデルみたいなのが欲しいなぁ...。
キャラ名、状況を簡単なパラメータ、数ターン分の会話履歴を渡す、などでふさわしい応答を返してくる、みたいな感じで
ゲーム固有のキャラ名、地名やアイテムなどは外部ファイルなりで別途定義できる、みたいなモデルがあったら最高なんだけど >>379
個人的な好みで言えばだけど…
・NSFW重視 (SFWならClaudeが良さそう)
・直後の展開を本文としてではなく [ここで猫が登場する] みたいに指示する機能が欲しい (のべりすとでできるらしい)
・用途は小説かロールプレイチャット
・「最初に短い本文か指示を与えると、適当に話を展開し続けて読み上げてくれる」と面白いかもしれない（読み上げ機能は探すか作る）
ちなみに最近使ってるモデルは Berghof-NSFW-7B-GGUF NSFWでもpoeとか使えば相当いけるけどね
sonnet3.5ならたっぷり使える チャットとロールプレイって何が違うの？
同じかと思ってたわ 区別してる人はあんまりいないと思うけど、自分の区別はこんな感じ↓
普通のチャット：
👱「こんにちは、話し相手になってよ」
🤖「もちろんです、何について話しましょうか？」
ロールプレイチャット：👱「君は万引き少女で俺は店長ね。じゃあ始めるよ。きみ、ポケットの中のものを見せなさい！」
🤖「え…なんですか！？言いがかりはやめてください！」 ロールプレイってゲームマスターになってもらうのもあるね のべりすとの機能は全部Koboldに同じものがある
というかKoboldの方が先 >>384
まあこっちのスレはローカル専用的になってるからね
規制＆課金無しってとこに魅力見出してやってるわけだし
それに限らない人は普通に向こうのスレと掛け持ちしてるだろうからわざわざ誘導しなくてもいいんじゃないか >>394
Koboldってテキストエディタとしての機能はどうなんだろ？
バージョン管理とかできるのかな？
できれば使い慣れたVSCodeで小説を書きたいんだけど EasyNovelAssistantのファイル監視使ったらいいじゃね？ >>396
API経由でいじれば良さそうだけど、標準入出力使うのはできるのかな。 個人的にはチャットで、複雑なキャラ設定でも忠実に守ってくれるタイプのモデルが欲しいなぁ
キャラクタープロフィールを作り込んだり会話例を記載しても、しばしばプロフィールに沿わない性格になったり、
地の文を吐き始めたりするから「長いプロフィールや前提条件を読んだ上で、適切に会話だけができる」モデルがあると嬉しい
まあ地の文が出せないモデルは需要も少ないのかもしれないけど…… 自分の欲しいモデルも399と同じです
オリキャラとチャットする用途
話してると段々口調とか崩れていきがち 創作はLLMによって得意なジャンルがあるのが最近分かってきた
まあ学習する内容によって偏るのは当然だが
やっぱパラメータ数が正義 尻タブでの返答って新規チャットでも過去のチャット内容に影響されることあるの？
なんか前に俺が答えた内容に沿ったような返答が返ってくることがある気がするんだけど
>>392-393
なりきり要素が強いってことなのかな？ SillyTavern自信ニキっておる？
WorldInfo機能使って今までのチャット内容を要約したもんをお互いの記憶として置いてみたいんやけど
デフォで用意されとるヤツや公式Tips見てもよう分からんくて四苦八苦しとるんや
自分はこう使ってるやで〜ってお手本あったら教えてクレメンス… >>403
lore bookを公開してるサイトあるからそれ見た方が早い チャットで仕草や周囲の描写が詳細なものがいい
同じキャラで色んなシチュエーションや関係性を楽しみたいので性格やプロンプトは忠実がいい
新規で始めたら前の流れを組まずに
リセット出来ると嬉しい モデル側の裁量で新規に始めて前の流れ汲まれたらちょっと怖いやん >>403
俺も手を出してみたいと思ってちらっと調べたんだけど、worldのプロンプトは会話でそれに関するキーワードが出た時に参照される類のものみたいね
逆にそういう話題じゃない時は参照しない=トークン節約になるとか sophosympatheia/New-Dawn-Llama-3-70B-32K-v1.0
最初英語の表現試そうとしたけど、ふと日本語で書かせてみたら、swallowなんかよりずっといけるわ（日本語チューニングとは何だったのか）
nfswだし、ggufもあるから、試してみて >>406
しょっちゅう
前のチャットの流れ汲んでるだろ
というワード出る
性能確認の為に新規つくって
何度も自己紹介してとやったら
うざがられた >>408
オリジナルのllama-3は日本語力まあまあくらいだけど、それよりいいんか？ >>404
>>407
サンガツ
レス貰ってから色んなbookの中身覗いたり気になったのを試してみたやで
んで、DLしたそのままだとワード含んだ発言しても参照してくれなくて「？」ってなっとったんやが
正規表現に直せば上手く参照してくれるってとこまでたどり着けたわ
赤ちゃんですまん
とりあえずこれでなんとかなりそうや ■ このスレッドは過去ログ倉庫に格納されています
