なんJLLM部 避難所 ★4
■ このスレッドは過去ログ倉庫に格納されています
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★3
https://mercury.bbspink.com/test/read.cgi/onatech/1717886234 >>58
楽しそうだけど、やっぱオンラインだとこれがあるよなぁ…
>>60
デモで軽く試した感じ日本語能力高いしエロにも寛容そうでめっちゃいいですねこれ
すごい人が量子化してLM Studioで使えるようにならないかな… >>59
CohereのAPI使ってるけどsummarise動くよ
redditでも出てたけど長期会話は要約使ってコンテキストサイズ減らさんと無理や openaiはただのエロじゃbanしないはずだけど、ロリ判定でも食らってたのかな
まあワイも2回banされとるけど、返金されるしアカウントなんて作り直せばいいだけや >>62
動くのか
俺はkoboldのローカルAPIでどっちも反応せず
cohere APIを試してみたいんだけどsillyとの繋ぎ方ってどうすればいいの？ APIをChat Completion
Chat Completion SourceをCohere
API Keyに発行されたのをコピペ
Cohere Modelにcommand-r-plus
それでConnect
これでいいはず >>65
ありがとう、接続出来た！
そして自動要約も行動計画もちゃんと動いたよ
どっちもめちゃくちゃ便利そうだわ…
でもkobold接続では使えない機能ってことなのか…残念や Text Completionsで使うContext Formattingの"Generate only one line per request"がオンになってると改行で生成終了して何も出力しない場合があったような？ "Custom Stopping Strings"の中断に引っかかってるとかもあるかも？ 自動要約の方はkoboldでも使えるやり方が分かってきた
拡張機能のsummaryzeで「メインAPI」ではなく「webLLM extension」を選ぶ
それで今すぐ要約ボタンを押すとエラーメッセージが出るので表示されてるうちにメッセージをクリックする
そしたらwebLLMっていう別の拡張機能がインストールされて要約してくれるようになった
が、おつむが馬鹿すぎて実用レベルには程遠い…
webLLM機能はどうやらチャットに使ってるkoboldのモデルとは別に追加でモデルを走らせてるみたい？
webLLMに関する情報が全然無くて分からんことだらけだわ perplexityさんに調べてもらったわ
出先なので真偽が確認できんからハルシネーションだったら悪い
KoboldCppと接続した場合、Summarize機能の設定は通常のAPIと少し異なります:
1.SillyTavernの「Extensions」パネルを開き、「Summarize」を有効にします。
2.「⚙ Summary Settings」をクリックして設定画面を開きます。
3.「Summary Source」で「Main API」を選択します。
4.「Sub-mode」では、以下のいずれかを選択します:
「Classic, blocking」: KoboldCppに適しています。通常の生成プロンプトの最後に要約プロンプトを追加します。
「Raw, blocking」: プロンプト処理が遅いKoboldCppには推奨されません。
5.「Update every X messages」と「Update every X tokens」を設定します。KoboldCppの処理速度を考慮して、やや大きめの値を設定するとよいでしょう。 使い方
チャットを開始し、設定した間隔でSummarize機能が自動的に動作します。
「Current summary」セクションで生成された要約を確認できます。
必要に応じて、「Summarize now」ボタンを押して手動で要約を生成することもできます。
「Pause」チェックボックスをオンにすると、自動要約を一時停止できます。
「Restore Previous」ボタンで、以前の要約状態に戻すことができます。
注意点
KoboldCppは処理速度が遅い場合があるため、要約の生成に時間がかかる可能性があります。
「Classic, blocking」モードを使用することで、プロンプトの再利用性が高まり、KoboldCppとの相性が良くなります。
要約の品質はKoboldCppにロードしているモデルの性能に依存します。必要に応じて手動で修正を加えてください。
KoboldCppと接続した場合のSummarize機能は、通常のAPIと比べてやや制限がありますが、適切に設定することで効果的に利用できます。処理速度や要約の品質を確認しながら、最適な設定を見つけていくことをおすすめします。 lmと大葉経由で尻を使い
berghofのeprやってみたが
変な方言が入ったり意味不明な文字の羅列で使い物にならなかった
使い方が悪いかは分からん
NEMO2407はプロンプトを読み込んでくれて3p出来たがあっさり目で繰り返しがちになるな >>71
うーん、最初からクラシック、ブロッキングでやってみてたんだけどエラーメッセージ出て駄目ぽ
>>73
最大コンテキスト長は公言されてないけど8192で確定やと思う
16Kでまあまあ怪しくアホになって、32Kだと完全にアホの子になった
あとはMistral 7Bがベースらしいので、コンテキストテンプレートはMistralを選択してみてる
これでkobold & sillyの組み合わせで意味不明って感じにはなってないなあ ERPって何かと思ったけどエロティックロールプレイなのか
普通のRPモデルとはまた違う学習してるのかな エロに関して何も指定してないのに耳元で囁いてるだけで勝手にイき散らかす 7Bモデルの情報たすかる！
Berghof-ERP-7B使ってみた。エロの疾走感はピカイチ
ちょっと自分のキャラとは合わないのでVecteusV1に戻ったけど
（発情していない時は）Vecteusに匹敵する賢さ
https://files.catbox.moe/ywkbxv.jpg LLMは1年くらい浦島だったがこのスレのおかげで追いつけたわ感謝するで
SillyTavern数日いじってみてのメモ
・チャット欄のオレンジの破線はそこまでがコンテキストに含まれているということ
・1つ目のアイコンのテキスト保管のプリセット＞ストリーミングをオンにするとChatGPTみたいに随時文字が出力される。立ち絵を設定してあると出力途中でもコロコロ変わる
・モデルによって3つ目の「A」アイコン＞コンテキストテンプレートを適合したものに変更すると動作が良くなることがある
・４つめの本のアイコンLoarbookはテンプレ（UIが分かりにくいが）。世界観や場面設定を保存してキャラウィンドウのキャラクターロアやチャットロアで読み込ませられる
例えば"{{char}}と{{user}}は気づくと部屋に閉じ込められていた。窓はなく、ドアは施錠されている。部屋のモニターには「セックスをしないと出られない部屋」と表示されていた"
・立ち絵が設定してあるなら5つ目の設定からワイフモード、移動可能なUIパネルをチェックするとUIをギャルゲっぽくできる
・6つ目の拡張機能＞Charactor Expression（立ち絵）はTranslate text to English before classificationにチェックすると精度が上がる
https://files.catbox.moe/b0vd2i.png
ふたばにも上げたが立ち絵を一括生成するComfyワークフローも作ったから使ってくれや
https://mega.nz/folder/s0N1FD5I#nx39CZmBbicFZuvgaozMsQ >>82
おー便利そうだな共有たすかる
表情作るのなかなかめんどくさくてな >>0082に関して横から補足やが、複合キーは
nx39CZmBbicFZuvgaozMsQ
や
なかなか便利そうなのでワイも活用させてもらうで、サンガツ！ comfyUI使ったこと無いんや…
使いこなせる人凄いわ >>85
見た目とっつきにくいけどcomfyuⅰ入門みたいな動画を２-３本見れば大体のことはできるよ 赤ちゃんの質問で恐縮だけど、7B、12B、35B、70Bの数字は大きい数字ほど頭のいいモデルって認識でいいのかな？
色々触ってみて自分にはcommand-r-v01 35Bがバランス良かったけど、Berghof-ERP-7Bみたいな特化型のモデルも面白いね >>87
Bはビリオン、10億のこと
つまり7Bは70億パラメータで学習されたモデルってこと
基本的には数字が大きい方が賢いはず、なんやが実際にはファインチューニングとか規制の影響とかベンチマーク対策の小細工なんかのせいで数字の大きさと賢さが一致しない事も多いよ ありがとう！ 同じモデルのなかで3-bit、4-bit、5-bitとかのバリエーションがある場合も、大きい方がいいですか？
4-bitと8-bitを試したら、ファイルサイズが2倍くらい違うのに、頭の良さはそこまで大きく違わなかった気がして 教えていただきありがとうございます！最後に質問で、おすすめ言語モデル一覧が見れるサイトはありますか？
「個人的な日本語ローカルLLM関連のメモ用Wiki」はチェックしました。それ以外は情報が古かったりでなかなか良いとこが探しきれていません このスレで先日知ったPerplexityさんに教えてもらいながら、ComfyUI導入して、>>82御謹製ワークフローで画像出せるようになったんやが、
ぱっとノードや説明見たところ、28個キュー入れるってなってるから、右上のQueue Promptクリックしたら表情差分が28枚ぶわーって出力されてくのかと思ったんやが違うんか？
実際にQueue Promptクリックすると、一枚画像でて止まってまうんや
Queue PromptをクリックするたびにText Line Loaderの方のSeedが一づつ増えながら新たに画像が生成される
STexpression.csvはComfyUIフォルダに置いたので読み込めてると思うが、なにか間違っとるんやろうか？ >>87
例えば①日本一高い山の名前も知らないやつと、②一般的な日本人と、③全世界を旅して各国の言語や風土やらを把握している人、話してて一番楽しいのは誰かという感じやな
ただ、地元の山について知りたいだけなら①で十分ということもよくある
というわけで特定用途ならファインチューンした小サイズで十分で、議論とか小説・ロールプレイなどのクリエイティブライティングなら大きければ大きいほうが良いという感じやな 自己レスや
ターミナルの方に”WAS Node Suite Error: The path `.\STexpression.csv` specified cannot be found.”って出てたわ
もうちょっと弄ってみるで >>79
22bだから流石に頭は良いな、ちょっと複雑なプロンプトでも理解してる感ある
ただ、22bだと手元で動かすには少し大きすぎるんだよなー あー、分かったわ、Extra OptionsのAuto Queueにチェック入れるかBatch Count増やせば複数枚出せるんやな！
ログ見てると一差分ごとにモデルを読み込みなおしてるのが気になるが、まあえーやろの心で見なかったことにするで！
ありものの画像に差分追加も出来るようになったし、ホンマありがたいツールの公開感謝やで！ モデルの説明やおすすめサイトの情報ありがとうございました！
ローカルでChatGPTごっこできる！NSFWの話もできる！ってキャッキャしてる段階なので、色々見たり触ったりしてもっと勉強します llm-jp/llm-jp-3-172b-beta1-instruct
なんか出た。
試用できる所ないかな？ berghof-ERP
設定見直したが女役特化型か？
男役は無理っぽいな >>104
男騎士がすぐアヘアヘしちゃうから
「騎士として、ふさわしい言動を心がけるように！」って言ったら
どうかお慈悲を……♡今後は慎ましく振る舞いますので、どうかお許しください……♡ って♡まみれの返答された 正直ローカルで動かすとなるとMistral-Nemoの12Bまでが良いな…
まぁ俺のGPUがしょぼいからなんだが、実際ボリュームゾーンはこんなもんだと思ってる >>104
そういえばS女CharがM男Userをペニバンで掘ろうとしてくるのは良いんだけどオマンコに入れようとしてきたわ
あとペニバンが射精する すぐエロくなりすぎてもいけない、ガード硬すぎてもいけない
ＡＶインタビューシーンが必要な理由が分かった気がする
mistralaiが新しいの出してるね。量子化はまだ上がってないけど。pixtralはマルチモーダルだって >>105
ERPの方は「♡」が過剰なくらい付くからな。やめさせる方法は見つからない。
割り切って、いっぱい「♡」が付いて欲しいシナリオでこのモデルを利用すればいいかなと思ってる。 もしかしてそういう時にsillyのCFGスケール機能を使えばテンションを少し抑えさせたり出来るんだろうか
CFG使ってる人いるのかな？あれ説明読んでも全然分からん 画像生成だとCFG低い方がプロンプトの効きが悪くなる（ネガティブプロンプトが顕著）
その代わりに推論は早くなったけどLLMで同じかどｂ､かは分からん 前に特定の単語がどうしても文字欠けするって言ってた人いたけど、急に俺もsillyでなった
ありがとうございます、がどうしても言えなくなってありがとうござます、になっちゃう
アーニャかよ
何をどうやっても駄目で、結局sillyを新しく入れて引っ越したら直ってた
同じ現象で困ってる人はもしかしたらsillyがぶっ壊れてるのかもしんない qwen2.5がリリースされたね
lmarenaのテストでは論理感高めって言われてたけどそこはどうなんだろう
朝起きてテストするのが楽しみや https://huggingface.co/EndouMadoka/AITuberStudio
AITuber Studioというものが出てきたが、KoboldCppでのローカル環境でAIとチャットできないのかな？
Silly tavernでええやんって言われたらそれまでなんだが、日本人が作ったUIを使ってみたい気持ちもある。 ある程度の性格は設定しないとな
ギャル口調からいきなり姫騎士口調とかめちゃくちゃされたらあかん >>117
必ずvLLMライブラリをインスコしろよって書いてあるね WariHimaって人が改良してるバージョンのstyle bert VITS2が凄そう
読み方の精度アップ
九州や近畿の方言に対応
同音異義語の読み方推定機能追加
ただし追加で環境構築が必要とのこと
https://github.com/litagin02/Style-Bert-VITS2/pull/161
WariHima版SBV2
https://github.com/WariHima/Style-Bert-VITS2/tree/dev >>121
マルチリンガルスコアのJAって日本語のことじゃないよな？
異様に数値高いんだが qwen2.5 72b試したけど今までとはなんか格が違うぞ
すでにggmlも出てる
でもなんであんな分割してんだq5kmなら1ファイルにしてくれ〜 Qwen2.5は32Bが日本語性能も十分高くて使いやすいサイズで個人的に使うにはバランスが良かった qwen2.5-72B試してみたが自分の経験では大したことなかった
自分のことを語らせたら中国産だからプライバシーには気を付けないとねとか言ってて笑ったが 大して試せてないけどQwen2.5の7BQ6でも日本語上手で大きな破綻もなく好印象 Qwen2.5 14Bなら量子化すればVRAM12GBのRTX3060で動くかな？ Qwen2は日本語めっちゃ破綻した記憶しかないが2.5はそんな良いのか？
2も巷では日本語安定するって持ち上げられてたけど手元で触って失望した記憶 けど未成年近親エッチは寸前で断られたわ
途中まで付き合ってくれたのに 更新しても
他のモデル入れても訛るから
尻を入れ直したらちゃんと日本語になった もしかして、qwen 2.5 koboldまだ対応してない？ すまん、動いたわ
なぜか公式のggufファイルが起動せんかった M1のMacで動かしたいんだけどおすすめのソフトってある？
WindowsもあるにはあるけどMacよりずっとスペック低い QWEN2.5 72B
出来は結構いいんだけど、いかんせん規制が強すぎてすぐ終わろうとする
解除版ほしい
>>136
kobold.cpp qwen2.5 14b試してるけどロールプレイ用途では微妙だな
余裕で20行とか出力しやがる gpt4-o1なんか凄いらしいけど
こういうのってローカルではできないんやろか？ >>139
open interpreter ってこういうのじゃなかったっけ。 あれは検閲も兼ねてるからエロ利用者にとっては最悪のシステムや
むしろアレが無いのがローカルの強みになるかもな o1は1回目のアウトプットと入力プロンプトを見返して必要があれば結果とプロンプトを参考にさらにもう一回推論する、
というのを何回か繰り返して精度を上げるみたいだから、
他のモデル(というかライブラリの仕組みか？)も同じ仕組みを入れようと思えば入れられるだろうし
使うモデルがエロ行けるなら出力もエロ行けるはず
ただこういう仕組みだから推論時間は数倍以上になるんやろな
繰り返し1回だけだったとしても、
通常推論→結果見直し推論→繰り返し必要と判断して追加推論→再度結果見直し推論→繰り返し不要と判断し結果出力
で4回推論あるわけだし o1の場合は解釈と推論をするコンポーネントがかなり違う性質を持つみたいな話もあるので、どうかな
一つ言えるのは、解釈コンポーネントの検閲機能でエロ排除されたら何を入力しても無駄ということ
糞中の糞 >>0137
koboldcppってMac版あんの？
なんか拡張子無しのファイルしかなかた >>145
koboldcpp-mac-arm64
これがmac版だと思ってたが、違うの？ silly tavern拡張機能のsummraizeとobjectiveがちゃんと動く条件がやっと分かったので報告
①instructモードをオンにする
②「リクエストごとに1行のみ生成」のチェックを外す
③「不完全な文をトリミング」のチェックも外す
これでkobold接続だろうと何だろうと、ちゃんと動いてくれた ここってColabとかpaperspaceみたいなクラウドGPU使って文章生成してる人あんまり多くない感じなのかな
今までchat GPTとかperplexityばっか使ってたからこっちの勝手が全然わからん >>150
住人はかなり重複してると思うで
プロンプトのコツとかは共通だし
ローカルの方がモデルの多さやツールの使い方で覚える事多いけど >>146
なんか他にソフトが必要なんかな
調べんとや >>152
公式ドキュメントにもあるけどchmod +xして実行ファイルにしてやる必要がある
あとうちのMacだとセキュリティに引っかかるから設定変更も必要だった qwen2.5のuncensored今のところ微妙だ Qwen-2.5-32b-AGIっていう規制をとってしまったモデルがあるらしい
試してないからよくわからんけど ■ このスレッドは過去ログ倉庫に格納されています
