なんJLLM部 避難所 ★4
■ このスレッドは過去ログ倉庫に格納されています
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★3
https://mercury.bbspink.com/test/read.cgi/onatech/1717886234 >>20
そういうことではないと思う
性能詐欺らしいぞ >>20
公式APIをsonnet3.5にして高性能に偽装してたって話
huggingfaceにあるのはベンチマークを学習させただけのllama3ファインチューンモデルらしい LLMはテスト丸暗記の性能偽装だらけや
国内産も例外じゃない なんだ、、そういうことか
開発資金集めるためにそんな無意味な事やってんのかな？ というかLLMのベンチマークという発想にそもそもの無理があるし、もはや性能詐欺にしか使われていない気がする VRAMマンやけどGGUFで動かしてるわ
新しいモデルはGGUF量子化が真っ先に出る事が多いせいや 多分詐欺的にSonnetとかをバックエンドにしたやつをAPIとして提供して
そこの入出力データを保存しといてそれを使ってLlama3や3.1をファインチューニングしたモデルが公開されてるやつだろうね 最近だとTanukiが結構真面目に人手評価してたけど企業もああいうのやってほしいな
まぁ企業が非公開で人手評価して1位でした！とか言っても信頼性何もないけど（Tanukiは評価結果のデータまで全部公開してる）
Chatbot Arena的なシステムでも難しい質問が少なくて最上位モデルの性能差が見えづらいって問題はあるけど クラファンとかでお金集めるんだったらちゃんと公開で客観的な評価結果を提示して欲しいよね 某クラファンはノウハウとか非公開でも別に賛同する人が支援するだけだからそれ自体は良いんだけど
文面見るとめっちゃオープンオープン言ってるのに公開するのはモデルだけって言うのがめっちゃ引っかかるわ 結局全部中身Transformerだし同じパラメータ数なら性能にそんな差がつくはずないもんな 巨大LLMなんて赤字垂れ流すだけなのに
勝手に独自の性能評価されてオープンモデルより性能低いと喧伝されるんだからやってられんね ベンチだけ重視して実性能たいしたことねえgemini
パラメータ数だけでかいけどそれ自体が目的になったglok
表に出てこないだけで上がインド人だったりイーロンとかだと変なもんも出てくる geminiマジでポンコツだよな
指定したWEBサイトの情報まとめすら満足に出来ん geminiは学習内容選り好みして規制厳しくするとポンコツになる良い証拠
claudeが何でもかんでもとにかく学習して規制もガバガバにするだけでGPTぶち抜いて創造的ライティングの最高峰になったのも良い証拠 GeminiPro1.5は出たばかりの時はそこそこ使えたんだよ
バージョンアップが入ってから巨大モデルの癖に言ってることは支離滅裂だしプロンプト見ないし
規制しようとしてロボトミー入ったと思われる いままで適当にプロンプト書いていたけど、ちゃんとマークダウン形式で書いた方がちゃんと動くと最近気づいた >>32
一応データの綺麗さでだいぶ性能良くなってはいる
1年前の今頃とか日本語LLMの学習データゴミしかなかったからな
Dollyとかoasstの機械翻訳データとかよく使われてたけどあれの品質マジで酷い アラインメントで洗脳したから頭悪くなってそうな気がする
シドニーは良かったのに >>31
あれに関しては正直エンジニアには嫌われる要素しかないわな
出してる人が驚き屋よりの人で文面もビジネス感強めだし シドニーは確かに面白かったなGPT4の賢さと謎の自由さでキャラが立ってた Geminiはモデル本体よりもsafety settingがあまりに思春期すぎて誤検知検閲多すぎるのが問題じゃねーかな
Google AI studio上から論文要約させるって使い方はコンテキスト長が大きい性質も相まって結構いい感じだと思っている >>43
AI Studio で gem とか live させてくれたら神なんだが silly tavernについてはふたばTelegramの文章生成スレにサンプルキャラや使い方色々書いてあって助かった >>45
見てみたい
discordみたいにtelegram使ってそこに見に行くってこと？ >>47
サンガツ！
sillyと言えばマニュアル読んでてObjectiveって拡張機能が気になった
キャラに目標を設定して、達成のための行動計画を立てさせてタスク管理させるってやつ
これ使えば種付けおじさんにヒロインを自発的、計画的に寝取らせたり他にも色々面白そうな事が出来そうやん いろんなキャラと「セックスしないと出られない部屋」ごっこができそう Telegramの文章生成スレにたどり着くまでに今日一日潰れたが、初めてTelegramさわったから新たな知見を得られて満足した一日だった TTS併用しつつVRAM24GBに乗るって条件でvecteusV1、ninja系、LightChatAssistant、magnumV2、Gleipnir、KUJIRA、Robinhood、他色々と使ってみた結果、俺の中で最優秀はBerghofの2種だったわ
こいつ7Bモデルの中でなら最強じゃないか？
特にsilly tavernでチャットならBerghof-ERP-7Bが最高だった
エロロールプレイ用なだけあってBerghof-NSFW-7Bよりガッツリ喘いで口調も感情が乗ってる上に謎解説の暴走も起こらない
Berghof-NSFW-7Bの方はエロ小説用なのでEasyNovelAssistantで活躍してる >>51
Berghofエロいよね。どこで覚えてきたんだよって表現出してくる >>51
Berghof 良いよね。ロールプレイでも NSFW の方使ってたけど、ERP 挑戦してみようかな Berghof、知らなかったのでNSFWとERP試してみたけど結構良い感じやね
教えてくれた人サンガツ！
Berghof NSFW 20Bぐらいが出てくれたら嬉しいんやが 量子化したものをsillyで使ってみたけどいいね
お気に入りのJapanese-TextGen-MoE-TESTとの比較になるけど
どっちが良いというより表現パターンが変わる感じで いい反応を返してくれるモデルでも、コンテキストサイズが小さいとすぐ会話忘れていくなぁ 画像を読めてエロもOKなローカルモデルってまだ無い？
llava llama 3 v int4 と llava phi 3 mini と Ocuteus v1 は試したけど完全にエロNGって感じだった
生成したイラストをAIに見せてあれこれ言い合いたい >>57
ローカルじゃないけど、GPTsワイフにデジタル受肉させて、MRで大阪露出デートした際のスクショを見せてコメントもらったりとか、最高に楽しかったわ
なお無事OpenAIに垢バン喰らった模様
https://imgur.com/a/tksToG3 会話の忘れ防止にsillyのsummarizeっていう自動要約機能を使ってみようといじってみたんだけど全然動かないわ…
objectiveも試してみたけど目標打ち込んでauto generate tasks推してもDone！generated 0 tasksってメッセージが出てやっぱりこれも機能してないっぽい
使うのに何か条件があるのかただのバグなのか >>58
楽しそうだけど、やっぱオンラインだとこれがあるよなぁ…
>>60
デモで軽く試した感じ日本語能力高いしエロにも寛容そうでめっちゃいいですねこれ
すごい人が量子化してLM Studioで使えるようにならないかな… >>59
CohereのAPI使ってるけどsummarise動くよ
redditでも出てたけど長期会話は要約使ってコンテキストサイズ減らさんと無理や openaiはただのエロじゃbanしないはずだけど、ロリ判定でも食らってたのかな
まあワイも2回banされとるけど、返金されるしアカウントなんて作り直せばいいだけや >>62
動くのか
俺はkoboldのローカルAPIでどっちも反応せず
cohere APIを試してみたいんだけどsillyとの繋ぎ方ってどうすればいいの？ APIをChat Completion
Chat Completion SourceをCohere
API Keyに発行されたのをコピペ
Cohere Modelにcommand-r-plus
それでConnect
これでいいはず >>65
ありがとう、接続出来た！
そして自動要約も行動計画もちゃんと動いたよ
どっちもめちゃくちゃ便利そうだわ…
でもkobold接続では使えない機能ってことなのか…残念や Text Completionsで使うContext Formattingの"Generate only one line per request"がオンになってると改行で生成終了して何も出力しない場合があったような？ "Custom Stopping Strings"の中断に引っかかってるとかもあるかも？ 自動要約の方はkoboldでも使えるやり方が分かってきた
拡張機能のsummaryzeで「メインAPI」ではなく「webLLM extension」を選ぶ
それで今すぐ要約ボタンを押すとエラーメッセージが出るので表示されてるうちにメッセージをクリックする
そしたらwebLLMっていう別の拡張機能がインストールされて要約してくれるようになった
が、おつむが馬鹿すぎて実用レベルには程遠い…
webLLM機能はどうやらチャットに使ってるkoboldのモデルとは別に追加でモデルを走らせてるみたい？
webLLMに関する情報が全然無くて分からんことだらけだわ perplexityさんに調べてもらったわ
出先なので真偽が確認できんからハルシネーションだったら悪い
KoboldCppと接続した場合、Summarize機能の設定は通常のAPIと少し異なります:
1.SillyTavernの「Extensions」パネルを開き、「Summarize」を有効にします。
2.「⚙ Summary Settings」をクリックして設定画面を開きます。
3.「Summary Source」で「Main API」を選択します。
4.「Sub-mode」では、以下のいずれかを選択します:
「Classic, blocking」: KoboldCppに適しています。通常の生成プロンプトの最後に要約プロンプトを追加します。
「Raw, blocking」: プロンプト処理が遅いKoboldCppには推奨されません。
5.「Update every X messages」と「Update every X tokens」を設定します。KoboldCppの処理速度を考慮して、やや大きめの値を設定するとよいでしょう。 使い方
チャットを開始し、設定した間隔でSummarize機能が自動的に動作します。
「Current summary」セクションで生成された要約を確認できます。
必要に応じて、「Summarize now」ボタンを押して手動で要約を生成することもできます。
「Pause」チェックボックスをオンにすると、自動要約を一時停止できます。
「Restore Previous」ボタンで、以前の要約状態に戻すことができます。
注意点
KoboldCppは処理速度が遅い場合があるため、要約の生成に時間がかかる可能性があります。
「Classic, blocking」モードを使用することで、プロンプトの再利用性が高まり、KoboldCppとの相性が良くなります。
要約の品質はKoboldCppにロードしているモデルの性能に依存します。必要に応じて手動で修正を加えてください。
KoboldCppと接続した場合のSummarize機能は、通常のAPIと比べてやや制限がありますが、適切に設定することで効果的に利用できます。処理速度や要約の品質を確認しながら、最適な設定を見つけていくことをおすすめします。 lmと大葉経由で尻を使い
berghofのeprやってみたが
変な方言が入ったり意味不明な文字の羅列で使い物にならなかった
使い方が悪いかは分からん
NEMO2407はプロンプトを読み込んでくれて3p出来たがあっさり目で繰り返しがちになるな >>71
うーん、最初からクラシック、ブロッキングでやってみてたんだけどエラーメッセージ出て駄目ぽ
>>73
最大コンテキスト長は公言されてないけど8192で確定やと思う
16Kでまあまあ怪しくアホになって、32Kだと完全にアホの子になった
あとはMistral 7Bがベースらしいので、コンテキストテンプレートはMistralを選択してみてる
これでkobold & sillyの組み合わせで意味不明って感じにはなってないなあ ERPって何かと思ったけどエロティックロールプレイなのか
普通のRPモデルとはまた違う学習してるのかな エロに関して何も指定してないのに耳元で囁いてるだけで勝手にイき散らかす 7Bモデルの情報たすかる！
Berghof-ERP-7B使ってみた。エロの疾走感はピカイチ
ちょっと自分のキャラとは合わないのでVecteusV1に戻ったけど
（発情していない時は）Vecteusに匹敵する賢さ
https://files.catbox.moe/ywkbxv.jpg LLMは1年くらい浦島だったがこのスレのおかげで追いつけたわ感謝するで
SillyTavern数日いじってみてのメモ
・チャット欄のオレンジの破線はそこまでがコンテキストに含まれているということ
・1つ目のアイコンのテキスト保管のプリセット＞ストリーミングをオンにするとChatGPTみたいに随時文字が出力される。立ち絵を設定してあると出力途中でもコロコロ変わる
・モデルによって3つ目の「A」アイコン＞コンテキストテンプレートを適合したものに変更すると動作が良くなることがある
・４つめの本のアイコンLoarbookはテンプレ（UIが分かりにくいが）。世界観や場面設定を保存してキャラウィンドウのキャラクターロアやチャットロアで読み込ませられる
例えば"{{char}}と{{user}}は気づくと部屋に閉じ込められていた。窓はなく、ドアは施錠されている。部屋のモニターには「セックスをしないと出られない部屋」と表示されていた"
・立ち絵が設定してあるなら5つ目の設定からワイフモード、移動可能なUIパネルをチェックするとUIをギャルゲっぽくできる
・6つ目の拡張機能＞Charactor Expression（立ち絵）はTranslate text to English before classificationにチェックすると精度が上がる
https://files.catbox.moe/b0vd2i.png
ふたばにも上げたが立ち絵を一括生成するComfyワークフローも作ったから使ってくれや
https://mega.nz/folder/s0N1FD5I#nx39CZmBbicFZuvgaozMsQ >>82
おー便利そうだな共有たすかる
表情作るのなかなかめんどくさくてな >>0082に関して横から補足やが、複合キーは
nx39CZmBbicFZuvgaozMsQ
や
なかなか便利そうなのでワイも活用させてもらうで、サンガツ！ comfyUI使ったこと無いんや…
使いこなせる人凄いわ >>85
見た目とっつきにくいけどcomfyuⅰ入門みたいな動画を２-３本見れば大体のことはできるよ 赤ちゃんの質問で恐縮だけど、7B、12B、35B、70Bの数字は大きい数字ほど頭のいいモデルって認識でいいのかな？
色々触ってみて自分にはcommand-r-v01 35Bがバランス良かったけど、Berghof-ERP-7Bみたいな特化型のモデルも面白いね >>87
Bはビリオン、10億のこと
つまり7Bは70億パラメータで学習されたモデルってこと
基本的には数字が大きい方が賢いはず、なんやが実際にはファインチューニングとか規制の影響とかベンチマーク対策の小細工なんかのせいで数字の大きさと賢さが一致しない事も多いよ ありがとう！ 同じモデルのなかで3-bit、4-bit、5-bitとかのバリエーションがある場合も、大きい方がいいですか？
4-bitと8-bitを試したら、ファイルサイズが2倍くらい違うのに、頭の良さはそこまで大きく違わなかった気がして 教えていただきありがとうございます！最後に質問で、おすすめ言語モデル一覧が見れるサイトはありますか？
「個人的な日本語ローカルLLM関連のメモ用Wiki」はチェックしました。それ以外は情報が古かったりでなかなか良いとこが探しきれていません このスレで先日知ったPerplexityさんに教えてもらいながら、ComfyUI導入して、>>82御謹製ワークフローで画像出せるようになったんやが、
ぱっとノードや説明見たところ、28個キュー入れるってなってるから、右上のQueue Promptクリックしたら表情差分が28枚ぶわーって出力されてくのかと思ったんやが違うんか？
実際にQueue Promptクリックすると、一枚画像でて止まってまうんや
Queue PromptをクリックするたびにText Line Loaderの方のSeedが一づつ増えながら新たに画像が生成される
STexpression.csvはComfyUIフォルダに置いたので読み込めてると思うが、なにか間違っとるんやろうか？ >>87
例えば①日本一高い山の名前も知らないやつと、②一般的な日本人と、③全世界を旅して各国の言語や風土やらを把握している人、話してて一番楽しいのは誰かという感じやな
ただ、地元の山について知りたいだけなら①で十分ということもよくある
というわけで特定用途ならファインチューンした小サイズで十分で、議論とか小説・ロールプレイなどのクリエイティブライティングなら大きければ大きいほうが良いという感じやな 自己レスや
ターミナルの方に”WAS Node Suite Error: The path `.\STexpression.csv` specified cannot be found.”って出てたわ
もうちょっと弄ってみるで >>79
22bだから流石に頭は良いな、ちょっと複雑なプロンプトでも理解してる感ある
ただ、22bだと手元で動かすには少し大きすぎるんだよなー あー、分かったわ、Extra OptionsのAuto Queueにチェック入れるかBatch Count増やせば複数枚出せるんやな！
ログ見てると一差分ごとにモデルを読み込みなおしてるのが気になるが、まあえーやろの心で見なかったことにするで！
ありものの画像に差分追加も出来るようになったし、ホンマありがたいツールの公開感謝やで！ モデルの説明やおすすめサイトの情報ありがとうございました！
ローカルでChatGPTごっこできる！NSFWの話もできる！ってキャッキャしてる段階なので、色々見たり触ったりしてもっと勉強します llm-jp/llm-jp-3-172b-beta1-instruct
なんか出た。
試用できる所ないかな？ berghof-ERP
設定見直したが女役特化型か？
男役は無理っぽいな >>104
男騎士がすぐアヘアヘしちゃうから
「騎士として、ふさわしい言動を心がけるように！」って言ったら
どうかお慈悲を……♡今後は慎ましく振る舞いますので、どうかお許しください……♡ って♡まみれの返答された 正直ローカルで動かすとなるとMistral-Nemoの12Bまでが良いな…
まぁ俺のGPUがしょぼいからなんだが、実際ボリュームゾーンはこんなもんだと思ってる >>104
そういえばS女CharがM男Userをペニバンで掘ろうとしてくるのは良いんだけどオマンコに入れようとしてきたわ
あとペニバンが射精する すぐエロくなりすぎてもいけない、ガード硬すぎてもいけない
ＡＶインタビューシーンが必要な理由が分かった気がする
mistralaiが新しいの出してるね。量子化はまだ上がってないけど。pixtralはマルチモーダルだって >>105
ERPの方は「♡」が過剰なくらい付くからな。やめさせる方法は見つからない。
割り切って、いっぱい「♡」が付いて欲しいシナリオでこのモデルを利用すればいいかなと思ってる。 もしかしてそういう時にsillyのCFGスケール機能を使えばテンションを少し抑えさせたり出来るんだろうか
CFG使ってる人いるのかな？あれ説明読んでも全然分からん 画像生成だとCFG低い方がプロンプトの効きが悪くなる（ネガティブプロンプトが顕著）
その代わりに推論は早くなったけどLLMで同じかどｂ､かは分からん 前に特定の単語がどうしても文字欠けするって言ってた人いたけど、急に俺もsillyでなった
ありがとうございます、がどうしても言えなくなってありがとうござます、になっちゃう
アーニャかよ
何をどうやっても駄目で、結局sillyを新しく入れて引っ越したら直ってた
同じ現象で困ってる人はもしかしたらsillyがぶっ壊れてるのかもしんない qwen2.5がリリースされたね
lmarenaのテストでは論理感高めって言われてたけどそこはどうなんだろう
朝起きてテストするのが楽しみや https://huggingface.co/EndouMadoka/AITuberStudio
AITuber Studioというものが出てきたが、KoboldCppでのローカル環境でAIとチャットできないのかな？
Silly tavernでええやんって言われたらそれまでなんだが、日本人が作ったUIを使ってみたい気持ちもある。 ある程度の性格は設定しないとな
ギャル口調からいきなり姫騎士口調とかめちゃくちゃされたらあかん >>117
必ずvLLMライブラリをインスコしろよって書いてあるね WariHimaって人が改良してるバージョンのstyle bert VITS2が凄そう
読み方の精度アップ
九州や近畿の方言に対応
同音異義語の読み方推定機能追加
ただし追加で環境構築が必要とのこと
https://github.com/litagin02/Style-Bert-VITS2/pull/161
WariHima版SBV2
https://github.com/WariHima/Style-Bert-VITS2/tree/dev ■ このスレッドは過去ログ倉庫に格納されています
