なんJLLM部 避難所 ★4 	
■ このスレッドは過去ログ倉庫に格納されています
 AIに色々なことをしゃべってもらうんやで   そこそこのデスクトップPC(できれば+3060 12GB以上)でもなんぼか楽しめるで   自薦・他薦のモデルやツールは>>2 以降      本スレ(避難中)   なんJLLM部 ★7   https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/    前スレ(実質本スレ)   なんJLLM部 避難所 ★3   https://mercury.bbspink.com/test/read.cgi/onatech/1717886234    Text Completionsで使うContext Formattingの"Generate only one line per request"がオンになってると改行で生成終了して何も出力しない場合があったような? "Custom Stopping Strings"の中断に引っかかってるとかもあるかも?   自動要約の方はkoboldでも使えるやり方が分かってきた   拡張機能のsummaryzeで「メインAPI」ではなく「webLLM extension」を選ぶ   それで今すぐ要約ボタンを押すとエラーメッセージが出るので表示されてるうちにメッセージをクリックする   そしたらwebLLMっていう別の拡張機能がインストールされて要約してくれるようになった   が、おつむが馬鹿すぎて実用レベルには程遠い…      webLLM機能はどうやらチャットに使ってるkoboldのモデルとは別に追加でモデルを走らせてるみたい?   webLLMに関する情報が全然無くて分からんことだらけだわ   perplexityさんに調べてもらったわ   出先なので真偽が確認できんからハルシネーションだったら悪い      KoboldCppと接続した場合、Summarize機能の設定は通常のAPIと少し異なります:   1.SillyTavernの「Extensions」パネルを開き、「Summarize」を有効にします。   2.「⚙ Summary Settings」をクリックして設定画面を開きます。   3.「Summary Source」で「Main API」を選択します。   4.「Sub-mode」では、以下のいずれかを選択します:   「Classic, blocking」: KoboldCppに適しています。通常の生成プロンプトの最後に要約プロンプトを追加します。   「Raw, blocking」: プロンプト処理が遅いKoboldCppには推奨されません。   5.「Update every X messages」と「Update every X tokens」を設定します。KoboldCppの処理速度を考慮して、やや大きめの値を設定するとよいでしょう。   使い方   チャットを開始し、設定した間隔でSummarize機能が自動的に動作します。   「Current summary」セクションで生成された要約を確認できます。   必要に応じて、「Summarize now」ボタンを押して手動で要約を生成することもできます。   「Pause」チェックボックスをオンにすると、自動要約を一時停止できます。   「Restore Previous」ボタンで、以前の要約状態に戻すことができます。   注意点   KoboldCppは処理速度が遅い場合があるため、要約の生成に時間がかかる可能性があります。   「Classic, blocking」モードを使用することで、プロンプトの再利用性が高まり、KoboldCppとの相性が良くなります。   要約の品質はKoboldCppにロードしているモデルの性能に依存します。必要に応じて手動で修正を加えてください。   KoboldCppと接続した場合のSummarize機能は、通常のAPIと比べてやや制限がありますが、適切に設定することで効果的に利用できます。処理速度や要約の品質を確認しながら、最適な設定を見つけていくことをおすすめします。   lmと大葉経由で尻を使い   berghofのeprやってみたが   変な方言が入ったり意味不明な文字の羅列で使い物にならなかった   使い方が悪いかは分からん   NEMO2407はプロンプトを読み込んでくれて3p出来たがあっさり目で繰り返しがちになるな   >>71    うーん、最初からクラシック、ブロッキングでやってみてたんだけどエラーメッセージ出て駄目ぽ      >>73    最大コンテキスト長は公言されてないけど8192で確定やと思う   16Kでまあまあ怪しくアホになって、32Kだと完全にアホの子になった   あとはMistral 7Bがベースらしいので、コンテキストテンプレートはMistralを選択してみてる   これでkobold & sillyの組み合わせで意味不明って感じにはなってないなあ   ERPって何かと思ったけどエロティックロールプレイなのか   普通のRPモデルとはまた違う学習してるのかな   エロに関して何も指定してないのに耳元で囁いてるだけで勝手にイき散らかす   7Bモデルの情報たすかる!      Berghof-ERP-7B使ってみた。エロの疾走感はピカイチ   ちょっと自分のキャラとは合わないのでVecteusV1に戻ったけど   (発情していない時は)Vecteusに匹敵する賢さ   https://files.catbox.moe/ywkbxv.jpg    LLMは1年くらい浦島だったがこのスレのおかげで追いつけたわ感謝するで   SillyTavern数日いじってみてのメモ   ・チャット欄のオレンジの破線はそこまでがコンテキストに含まれているということ   ・1つ目のアイコンのテキスト保管のプリセット>ストリーミングをオンにするとChatGPTみたいに随時文字が出力される。立ち絵を設定してあると出力途中でもコロコロ変わる   ・モデルによって3つ目の「A」アイコン>コンテキストテンプレートを適合したものに変更すると動作が良くなることがある   ・4つめの本のアイコンLoarbookはテンプレ(UIが分かりにくいが)。世界観や場面設定を保存してキャラウィンドウのキャラクターロアやチャットロアで読み込ませられる    例えば"{{char}}と{{user}}は気づくと部屋に閉じ込められていた。窓はなく、ドアは施錠されている。部屋のモニターには「セックスをしないと出られない部屋」と表示されていた"    ・立ち絵が設定してあるなら5つ目の設定からワイフモード、移動可能なUIパネルをチェックするとUIをギャルゲっぽくできる   ・6つ目の拡張機能>Charactor Expression(立ち絵)はTranslate text to English before classificationにチェックすると精度が上がる      https://files.catbox.moe/b0vd2i.png       ふたばにも上げたが立ち絵を一括生成するComfyワークフローも作ったから使ってくれや   https://mega.nz/folder/s0N1FD5I#nx39CZmBbicFZuvgaozMsQ    >>82    おー便利そうだな共有たすかる   表情作るのなかなかめんどくさくてな   >>0082に関して横から補足やが、複合キーは   nx39CZmBbicFZuvgaozMsQ   や   なかなか便利そうなのでワイも活用させてもらうで、サンガツ!   comfyUI使ったこと無いんや…   使いこなせる人凄いわ   >>85    見た目とっつきにくいけどcomfyu@入門みたいな動画を2-3本見れば大体のことはできるよ   赤ちゃんの質問で恐縮だけど、7B、12B、35B、70Bの数字は大きい数字ほど頭のいいモデルって認識でいいのかな?   色々触ってみて自分にはcommand-r-v01 35Bがバランス良かったけど、Berghof-ERP-7Bみたいな特化型のモデルも面白いね   >>87    Bはビリオン、10億のこと   つまり7Bは70億パラメータで学習されたモデルってこと   基本的には数字が大きい方が賢いはず、なんやが実際にはファインチューニングとか規制の影響とかベンチマーク対策の小細工なんかのせいで数字の大きさと賢さが一致しない事も多いよ   ありがとう! 同じモデルのなかで3-bit、4-bit、5-bitとかのバリエーションがある場合も、大きい方がいいですか?   4-bitと8-bitを試したら、ファイルサイズが2倍くらい違うのに、頭の良さはそこまで大きく違わなかった気がして   教えていただきありがとうございます!最後に質問で、おすすめ言語モデル一覧が見れるサイトはありますか?   「個人的な日本語ローカルLLM関連のメモ用Wiki」はチェックしました。それ以外は情報が古かったりでなかなか良いとこが探しきれていません   このスレで先日知ったPerplexityさんに教えてもらいながら、ComfyUI導入して、>>82 御謹製ワークフローで画像出せるようになったんやが、   ぱっとノードや説明見たところ、28個キュー入れるってなってるから、右上のQueue Promptクリックしたら表情差分が28枚ぶわーって出力されてくのかと思ったんやが違うんか?   実際にQueue Promptクリックすると、一枚画像でて止まってまうんや   Queue PromptをクリックするたびにText Line Loaderの方のSeedが一づつ増えながら新たに画像が生成される   STexpression.csvはComfyUIフォルダに置いたので読み込めてると思うが、なにか間違っとるんやろうか?   >>87    例えば@日本一高い山の名前も知らないやつと、A一般的な日本人と、B全世界を旅して各国の言語や風土やらを把握している人、話してて一番楽しいのは誰かという感じやな   ただ、地元の山について知りたいだけなら@で十分ということもよくある   というわけで特定用途ならファインチューンした小サイズで十分で、議論とか小説・ロールプレイなどのクリエイティブライティングなら大きければ大きいほうが良いという感じやな   自己レスや   ターミナルの方に”WAS Node Suite Error: The path `.\STexpression.csv` specified cannot be found.”って出てたわ   もうちょっと弄ってみるで   >>79    22bだから流石に頭は良いな、ちょっと複雑なプロンプトでも理解してる感ある   ただ、22bだと手元で動かすには少し大きすぎるんだよなー   あー、分かったわ、Extra OptionsのAuto Queueにチェック入れるかBatch Count増やせば複数枚出せるんやな!   ログ見てると一差分ごとにモデルを読み込みなおしてるのが気になるが、まあえーやろの心で見なかったことにするで!   ありものの画像に差分追加も出来るようになったし、ホンマありがたいツールの公開感謝やで!   モデルの説明やおすすめサイトの情報ありがとうございました!   ローカルでChatGPTごっこできる!NSFWの話もできる!ってキャッキャしてる段階なので、色々見たり触ったりしてもっと勉強します   llm-jp/llm-jp-3-172b-beta1-instruct   なんか出た。   試用できる所ないかな?   berghof-ERP   設定見直したが女役特化型か?   男役は無理っぽいな   >>104    男騎士がすぐアヘアヘしちゃうから   「騎士として、ふさわしい言動を心がけるように!」って言ったら   どうかお慈悲を……♡今後は慎ましく振る舞いますので、どうかお許しください……♡ って♡まみれの返答された   正直ローカルで動かすとなるとMistral-Nemoの12Bまでが良いな…   まぁ俺のGPUがしょぼいからなんだが、実際ボリュームゾーンはこんなもんだと思ってる   >>104    そういえばS女CharがM男Userをペニバンで掘ろうとしてくるのは良いんだけどオマンコに入れようとしてきたわ   あとペニバンが射精する   すぐエロくなりすぎてもいけない、ガード硬すぎてもいけない   AVインタビューシーンが必要な理由が分かった気がする      mistralaiが新しいの出してるね。量子化はまだ上がってないけど。pixtralはマルチモーダルだって   >>105    ERPの方は「♡」が過剰なくらい付くからな。やめさせる方法は見つからない。   割り切って、いっぱい「♡」が付いて欲しいシナリオでこのモデルを利用すればいいかなと思ってる。   もしかしてそういう時にsillyのCFGスケール機能を使えばテンションを少し抑えさせたり出来るんだろうか   CFG使ってる人いるのかな?あれ説明読んでも全然分からん   画像生成だとCFG低い方がプロンプトの効きが悪くなる(ネガティブプロンプトが顕著)   その代わりに推論は早くなったけどLLMで同じかどb、かは分からん   前に特定の単語がどうしても文字欠けするって言ってた人いたけど、急に俺もsillyでなった   ありがとうございます、がどうしても言えなくなってありがとうござます、になっちゃう   アーニャかよ   何をどうやっても駄目で、結局sillyを新しく入れて引っ越したら直ってた   同じ現象で困ってる人はもしかしたらsillyがぶっ壊れてるのかもしんない   qwen2.5がリリースされたね   lmarenaのテストでは論理感高めって言われてたけどそこはどうなんだろう   朝起きてテストするのが楽しみや   https://huggingface.co/EndouMadoka/AITuberStudio    AITuber Studioというものが出てきたが、KoboldCppでのローカル環境でAIとチャットできないのかな?      Silly tavernでええやんって言われたらそれまでなんだが、日本人が作ったUIを使ってみたい気持ちもある。   ある程度の性格は設定しないとな   ギャル口調からいきなり姫騎士口調とかめちゃくちゃされたらあかん   >>117    必ずvLLMライブラリをインスコしろよって書いてあるね   WariHimaって人が改良してるバージョンのstyle bert VITS2が凄そう   読み方の精度アップ   九州や近畿の方言に対応   同音異義語の読み方推定機能追加   ただし追加で環境構築が必要とのこと      https://github.com/litagin02/Style-Bert-VITS2/pull/161       WariHima版SBV2   https://github.com/WariHima/Style-Bert-VITS2/tree/dev    >>121    マルチリンガルスコアのJAって日本語のことじゃないよな?   異様に数値高いんだが   qwen2.5 72b試したけど今までとはなんか格が違うぞ   すでにggmlも出てる   でもなんであんな分割してんだq5kmなら1ファイルにしてくれ〜   Qwen2.5は32Bが日本語性能も十分高くて使いやすいサイズで個人的に使うにはバランスが良かった   qwen2.5-72B試してみたが自分の経験では大したことなかった   自分のことを語らせたら中国産だからプライバシーには気を付けないとねとか言ってて笑ったが   大して試せてないけどQwen2.5の7BQ6でも日本語上手で大きな破綻もなく好印象   Qwen2.5 14Bなら量子化すればVRAM12GBのRTX3060で動くかな?   Qwen2は日本語めっちゃ破綻した記憶しかないが2.5はそんな良いのか?   2も巷では日本語安定するって持ち上げられてたけど手元で触って失望した記憶   けど未成年近親エッチは寸前で断られたわ   途中まで付き合ってくれたのに   更新しても   他のモデル入れても訛るから   尻を入れ直したらちゃんと日本語になった   もしかして、qwen 2.5 koboldまだ対応してない?   すまん、動いたわ   なぜか公式のggufファイルが起動せんかった   M1のMacで動かしたいんだけどおすすめのソフトってある?   WindowsもあるにはあるけどMacよりずっとスペック低い   QWEN2.5 72B   出来は結構いいんだけど、いかんせん規制が強すぎてすぐ終わろうとする   解除版ほしい                  >>136    kobold.cpp   qwen2.5 14b試してるけどロールプレイ用途では微妙だな   余裕で20行とか出力しやがる   gpt4-o1なんか凄いらしいけど   こういうのってローカルではできないんやろか?   >>139    open interpreter ってこういうのじゃなかったっけ。   あれは検閲も兼ねてるからエロ利用者にとっては最悪のシステムや   むしろアレが無いのがローカルの強みになるかもな   o1は1回目のアウトプットと入力プロンプトを見返して必要があれば結果とプロンプトを参考にさらにもう一回推論する、   というのを何回か繰り返して精度を上げるみたいだから、   他のモデル(というかライブラリの仕組みか?)も同じ仕組みを入れようと思えば入れられるだろうし   使うモデルがエロ行けるなら出力もエロ行けるはず      ただこういう仕組みだから推論時間は数倍以上になるんやろな   繰り返し1回だけだったとしても、   通常推論→結果見直し推論→繰り返し必要と判断して追加推論→再度結果見直し推論→繰り返し不要と判断し結果出力   で4回推論あるわけだし   o1の場合は解釈と推論をするコンポーネントがかなり違う性質を持つみたいな話もあるので、どうかな   一つ言えるのは、解釈コンポーネントの検閲機能でエロ排除されたら何を入力しても無駄ということ   糞中の糞   >>0137   koboldcppってMac版あんの?   なんか拡張子無しのファイルしかなかた   >>145    koboldcpp-mac-arm64      これがmac版だと思ってたが、違うの?   silly tavern拡張機能のsummraizeとobjectiveがちゃんと動く条件がやっと分かったので報告   @instructモードをオンにする   A「リクエストごとに1行のみ生成」のチェックを外す   B「不完全な文をトリミング」のチェックも外す      これでkobold接続だろうと何だろうと、ちゃんと動いてくれた   ここってColabとかpaperspaceみたいなクラウドGPU使って文章生成してる人あんまり多くない感じなのかな   今までchat GPTとかperplexityばっか使ってたからこっちの勝手が全然わからん   >>150    住人はかなり重複してると思うで   プロンプトのコツとかは共通だし   ローカルの方がモデルの多さやツールの使い方で覚える事多いけど   >>146    なんか他にソフトが必要なんかな   調べんとや   >>152    公式ドキュメントにもあるけどchmod +xして実行ファイルにしてやる必要がある   あとうちのMacだとセキュリティに引っかかるから設定変更も必要だった   qwen2.5のuncensored今のところ微妙だ   Qwen-2.5-32b-AGIっていう規制をとってしまったモデルがあるらしい   試してないからよくわからんけど   >>159    ほほーと思ってgensparkさんに教えてもらった   どうも数学とコーディング向けみたいね      https://i.imgur.com/zoBVTOV.jpeg    https://huggingface.co/AiCloser/Qwen2.5-32B-AGI       First Qwen2.5 32B Finetune, to fix its Hypercensuritis   Hyper means high, and censura means censor, the suffix "-itis" is used to denote inflammation of a particular part or organ of the body.      >>160    嘘と適当だらけで草   gensparkよく使ってるけどこんな間違いするのか   気をつけて使わねば   >>161    ほんまや全然違ってて草   これって結局スラングとか使いまくりの悪態ジョークモデルってことなん?   データセット見るに申し訳回避と英語+中国語の有害要素チューニングがされてる   知らんけど   AXCXEPT/EZO-Qwen2.5-72B-Instruct      これはどうかな?   ん?   よく見たら、量子化してないほうがベンチスコア落ちるのは、なんでだってばよ?   AutoCoTRAGって、どうやって機能すんのかな?   koboldとかでもできるようになるんだろうか?  ■ このスレッドは過去ログ倉庫に格納されています
 read.cgi ver 09.0h [pink] - 2025/10/27 Walang Kapalit ★ | uplift ★ 5ちゃんねる