なんJLLM部 避難所 ★4
■ このスレッドは過去ログ倉庫に格納されています
AIに色々なことをしゃべってもらうんやで そこそこのデスクトップPC(できれば+3060 12GB以上)でもなんぼか楽しめるで 自薦・他薦のモデルやツールは>>2 以降 本スレ(避難中) なんJLLM部 ★7 https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/ 前スレ(実質本スレ) なんJLLM部 避難所 ★3 https://mercury.bbspink.com/test/read.cgi/onatech/1717886234 >>82 おー便利そうだな共有たすかる 表情作るのなかなかめんどくさくてな >>0082に関して横から補足やが、複合キーは nx39CZmBbicFZuvgaozMsQ や なかなか便利そうなのでワイも活用させてもらうで、サンガツ! comfyUI使ったこと無いんや… 使いこなせる人凄いわ >>85 見た目とっつきにくいけどcomfyu@入門みたいな動画を2-3本見れば大体のことはできるよ 赤ちゃんの質問で恐縮だけど、7B、12B、35B、70Bの数字は大きい数字ほど頭のいいモデルって認識でいいのかな? 色々触ってみて自分にはcommand-r-v01 35Bがバランス良かったけど、Berghof-ERP-7Bみたいな特化型のモデルも面白いね >>87 Bはビリオン、10億のこと つまり7Bは70億パラメータで学習されたモデルってこと 基本的には数字が大きい方が賢いはず、なんやが実際にはファインチューニングとか規制の影響とかベンチマーク対策の小細工なんかのせいで数字の大きさと賢さが一致しない事も多いよ ありがとう! 同じモデルのなかで3-bit、4-bit、5-bitとかのバリエーションがある場合も、大きい方がいいですか? 4-bitと8-bitを試したら、ファイルサイズが2倍くらい違うのに、頭の良さはそこまで大きく違わなかった気がして 教えていただきありがとうございます!最後に質問で、おすすめ言語モデル一覧が見れるサイトはありますか? 「個人的な日本語ローカルLLM関連のメモ用Wiki」はチェックしました。それ以外は情報が古かったりでなかなか良いとこが探しきれていません このスレで先日知ったPerplexityさんに教えてもらいながら、ComfyUI導入して、>>82 御謹製ワークフローで画像出せるようになったんやが、 ぱっとノードや説明見たところ、28個キュー入れるってなってるから、右上のQueue Promptクリックしたら表情差分が28枚ぶわーって出力されてくのかと思ったんやが違うんか? 実際にQueue Promptクリックすると、一枚画像でて止まってまうんや Queue PromptをクリックするたびにText Line Loaderの方のSeedが一づつ増えながら新たに画像が生成される STexpression.csvはComfyUIフォルダに置いたので読み込めてると思うが、なにか間違っとるんやろうか? >>87 例えば@日本一高い山の名前も知らないやつと、A一般的な日本人と、B全世界を旅して各国の言語や風土やらを把握している人、話してて一番楽しいのは誰かという感じやな ただ、地元の山について知りたいだけなら@で十分ということもよくある というわけで特定用途ならファインチューンした小サイズで十分で、議論とか小説・ロールプレイなどのクリエイティブライティングなら大きければ大きいほうが良いという感じやな 自己レスや ターミナルの方に”WAS Node Suite Error: The path `.\STexpression.csv` specified cannot be found.”って出てたわ もうちょっと弄ってみるで >>79 22bだから流石に頭は良いな、ちょっと複雑なプロンプトでも理解してる感ある ただ、22bだと手元で動かすには少し大きすぎるんだよなー あー、分かったわ、Extra OptionsのAuto Queueにチェック入れるかBatch Count増やせば複数枚出せるんやな! ログ見てると一差分ごとにモデルを読み込みなおしてるのが気になるが、まあえーやろの心で見なかったことにするで! ありものの画像に差分追加も出来るようになったし、ホンマありがたいツールの公開感謝やで! モデルの説明やおすすめサイトの情報ありがとうございました! ローカルでChatGPTごっこできる!NSFWの話もできる!ってキャッキャしてる段階なので、色々見たり触ったりしてもっと勉強します llm-jp/llm-jp-3-172b-beta1-instruct なんか出た。 試用できる所ないかな? berghof-ERP 設定見直したが女役特化型か? 男役は無理っぽいな >>104 男騎士がすぐアヘアヘしちゃうから 「騎士として、ふさわしい言動を心がけるように!」って言ったら どうかお慈悲を……♡今後は慎ましく振る舞いますので、どうかお許しください……♡ って♡まみれの返答された 正直ローカルで動かすとなるとMistral-Nemoの12Bまでが良いな… まぁ俺のGPUがしょぼいからなんだが、実際ボリュームゾーンはこんなもんだと思ってる >>104 そういえばS女CharがM男Userをペニバンで掘ろうとしてくるのは良いんだけどオマンコに入れようとしてきたわ あとペニバンが射精する すぐエロくなりすぎてもいけない、ガード硬すぎてもいけない AVインタビューシーンが必要な理由が分かった気がする mistralaiが新しいの出してるね。量子化はまだ上がってないけど。pixtralはマルチモーダルだって >>105 ERPの方は「♡」が過剰なくらい付くからな。やめさせる方法は見つからない。 割り切って、いっぱい「♡」が付いて欲しいシナリオでこのモデルを利用すればいいかなと思ってる。 もしかしてそういう時にsillyのCFGスケール機能を使えばテンションを少し抑えさせたり出来るんだろうか CFG使ってる人いるのかな?あれ説明読んでも全然分からん 画像生成だとCFG低い方がプロンプトの効きが悪くなる(ネガティブプロンプトが顕著) その代わりに推論は早くなったけどLLMで同じかどb、かは分からん 前に特定の単語がどうしても文字欠けするって言ってた人いたけど、急に俺もsillyでなった ありがとうございます、がどうしても言えなくなってありがとうござます、になっちゃう アーニャかよ 何をどうやっても駄目で、結局sillyを新しく入れて引っ越したら直ってた 同じ現象で困ってる人はもしかしたらsillyがぶっ壊れてるのかもしんない qwen2.5がリリースされたね lmarenaのテストでは論理感高めって言われてたけどそこはどうなんだろう 朝起きてテストするのが楽しみや https://huggingface.co/EndouMadoka/AITuberStudio AITuber Studioというものが出てきたが、KoboldCppでのローカル環境でAIとチャットできないのかな? Silly tavernでええやんって言われたらそれまでなんだが、日本人が作ったUIを使ってみたい気持ちもある。 ある程度の性格は設定しないとな ギャル口調からいきなり姫騎士口調とかめちゃくちゃされたらあかん >>117 必ずvLLMライブラリをインスコしろよって書いてあるね WariHimaって人が改良してるバージョンのstyle bert VITS2が凄そう 読み方の精度アップ 九州や近畿の方言に対応 同音異義語の読み方推定機能追加 ただし追加で環境構築が必要とのこと https://github.com/litagin02/Style-Bert-VITS2/pull/161 WariHima版SBV2 https://github.com/WariHima/Style-Bert-VITS2/tree/dev >>121 マルチリンガルスコアのJAって日本語のことじゃないよな? 異様に数値高いんだが qwen2.5 72b試したけど今までとはなんか格が違うぞ すでにggmlも出てる でもなんであんな分割してんだq5kmなら1ファイルにしてくれ〜 Qwen2.5は32Bが日本語性能も十分高くて使いやすいサイズで個人的に使うにはバランスが良かった qwen2.5-72B試してみたが自分の経験では大したことなかった 自分のことを語らせたら中国産だからプライバシーには気を付けないとねとか言ってて笑ったが 大して試せてないけどQwen2.5の7BQ6でも日本語上手で大きな破綻もなく好印象 Qwen2.5 14Bなら量子化すればVRAM12GBのRTX3060で動くかな? Qwen2は日本語めっちゃ破綻した記憶しかないが2.5はそんな良いのか? 2も巷では日本語安定するって持ち上げられてたけど手元で触って失望した記憶 けど未成年近親エッチは寸前で断られたわ 途中まで付き合ってくれたのに 更新しても 他のモデル入れても訛るから 尻を入れ直したらちゃんと日本語になった もしかして、qwen 2.5 koboldまだ対応してない? すまん、動いたわ なぜか公式のggufファイルが起動せんかった M1のMacで動かしたいんだけどおすすめのソフトってある? WindowsもあるにはあるけどMacよりずっとスペック低い QWEN2.5 72B 出来は結構いいんだけど、いかんせん規制が強すぎてすぐ終わろうとする 解除版ほしい >>136 kobold.cpp qwen2.5 14b試してるけどロールプレイ用途では微妙だな 余裕で20行とか出力しやがる gpt4-o1なんか凄いらしいけど こういうのってローカルではできないんやろか? >>139 open interpreter ってこういうのじゃなかったっけ。 あれは検閲も兼ねてるからエロ利用者にとっては最悪のシステムや むしろアレが無いのがローカルの強みになるかもな o1は1回目のアウトプットと入力プロンプトを見返して必要があれば結果とプロンプトを参考にさらにもう一回推論する、 というのを何回か繰り返して精度を上げるみたいだから、 他のモデル(というかライブラリの仕組みか?)も同じ仕組みを入れようと思えば入れられるだろうし 使うモデルがエロ行けるなら出力もエロ行けるはず ただこういう仕組みだから推論時間は数倍以上になるんやろな 繰り返し1回だけだったとしても、 通常推論→結果見直し推論→繰り返し必要と判断して追加推論→再度結果見直し推論→繰り返し不要と判断し結果出力 で4回推論あるわけだし o1の場合は解釈と推論をするコンポーネントがかなり違う性質を持つみたいな話もあるので、どうかな 一つ言えるのは、解釈コンポーネントの検閲機能でエロ排除されたら何を入力しても無駄ということ 糞中の糞 >>0137 koboldcppってMac版あんの? なんか拡張子無しのファイルしかなかた >>145 koboldcpp-mac-arm64 これがmac版だと思ってたが、違うの? silly tavern拡張機能のsummraizeとobjectiveがちゃんと動く条件がやっと分かったので報告 @instructモードをオンにする A「リクエストごとに1行のみ生成」のチェックを外す B「不完全な文をトリミング」のチェックも外す これでkobold接続だろうと何だろうと、ちゃんと動いてくれた ここってColabとかpaperspaceみたいなクラウドGPU使って文章生成してる人あんまり多くない感じなのかな 今までchat GPTとかperplexityばっか使ってたからこっちの勝手が全然わからん >>150 住人はかなり重複してると思うで プロンプトのコツとかは共通だし ローカルの方がモデルの多さやツールの使い方で覚える事多いけど >>146 なんか他にソフトが必要なんかな 調べんとや >>152 公式ドキュメントにもあるけどchmod +xして実行ファイルにしてやる必要がある あとうちのMacだとセキュリティに引っかかるから設定変更も必要だった qwen2.5のuncensored今のところ微妙だ Qwen-2.5-32b-AGIっていう規制をとってしまったモデルがあるらしい 試してないからよくわからんけど >>159 ほほーと思ってgensparkさんに教えてもらった どうも数学とコーディング向けみたいね https://i.imgur.com/zoBVTOV.jpeg https://huggingface.co/AiCloser/Qwen2.5-32B-AGI First Qwen2.5 32B Finetune, to fix its Hypercensuritis Hyper means high, and censura means censor, the suffix "-itis" is used to denote inflammation of a particular part or organ of the body. >>160 嘘と適当だらけで草 gensparkよく使ってるけどこんな間違いするのか 気をつけて使わねば >>161 ほんまや全然違ってて草 これって結局スラングとか使いまくりの悪態ジョークモデルってことなん? データセット見るに申し訳回避と英語+中国語の有害要素チューニングがされてる 知らんけど AXCXEPT/EZO-Qwen2.5-72B-Instruct これはどうかな? ん? よく見たら、量子化してないほうがベンチスコア落ちるのは、なんでだってばよ? AutoCoTRAGって、どうやって機能すんのかな? koboldとかでもできるようになるんだろうか? ニキらは72Bモデルローカルで使っとるんか?VRAMどんだけ積んでんのよ VRAMなにそれ?なワイはメモリ64GでQ5k_mぶん回してるわw chatbotarenaで投票しまくってるけどo1全然出てこねぇな 今日20回くらいたぶん投票してるけどo1-miniが1回出てきただけだわ 英語のランキングみる限り一応o1-previewも出ては来るみたいだけどとにかく数が少ないみたいね 日本語で順位が付くの相当時間かかりそう メインメモリで運用してるのすげえな。自分じゃ遅すぎて耐えられないわ DDR5とかだと違ってくるんかな? さすがに最上位スレッドリッパーとかならキャッシュとコアの暴力でわりかし早いのは言われとるな 上位スリッパならメモリ8chで460GB/s出るし 教えてもらったところにあったのから飛んできた 現状はどんな感じですか? gpt4oと遜色ない? o1はチャット用じゃないから。。。 論理重ねるようなタスクじゃないと 4oで使ってたプロンプトと同じので出力できるのってないんだな SF考証とかやらせるとo1は普通にクソ使えるよ 明らかに他とレベル違う keitokei1994/EZO-Qwen2.5-32B-Instruct-GGUF 72bもおねげします〜 >>181 EZO-Qwen2.5-32B-Instruct-GGUF試してるが 普通に事件の内容教えてくれてるぞw ■ このスレッドは過去ログ倉庫に格納されています
read.cgi ver 08.1h [pink] - 2023/09/20 Walang Kapalit ★ | uplift ★ 5ちゃんねる