なんJLLM部 避難所 ★4
■ このスレッドは過去ログ倉庫に格納されています
AIに色々なことをしゃべってもらうんやで そこそこのデスクトップPC(できれば+3060 12GB以上)でもなんぼか楽しめるで 自薦・他薦のモデルやツールは>>2 以降 本スレ(避難中) なんJLLM部 ★7 https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/ 前スレ(実質本スレ) なんJLLM部 避難所 ★3 https://mercury.bbspink.com/test/read.cgi/onatech/1717886234 https://huggingface.co/EndouMadoka/AITuberStudio AITuber Studioというものが出てきたが、KoboldCppでのローカル環境でAIとチャットできないのかな? Silly tavernでええやんって言われたらそれまでなんだが、日本人が作ったUIを使ってみたい気持ちもある。 ある程度の性格は設定しないとな ギャル口調からいきなり姫騎士口調とかめちゃくちゃされたらあかん >>117 必ずvLLMライブラリをインスコしろよって書いてあるね WariHimaって人が改良してるバージョンのstyle bert VITS2が凄そう 読み方の精度アップ 九州や近畿の方言に対応 同音異義語の読み方推定機能追加 ただし追加で環境構築が必要とのこと https://github.com/litagin02/Style-Bert-VITS2/pull/161 WariHima版SBV2 https://github.com/WariHima/Style-Bert-VITS2/tree/dev >>121 マルチリンガルスコアのJAって日本語のことじゃないよな? 異様に数値高いんだが qwen2.5 72b試したけど今までとはなんか格が違うぞ すでにggmlも出てる でもなんであんな分割してんだq5kmなら1ファイルにしてくれ〜 Qwen2.5は32Bが日本語性能も十分高くて使いやすいサイズで個人的に使うにはバランスが良かった qwen2.5-72B試してみたが自分の経験では大したことなかった 自分のことを語らせたら中国産だからプライバシーには気を付けないとねとか言ってて笑ったが 大して試せてないけどQwen2.5の7BQ6でも日本語上手で大きな破綻もなく好印象 Qwen2.5 14Bなら量子化すればVRAM12GBのRTX3060で動くかな? Qwen2は日本語めっちゃ破綻した記憶しかないが2.5はそんな良いのか? 2も巷では日本語安定するって持ち上げられてたけど手元で触って失望した記憶 けど未成年近親エッチは寸前で断られたわ 途中まで付き合ってくれたのに 更新しても 他のモデル入れても訛るから 尻を入れ直したらちゃんと日本語になった もしかして、qwen 2.5 koboldまだ対応してない? すまん、動いたわ なぜか公式のggufファイルが起動せんかった M1のMacで動かしたいんだけどおすすめのソフトってある? WindowsもあるにはあるけどMacよりずっとスペック低い QWEN2.5 72B 出来は結構いいんだけど、いかんせん規制が強すぎてすぐ終わろうとする 解除版ほしい >>136 kobold.cpp qwen2.5 14b試してるけどロールプレイ用途では微妙だな 余裕で20行とか出力しやがる gpt4-o1なんか凄いらしいけど こういうのってローカルではできないんやろか? >>139 open interpreter ってこういうのじゃなかったっけ。 あれは検閲も兼ねてるからエロ利用者にとっては最悪のシステムや むしろアレが無いのがローカルの強みになるかもな o1は1回目のアウトプットと入力プロンプトを見返して必要があれば結果とプロンプトを参考にさらにもう一回推論する、 というのを何回か繰り返して精度を上げるみたいだから、 他のモデル(というかライブラリの仕組みか?)も同じ仕組みを入れようと思えば入れられるだろうし 使うモデルがエロ行けるなら出力もエロ行けるはず ただこういう仕組みだから推論時間は数倍以上になるんやろな 繰り返し1回だけだったとしても、 通常推論→結果見直し推論→繰り返し必要と判断して追加推論→再度結果見直し推論→繰り返し不要と判断し結果出力 で4回推論あるわけだし o1の場合は解釈と推論をするコンポーネントがかなり違う性質を持つみたいな話もあるので、どうかな 一つ言えるのは、解釈コンポーネントの検閲機能でエロ排除されたら何を入力しても無駄ということ 糞中の糞 >>0137 koboldcppってMac版あんの? なんか拡張子無しのファイルしかなかた >>145 koboldcpp-mac-arm64 これがmac版だと思ってたが、違うの? silly tavern拡張機能のsummraizeとobjectiveがちゃんと動く条件がやっと分かったので報告 @instructモードをオンにする A「リクエストごとに1行のみ生成」のチェックを外す B「不完全な文をトリミング」のチェックも外す これでkobold接続だろうと何だろうと、ちゃんと動いてくれた ここってColabとかpaperspaceみたいなクラウドGPU使って文章生成してる人あんまり多くない感じなのかな 今までchat GPTとかperplexityばっか使ってたからこっちの勝手が全然わからん >>150 住人はかなり重複してると思うで プロンプトのコツとかは共通だし ローカルの方がモデルの多さやツールの使い方で覚える事多いけど >>146 なんか他にソフトが必要なんかな 調べんとや >>152 公式ドキュメントにもあるけどchmod +xして実行ファイルにしてやる必要がある あとうちのMacだとセキュリティに引っかかるから設定変更も必要だった qwen2.5のuncensored今のところ微妙だ Qwen-2.5-32b-AGIっていう規制をとってしまったモデルがあるらしい 試してないからよくわからんけど >>159 ほほーと思ってgensparkさんに教えてもらった どうも数学とコーディング向けみたいね https://i.imgur.com/zoBVTOV.jpeg https://huggingface.co/AiCloser/Qwen2.5-32B-AGI First Qwen2.5 32B Finetune, to fix its Hypercensuritis Hyper means high, and censura means censor, the suffix "-itis" is used to denote inflammation of a particular part or organ of the body. >>160 嘘と適当だらけで草 gensparkよく使ってるけどこんな間違いするのか 気をつけて使わねば >>161 ほんまや全然違ってて草 これって結局スラングとか使いまくりの悪態ジョークモデルってことなん? データセット見るに申し訳回避と英語+中国語の有害要素チューニングがされてる 知らんけど AXCXEPT/EZO-Qwen2.5-72B-Instruct これはどうかな? ん? よく見たら、量子化してないほうがベンチスコア落ちるのは、なんでだってばよ? AutoCoTRAGって、どうやって機能すんのかな? koboldとかでもできるようになるんだろうか? ニキらは72Bモデルローカルで使っとるんか?VRAMどんだけ積んでんのよ VRAMなにそれ?なワイはメモリ64GでQ5k_mぶん回してるわw chatbotarenaで投票しまくってるけどo1全然出てこねぇな 今日20回くらいたぶん投票してるけどo1-miniが1回出てきただけだわ 英語のランキングみる限り一応o1-previewも出ては来るみたいだけどとにかく数が少ないみたいね 日本語で順位が付くの相当時間かかりそう メインメモリで運用してるのすげえな。自分じゃ遅すぎて耐えられないわ DDR5とかだと違ってくるんかな? さすがに最上位スレッドリッパーとかならキャッシュとコアの暴力でわりかし早いのは言われとるな 上位スリッパならメモリ8chで460GB/s出るし 教えてもらったところにあったのから飛んできた 現状はどんな感じですか? gpt4oと遜色ない? o1はチャット用じゃないから。。。 論理重ねるようなタスクじゃないと 4oで使ってたプロンプトと同じので出力できるのってないんだな SF考証とかやらせるとo1は普通にクソ使えるよ 明らかに他とレベル違う keitokei1994/EZO-Qwen2.5-32B-Instruct-GGUF 72bもおねげします〜 >>181 EZO-Qwen2.5-32B-Instruct-GGUF試してるが 普通に事件の内容教えてくれてるぞw Anthropic公式サイトや検索AIでシコってるガイジは隔離スレいけや こっちが荒らしに負けて移住してきたんだぞ 余計な火種を撒くなマヌケ 高速高品質ガバガバLLMでシコってる向こうの人らが羨ましくて仕方ないんだろうな LCA便利すぎ 浦島太郎だったけどモデルの性能爆上がりしててびっくりした >>190 戦ってるのは初心者…というか過去ログも何も読まないアホだけや 古参も迷惑しとる 5090のリーク情報によるとVRAM32GBかもしれんみたい 32あったらcommand RとTTS併用しながら3Dモデル動かしても余裕だろなあ google colabのkoboldcpp、無料だとT4 gpuがつかえるけど、エロ文章に使ったらbanされるとかある? mac 64Gだから70BならK4-M(48GByte)がなんとか動く M4 Ultraはよこい AppleはAI用に自社製プロセッサーを開発してすでに使ってるらしいから、mac studioやmac pro用にフィードバックされるといいなぁ、というかしてくれ anthracite-org/magnum-v2-72b 1か月も前のモデルだけど、日本語エロがかなりいいわこれ qwen2ベースだったからノーマークだった Llama3.2なんて出てんじゃん でもあいかわらず日本語やらアジア圏の言語スルーされててかなC スルーと言うか、単に無差別に学習して最終的に出せる品質に達したかどうかってだけでは >>203 そんなわけないやろ… AIに学習させるデータが勝手に集まって来てくれるとでも思っとるんか? ある程度は自動化するにしたって低品質なデータとか著作物は除外せなあかんし どの言語を重点的に学習するかなんて人間の判断や >>204 それだとある程度は日本語も出る理由を説明できへんからな… 学習はしとるんよ 対応と言えるクオリティに達さなかっただけや NSFWとかERPで良い感じの男モデルないかな 女性向けにマネタイズしたいんだけど 2bとか3bの軽いモデルをcpuだけで動かすの、ゲームのNPCとかに 使えるようになってきてはいるんだろうな、という推測 将来的には対戦型のゲームにAIが搭載されて接待プレイしてくれるようになるだろう >>209 できるだろうし最初は同人ゲーあたりからそういうのが出てきそう ただAIがとんでもないことを口走らないようなセーフティが難しそう これは私たちが作ったんじゃなくてAIが勝手に暴走したんです!と言い訳しても納得する人ばかりじゃないだろうし EmemeがNPCにLLMを使ったゲームで今月に早期アクセス公開予定だったけど延期してしまった >>211 同人ゲーと言えば、初期の頃chatgptに接続して遊ぶタイプのが出てきてエロ規制が大変だろうな と思ったけど、ローカルLLMなら規制なんかいらないというか ■ このスレッドは過去ログ倉庫に格納されています
read.cgi ver 08.1h [pink] - 2023/09/20 Walang Kapalit ★ | uplift ★ 5ちゃんねる