なんJLLM部 避難所 ★7
■ このスレッドは過去ログ倉庫に格納されています
AIに色々なことをしゃべってもらうんやで >>2 以降 https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/ https://mercury.bbspink.com/test/read.cgi/onatech/1739448962/ mistral small 3.1は推奨tempが0.15の罠あるんだよな >>756 >>757 https://w.atwiki.jp/localmlhub 個人がやってるwikiだけど日本語ローカルLLM関連のメモってwikiがだいたいスレの内容と同じで更新続いてるからなあ >>765 前にLLMと組み合わせたデスクトップアクセサリ秘書つくりたいと言っとった者やけど 日尼でGMKtecのX2 AI(Ryzen AI Max+ 395, 128GB)予約した Ryzen 9950XとRTX4090でKTransformersを使ってQwen3-235B-A22Bを動かしてみた >>800 さすがにGMKtecのX2 AIは95000円クーポンと3割引クーポンは排他か >>798 Qwen3-235B-A22Bは128GBのメインメモリと24GBのVRAMがあれば快適に動くね >>777 Qwen3-235B-A22Bの動かし方どっかに載ってないかな？ KTransformers知名度低いから記事はかなり少ない ktransformers、0.2から0.3でなんかいろいろ変わってる？ ktransformersのインストールに挫折しました…… koboldの最大出力が512tから1024tに正式対応してるね。 >>629 Qwen3 32BをAIエージェント的に使おうと思ったけどやっぱ使い物にならんかった… >>798 X2 AIは外部GPUも視野にいれるとOculinkが無いのがちょっとひっかかるな Qwen3-32BはQwQ-32Bより日本語性能が低い気がする qwen3-30B-A3Bのあんまり使われてない部分を排除した16Bバージョンらしい https://huggingface.co/kalomaze/Qwen3-16B-A3B >>823 あんまり使われてないから削ってみましたってロボトミーやんけ 小説用の新しいモデルを公開してProject Wannabeを更新したやで https://github.com/kawaii-justice/Project-Wannabe/tree/main https://huggingface.co/kawaimasa/wanabi_24b_v1_GGUF ktransformersって、プロンプトごとに学習データ使用範囲を予測してVRAM、DRAMに振り分けるんでしょ？ >>819 >>826 >>826 >>826 >>826 >>828 text-generaton-webuiを2.6から3.2に上げたら >>826 >>835 >>835 >>830 >>836 unsloth/Qwen3-235B-A22B Q3_K-XL がMacBookで動いたから試してみたけど 昨日初めてローカルLLMやったんだが、Gemmaとあと名前すら忘れたけどバカな上にキチガイレベルで検閲ひどくてドン引きしたモデルがあった mistralは欧州しぐさ強いからアジア対応なんて期待できない Largeは動かせてないけどMistral Smallはあのモデルサイズにしては日本語できる方だけどな rtx4070からrtx5070tiに変えたら少しは生成早くなるかと思いきや、koboldcppでエラー吐いて止まるようになってしまった mistralにキレてる意味がわからん >>844 mistralは内部に日本好きがいると思われる Mistral Largeは123Bだっけ mistral large 系のmagnum v4は日本語最強やで >>851 https://huggingface.co/Aratako/SniffyOtter-7B-Novel-Writing-NSFW-GGUF?not-for-all-audiences=true 汎用的に使えるようにLoRAにする一歩前段階のものがあるといいのだけど 画像生成みたいなLoRA作成環境ってLLMにもあるん？ LLMのLoRA作成ツールはあったはず koboldcppに続いてsilly tavernの設定項目の解説をchatGPT先生にお願いしてるんやが面白いな >>847 >>836 Twitterで回ってきたけどQwenにエロデータ学習させてる人がいるらしいからそれ使ってみるか wannabeに触発されて、今更、初めて自分でllmの微調整して量子化までやった 学習はデータセット作成に全体の9割の労力を使えと言われるくらいにはデータセットの品質が結果に直結するから頑張るんやで ピンとこんのやがデータセットって要は大量のドスケベ日本語サンプルってこと？ データセットの形式もLLMで作ってもらう内容もモデルの目的次第やね >>488 みたいな)を作ることになる 今って2つのAIに会話させて小説を2人のLLMsで作っていくって出来る？昔Rinnaで2人会話させる昨日作ってたニキがここにいて使わせて貰ったけど、アタオカ2人が会話してて面白かった（使い物にはならんかった 登場人物一人一人にslmを割り当てて監督llmに指示させるのはどう？ 昔のリンナは酷かったよな >>851 32Bってかなりマシなんじゃね？ STのグループチャットはLLMの性能向上もあってかなり使えるようになったけどまともな会話を続けさせるならユーザーがプロンプトで逐次介入しないと無理だと思う >>872 こことか色々なところの反応見るとchat templateの概念を理解出来てない人が意外と多いのかもなって感じがする >>870 >>872 >>875 キャラの維持はサイズよりRP用にチューンされたモデルかどうかが重要だと思う >>875 ローカルLLM動かしたこと無いけど https://huggingface.co/mmnga/c4ai-command-r-plus-gguf https://www.thundercompute.com/about 知識を付与するのがLoRAが一番苦手な学習やから りんなのQwen3日本語チューニング出すのを待っています 3060にPhi4はいくら4bitにされてるとは言え重いなぁ >>858 データセットのロードうまくいかんと思ったら、windowsのパスの最大長制限ってのが原因だった 今まで難しそうと思って後回しにしてたsilly tavernとcomfyUIを繋げて画像生成、やってみたら意外と簡単だった！ https://i.imgur.com/DDVCcmL.jpeg qwen3ってstable diffusionのエロプロンプトとかエロ小説書ける？ まあいいや magnumダウンロードしたが、彼女は「幼女レイプは犯罪です」と取り合ってくれなかった ■ このスレッドは過去ログ倉庫に格納されています
