なんJLLM部 避難所 ★3
■ このスレッドは過去ログ倉庫に格納されています
!extend::vvvvv:1000:512 >>2 以降 https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/ https://mercury.bbspink.com/test/read.cgi/onatech/1714642045/ oobabooga/text-generation-webui https://github.com/oobabooga/text-generation-webui ●Zuntanニキ謹製のツールEasyNovelAssistant https://github.com/Zuntan03/EasyNovelAssistant ●ここ最近話題になった日本語ローカルモデル達やで >>5 のツールもこのモデルの使用がデフォルトやで https://huggingface.co/Sdff-Ltba https://huggingface.co/Local-Novel-LLM-project ●その他の最近話題になったモデルも挙げとくで ●多くのモデルには「base」と「instruct」の2種類があるで ⚫︎LLMを動かすにはGPUを使う方法とCPUを使う方法があるで ⚫︎LLMモデルには量子化されてないsafetensorsファイルと、8bitや4bitなどに量子化されて容量が小さくなったものがあるで ⚫︎LLMモデルは既存のbaseモデルを元に自分で学習(ファインチューニング)させることもできるで ●高性能なPCがないけどLLMを試したい人や大きなモデルを速く動かしたい人はpaperspaceなどのクラウド環境を使うのも手やで ●モデルのサイズ(パラメータ数)は◯B (B=billion=10億)という単位で表記されるで ●70Bの大型モデルはLlama 2というMeta社が開発したモデルが元になってるものが多いで https://github.com/SillyTavern/SillyTavern 例としてKoboldで起動したローカルモデルとSillyTavernを接続する設定や http://localhost:5001/ テンプレは以上や 赤ちゃんな質問で申し訳ないんやが EasyNovelAssistant\setup\res\default_llm.jsonに記述すると >>19 詳しい先輩方に聞きたい NGワードが何で話が飛躍しないようにプロンプトを書いて自在にエロを書けた時の達成感を得るゲームになってるLLM >>21 AIチームもキンペーに逆らったら収容所送りだからなｗ 前スレ絡みでもあるけど、qwen2でもエロはいける筈 色々大きめのモデルも弄るけど結局の所ローカルだとCommand R+に戻ってしまう 104B十分デカいと思うが... >>32 ほーか、なんにせよローカルでCommand R+動かせるのは羨ましい限りや 将来的にはビキビキに日本語チューニングと圧縮極まって CommandR-v01だとVRAM24GBあればQ4は動くけど+より性能は落ちる SillyTavernっていうAIにエッチなことができるアプリ？を使うにはText Generation WEBUIがいいと聞いたので ST使うだけならCR+のAPIでええやん モデルの量子化タイプは？ >>39 ローダーをllama.cppにしてn-gpu-layersの値をVRAMから溢れない程度に設定してみたら？ >>41 STでsbvits2.js動かせて大変ありがたいが何故か100字制限がかかっていて字数オーバーするとエラーが出る >>38 >>0043 なぜかcunnilingusってキーワードが出ると止まることがあった LLMとオナサポチャHするときに、pythonのコードインタプリターでタイマー設定させるといい感じにリアルタイム性出ることに気づいた >>45 >>44 >>1 立て乙 そういやraps pi AI出るっぽいけど流石にllmまともに動かないよね ninja v2でエロ小説書いてたら女が無限に「あああ」って絶頂して怖くなった >>50 https://github.com/Risenafis/SillyTavern/blob/fix-sbvits-splitting/public/scripts/extensions/tts/sbvits2.js >>54 EasyNovelに入ってるKoboldCppでチャットしてて気が付いたんだが silly導入してkoboldとリンクさせたんだが、セラフィナとかいう初期キャラにチャットしても設定？を延々返してくるだけで会話できないな >>57 画像生成ソフトウェア「ComfyUI」のノードにキーロガーが仕込まれていたことが発覚、クレジットカード情報やパスワードなど全ての入力が筒抜けに - GIGAZINE https://gigazine.net/news/20240611-comfyui-llmvision-malware/ これって脆弱性なの？ sbintuitions/sarashina1-65b 画像生成もLLMも導入のハードルがめちゃくちゃ下がったから適当に見掛けたのを片っ端から試したりしてこういうのに引っ掛かるのは結構ありそう 今更だけどkoboldcppのcu12を使ってみたらジェネレートは変わらんけど、普通のcudaのprogress120秒かかる所をcu12は3秒未満でクリアしてきてぱない… 今までkoboldで小説書く時、指示モードを使って官ジェネのローカル版とか使ってやってたけど 30BクラスじゃないとRAGとかfunction calling無理だと思ってたけど、量子化したLlama-3 8Bでも普通に動いた すげえな https://i.imgur.com/C73qQdo.png なんかvecteusでRPして満足してしまって立ち止まっている mradermacher/openbuddy-llama3-70b-v21.2-32k-GGUF https://imgur.com/a/iYiVbNn しずちゃんだったら原作初期の名残かとも考えるが何かの言葉狩りかな？ 吃りみたいなものでは あんまりここにいる人たちにはささらんかもだけど、Jupyter上で動くGUIチャットアプリをGitHubに上げたので宣伝 https://github.com/yamikumo-DSD/chat_cmr/tree/main モデルによっては特定の言葉だけ変な場合あるよな 複数のmacOS/iOS機器をネットワークで繋いでLLMを走らせる試み、来週コード公開らしい。 https://x.com/mo_baioumy/status/1801322369434173860 silly tubarn使っているんだけど、拡張機能にあるTTSって項目が消えてしまうの自分だけ？ koboldcpp使ってて >>66 >>82 >>81 >>82 NVIDIAの340b chat arenaでしばらく遊んでたけど 340BもあるならCR+を超えるかマルチモーダルじゃないと納得できんな Ninja-v1のバージョンアップ、Ninja-V2-7Bをリリース致します。 https://huggingface.co/Local-Novel-LLM-project/Ninja-V2-7B おお、70Bか待ってました。 まだちょっとさわっただけだけど7Bでこれは、すごい（小並感） Ninjaはエロしか書けないのが楽しい GGUFはどこじゃ Ninjaでチャットしてるけど頑なにエロいことしないキャラも作れるぞ >>89 のおかげで7BのBってbillionのBかと今更気づいた nemotron-4ハルシネーションが結構あるな嘘情報めっちゃ書く サンガツ vecteus2もきたで！ gguf待ち Vecteus-V2-7B-Q8_0.ggufを作ってoobaで動かしてみてる せっかくなんでggufをアップロードしておいた https://huggingface.co/ReadyON/Vecteus-V2-7B-gguf Ninja-V2-7B-Q8_0.ggufを試してるけど、エロ描写を意図的に省略することがめちゃくちゃ多いな ■ このスレッドは過去ログ倉庫に格納されています
