なんJLLM部 避難所 ★3
■ このスレッドは過去ログ倉庫に格納されています
!extend::vvvvv:1000:512 >>2 以降 https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/ https://mercury.bbspink.com/test/read.cgi/onatech/1714642045/ 初心者は導入しやすいKoboldcppから始めるのをお勧め https://github.com/LostRuins/koboldcpp/releases https://huggingface.co/models?sort=modified&search=gguf oobabooga/text-generation-webui https://github.com/oobabooga/text-generation-webui ●Zuntanニキ謹製のツールEasyNovelAssistant https://github.com/Zuntan03/EasyNovelAssistant ●ここ最近話題になった日本語ローカルモデル達やで >>5 のツールもこのモデルの使用がデフォルトやで https://huggingface.co/Sdff-Ltba https://huggingface.co/Local-Novel-LLM-project ●その他の最近話題になったモデルも挙げとくで ●多くのモデルには「base」と「instruct」の2種類があるで ⚫︎LLMを動かすにはGPUを使う方法とCPUを使う方法があるで ⚫︎LLMモデルには量子化されてないsafetensorsファイルと、8bitや4bitなどに量子化されて容量が小さくなったものがあるで ⚫︎LLMモデルは既存のbaseモデルを元に自分で学習(ファインチューニング)させることもできるで ●高性能なPCがないけどLLMを試したい人や大きなモデルを速く動かしたい人はpaperspaceなどのクラウド環境を使うのも手やで ●モデルのサイズ(パラメータ数)は◯B (B=billion=10億)という単位で表記されるで ●70Bの大型モデルはLlama 2というMeta社が開発したモデルが元になってるものが多いで https://github.com/SillyTavern/SillyTavern 例としてKoboldで起動したローカルモデルとSillyTavernを接続する設定や http://localhost:5001/ テンプレは以上や 赤ちゃんな質問で申し訳ないんやが EasyNovelAssistant\setup\res\default_llm.jsonに記述すると >>19 詳しい先輩方に聞きたい NGワードが何で話が飛躍しないようにプロンプトを書いて自在にエロを書けた時の達成感を得るゲームになってるLLM >>21 AIチームもキンペーに逆らったら収容所送りだからなｗ 前スレ絡みでもあるけど、qwen2でもエロはいける筈 色々大きめのモデルも弄るけど結局の所ローカルだとCommand R+に戻ってしまう 104B十分デカいと思うが... >>32 ほーか、なんにせよローカルでCommand R+動かせるのは羨ましい限りや 将来的にはビキビキに日本語チューニングと圧縮極まって CommandR-v01だとVRAM24GBあればQ4は動くけど+より性能は落ちる SillyTavernっていうAIにエッチなことができるアプリ？を使うにはText Generation WEBUIがいいと聞いたので ST使うだけならCR+のAPIでええやん モデルの量子化タイプは？ >>39 ローダーをllama.cppにしてn-gpu-layersの値をVRAMから溢れない程度に設定してみたら？ >>41 STでsbvits2.js動かせて大変ありがたいが何故か100字制限がかかっていて字数オーバーするとエラーが出る >>38 >>0043 なぜかcunnilingusってキーワードが出ると止まることがあった LLMとオナサポチャHするときに、pythonのコードインタプリターでタイマー設定させるといい感じにリアルタイム性出ることに気づいた >>45 >>44 >>1 立て乙 そういやraps pi AI出るっぽいけど流石にllmまともに動かないよね ■ このスレッドは過去ログ倉庫に格納されています
