なんJLLM部 避難所 ★3
■ このスレッドは過去ログ倉庫に格納されています
!extend::vvvvv:1000:512 >>2 以降 https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/ https://mercury.bbspink.com/test/read.cgi/onatech/1714642045/ 初心者は導入しやすいKoboldcppから始めるのをお勧め https://github.com/LostRuins/koboldcpp/releases https://huggingface.co/models?sort=modified&search=gguf oobabooga/text-generation-webui https://github.com/oobabooga/text-generation-webui ●Zuntanニキ謹製のツールEasyNovelAssistant https://github.com/Zuntan03/EasyNovelAssistant ●ここ最近話題になった日本語ローカルモデル達やで >>5 のツールもこのモデルの使用がデフォルトやで https://huggingface.co/Sdff-Ltba https://huggingface.co/Local-Novel-LLM-project ●その他の最近話題になったモデルも挙げとくで ●多くのモデルには「base」と「instruct」の2種類があるで ⚫︎LLMを動かすにはGPUを使う方法とCPUを使う方法があるで ⚫︎LLMモデルには量子化されてないsafetensorsファイルと、8bitや4bitなどに量子化されて容量が小さくなったものがあるで ⚫︎LLMモデルは既存のbaseモデルを元に自分で学習(ファインチューニング)させることもできるで ●高性能なPCがないけどLLMを試したい人や大きなモデルを速く動かしたい人はpaperspaceなどのクラウド環境を使うのも手やで ●モデルのサイズ(パラメータ数)は◯B (B=billion=10億)という単位で表記されるで ●70Bの大型モデルはLlama 2というMeta社が開発したモデルが元になってるものが多いで https://github.com/SillyTavern/SillyTavern 例としてKoboldで起動したローカルモデルとSillyTavernを接続する設定や http://localhost:5001/ テンプレは以上や ■ このスレッドは過去ログ倉庫に格納されています
