なんJLLM部避難所 ★10

0001名無しさん＠ピンキー転載ダメ (ﾜｯﾁｮｲ dfc7-Jvli)2025/11/23(日) 22:55:29.17ID:kt2SGedd0

!extend:checked:vvvvv:1000:512
!extend:checked:vvvvv:1000:512

AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降

本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部避難所 ★8
https://mercury.bbspink.com/test/read.cgi/onatech/1746883112/
なんJLLM部避難所 ★9
https://mercury.bbspink.com/test/read.cgi/onatech/1755924738/

VIPQ2_EXTDAT: checked:vvvvv:1000:512:: EXT was configured

0002名無しさん＠ピンキー (ﾜｯﾁｮｲ dfc7-Jvli)2025/11/23(日) 22:56:18.50ID:kt2SGedd0

初心者は導入しやすいKoboldcppから始めるのをお勧め
(1)NVIDIA、CPUユーザーはここで最新版のKoboldcpp.exeをダウンロード
https://github.com/LostRuins/koboldcpp/releases
AMDユーザーはこっち
https://github.com/YellowRoseCx/koboldcpp-rocm
(2)ここで良さげなggufモデルをダウンロード
https://huggingface.co/models?sort=modified&search=gguf
この2つのファイルだけで動く

Koboldの設定や使い方は英語だけどここが詳しい
https://github.com/LostRuins/koboldcpp/wiki

0003名無しさん＠ピンキー (ﾜｯﾁｮｲ dfc7-Jvli)2025/11/23(日) 22:56:42.66ID:kt2SGedd0

oobabooga/text-generation-webui
通称大葉
これもKoboldAIに並んで有用な実行環境やで
https://github.com/oobabooga/text-generation-webui

0004名無しさん＠ピンキー (ﾜｯﾁｮｲ dfc7-Jvli)2025/11/23(日) 22:57:08.12ID:kt2SGedd0

●Zuntanニキ謹製のツールEasyNovelAssistant
主に小説用で使われとるで
ローカルLLM導入のハードルをぐっと下げてくれたで
初めてのお人はここから始めるのもいいで
https://github.com/Zuntan03/EasyNovelAssistant

0005名無しさん＠ピンキー (ﾜｯﾁｮｲ dfc7-Jvli)2025/11/23(日) 22:57:48.90ID:kt2SGedd0

https://github.com/SillyTavern/SillyTavern
AIチャットに特化したUI、SillyTavernや
キャラをbot的に管理したりグラ登録したり複数選んでグループチャットしたり大量の設定を外部記憶的に管理したり色々できるで
画像出力や音声出力とも連携可能で夢が広がるで
機能が豊富すぎて最初取っ付きにくいのと日本語の解説がほとんど無いのが難点やがRPチャット派は使うと幸せになれるやで
あくまでUI(フロントエンド)やからこれ自体にはAIは内蔵されてないから注意してな
好きなAPIやローカルモデルと接続して使うんやで

0006名無しさん＠ピンキー (ﾜｯﾁｮｲ dfc7-Jvli)2025/11/23(日) 22:58:17.92ID:kt2SGedd0

例としてKoboldで起動したローカルモデルとSillyTavernを接続する設定や
先にいつもどおりKoboldを起動してな

SillyTavernのプラグのアイコンをクリック
APIに Text Completion を選択
API Typeは KoboldCpp
API keyは不要
API URLに http://localhost:5001/
これでいける

0007名無しさん＠ピンキー (ﾜｯﾁｮｲ dfc7-Jvli)2025/11/23(日) 22:58:38.98ID:kt2SGedd0

●多くのモデルには「base」と「instruct」の2種類があるで
baseはチューニングされていない、与えられた文書の続きを垂れ流すモデルやで
instructはchatGPTのように対話して質問に答えるようチューニングされたAIやで

⚫︎LLMを動かすにはGPUを使う方法とCPUを使う方法があるで
GPUを使う場合は比較的速く動くけど、VRAM容量の大きなグラボが必要になるで
CPUを使う場合はグラボが不要でメインメモリのRAMを増やすだけで大きなモデルが動かせるというメリットがあるけど、動作速度はGPUよりは落ちるで

⚫︎LLMモデルには量子化されてないsafetensorsファイルと、8bitや4bitなどに量子化されて容量が小さくなったものがあるで
量子化モデルにはGGUFやGPTQなどの種類があるで
基本的にはCPU (llama.cpp)で動かす場合はGGUF、GPUで動かす場合はGPTQを選べばええで
量子化は4bitまでならほとんど精度が落ちないのでよくわからない場合はIQ4_XSやQ4_k_mなどにしとけばええで

⚫︎LLMモデルは既存のbaseモデルを元に自分で学習(ファインチューニング)させることもできるで
画像AIのようにLoRAファイルとして学習結果を保存したりLoRAを読み込むこともできるで

●モデルのサイズ(パラメータ数)は◯B (B=billion=10億)という単位で表記されるで
例えば7Bのモデルを読み込むなら量子化しない場合は約14GB、8ビット量子化の場合は7GB、4ビット量子化の場合は3.5GBのメモリまたはVRAMが必要になるで
基本的にはBが大きいほど性能が高いで

0008名無しさん＠ピンキー (ﾜｯﾁｮｲ dfc7-Jvli)2025/11/23(日) 22:59:01.90ID:kt2SGedd0

●その他の最近話題になったモデルも挙げとくで
動きの速い界隈やから日々チェックやで

Mistral系
LightChatAssistant
Antler-7B-RP
Japanese-Starling-ChatV
Antler-7B-Novel-Writing
SniffyOtter-7B-Novel-Writing-NSFW
Ninja-v1
Vecteus-v1
Berghof-NSFW-7B-i1-GGUF
Mistral-Small-3.2-24B-Instruct-2506
Cydonia 24B v4
Cydonia-R1-24B-v4

Llama3-70B系:
Smaug-Llama-3-70B-Instruct-abliterated-v3

Cohere系:
c4ai-command-r-08-2024 (35B)
c4ai-command-r-plus-08-2024 (104B)

magnumシリーズ(エロ特化):
https://huggingface.co/collections/anthracite-org/v4-671450072656036945a21348

Lumimaid-Magnum:
Lumimaid-Magnum-v4-12B

magnumの日本語版:
Mistral-nemo-ja-rp-v0.2

0009名無しさん＠ピンキー (ﾜｯﾁｮｲ dfc7-Jvli)2025/11/23(日) 22:59:25.37ID:kt2SGedd0

●高性能なPCがないけどLLMを試したい人や大きなモデルを速く動かしたい人はpaperspaceなどのクラウド環境を使うのも手やで
若干規制はあるもののGoogle AI studioから無料でAPI keyを入手して高性能なAIを使うこともできるのでそれを使うのええで
API keyの入手はhttps://aistudio.google.com/apikeyここからできるで

0010名無しさん＠ピンキー (ﾜｯﾁｮｲ dfc7-Jvli)2025/11/23(日) 23:00:32.72ID:kt2SGedd0

テンプレここまで、しばらく更新されてないから過去ログも参考にしてな

0011名無しさん＠ピンキー (ｽﾌﾟｰﾌﾟ Sdff-QkBA)2025/11/23(日) 23:09:11.93ID:BDh8hYtcd

らまおつ

0012名無しさん＠ピンキー (ﾜｯﾁｮｲ 6fbd-HeAa)2025/11/24(月) 00:16:39.72ID:9es+rEr10

スレ立て乙

今はもう「初心者はLM Studio使え」でいい気もするねw
https://lmstudio.ai/

0013名無しさん＠ピンキー (ﾜｯﾁｮｲ dbc7-1/gi)2025/11/24(月) 01:19:38.61ID:+DV/akbi0

ずっとkoboldcppなんやがLMstudioの方が何か優れてるのん？

0014名無しさん＠ピンキー (ﾜｯﾁｮｲ db11-0bgF)2025/11/24(月) 01:23:02.15ID:J12Casif0

実行ファイルDL一発からの明快UIが圧倒的にエントリー向けなんや

なんJLLM部 避難所 ★10

なんJLLM部避難所 ★10