なんJLLM部 避難所 ★10
!extend:checked:vvvvv:1000:512
!extend:checked:vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★8
https://mercury.bbspink.com/test/read.cgi/onatech/1746883112/
なんJLLM部 避難所 ★9
https://mercury.bbspink.com/test/read.cgi/onatech/1755924738/
VIPQ2_EXTDAT: checked:vvvvv:1000:512:: EXT was configured oobabooga/text-generation-webui
通称大葉
これもKoboldAIに並んで有用な実行環境やで
https://github.com/oobabooga/text-generation-webui ●Zuntanニキ謹製のツールEasyNovelAssistant
主に小説用で使われとるで
ローカルLLM導入のハードルをぐっと下げてくれたで
初めてのお人はここから始めるのもいいで
https://github.com/Zuntan03/EasyNovelAssistant https://github.com/SillyTavern/SillyTavern
AIチャットに特化したUI、SillyTavernや
キャラをbot的に管理したりグラ登録したり複数選んでグループチャットしたり大量の設定を外部記憶的に管理したり色々できるで
画像出力や音声出力とも連携可能で夢が広がるで
機能が豊富すぎて最初取っ付きにくいのと日本語の解説がほとんど無いのが難点やがRPチャット派は使うと幸せになれるやで
あくまでUI(フロントエンド)やからこれ自体にはAIは内蔵されてないから注意してな
好きなAPIやローカルモデルと接続して使うんやで 例としてKoboldで起動したローカルモデルとSillyTavernを接続する設定や
先にいつもどおりKoboldを起動してな
SillyTavernのプラグのアイコンをクリック
APIに Text Completion を選択
API Typeは KoboldCpp
API keyは不要
API URLに http://localhost:5001/
これでいける ●多くのモデルには「base」と「instruct」の2種類があるで
baseはチューニングされていない、与えられた文書の続きを垂れ流すモデルやで
instructはchatGPTのように対話して質問に答えるようチューニングされたAIやで
⚫︎LLMを動かすにはGPUを使う方法とCPUを使う方法があるで
GPUを使う場合は比較的速く動くけど、VRAM容量の大きなグラボが必要になるで
CPUを使う場合はグラボが不要でメインメモリのRAMを増やすだけで大きなモデルが動かせるというメリットがあるけど、動作速度はGPUよりは落ちるで
⚫︎LLMモデルには量子化されてないsafetensorsファイルと、8bitや4bitなどに量子化されて容量が小さくなったものがあるで
量子化モデルにはGGUFやGPTQなどの種類があるで
基本的にはCPU (llama.cpp)で動かす場合はGGUF、GPUで動かす場合はGPTQを選べばええで
量子化は4bitまでならほとんど精度が落ちないのでよくわからない場合はIQ4_XSやQ4_k_mなどにしとけばええで
⚫︎LLMモデルは既存のbaseモデルを元に自分で学習(ファインチューニング)させることもできるで
画像AIのようにLoRAファイルとして学習結果を保存したりLoRAを読み込むこともできるで
●モデルのサイズ(パラメータ数)は◯B (B=billion=10億)という単位で表記されるで
例えば7Bのモデルを読み込むなら量子化しない場合は約14GB、8ビット量子化の場合は7GB、4ビット量子化の場合は3.5GBのメモリまたはVRAMが必要になるで
基本的にはBが大きいほど性能が高いで ●その他の最近話題になったモデルも挙げとくで
動きの速い界隈やから日々チェックやで
Mistral系
LightChatAssistant
Antler-7B-RP
Japanese-Starling-ChatV
Antler-7B-Novel-Writing
SniffyOtter-7B-Novel-Writing-NSFW
Ninja-v1
Vecteus-v1
Berghof-NSFW-7B-i1-GGUF
Mistral-Small-3.2-24B-Instruct-2506
Cydonia 24B v4
Cydonia-R1-24B-v4
Llama3-70B系:
Smaug-Llama-3-70B-Instruct-abliterated-v3
Cohere系:
c4ai-command-r-08-2024 (35B)
c4ai-command-r-plus-08-2024 (104B)
magnumシリーズ(エロ特化):
https://huggingface.co/collections/anthracite-org/v4-671450072656036945a21348
Lumimaid-Magnum:
Lumimaid-Magnum-v4-12B
magnumの日本語版:
Mistral-nemo-ja-rp-v0.2 ●高性能なPCがないけどLLMを試したい人や大きなモデルを速く動かしたい人はpaperspaceなどのクラウド環境を使うのも手やで
若干規制はあるもののGoogle AI studioから無料でAPI keyを入手して高性能なAIを使うこともできるのでそれを使うのええで
API keyの入手はhttps://aistudio.google.com/apikeyここからできるで テンプレここまで、しばらく更新されてないから過去ログも参考にしてな スレ立て乙
今はもう「初心者はLM Studio使え」でいい気もするねw
https://lmstudio.ai/ ずっとkoboldcppなんやがLMstudioの方が何か優れてるのん？ 実行ファイルDL一発からの明快UIが圧倒的にエントリー向けなんや ワイもずっとkobold.cppやな
exe一発でuiもシンプル ちょっと凝った事したけりゃメニューで変更や画像生成もできる
指示モードとチャットモードがあるけど、ワイは小説書かせる時は指示モードかな。指示モードでもチャットできるし
LM studio使ってる人も、使い勝手や面白い使い方知ってればどんどん教えて欲しい intel環境だとlm studioは特殊な操作なしでNPUまで使ってくれるからノートパソコンで重宝してる
普段は惰性でkobold使ってるけどAPIの項目も多いしとか画像生成とかもできるし下位互換ではないと思う >>16
koboldがlm studioの下位互換ではないという話ね ローカルLLMを使い倒すアプリを組んで動いたはいいが
「なんでワイしょうもない用途でゴツいアプリ作っちゃったんやろ」と賢者モードになる
電気代が怖いし人間ぽい感じでやらなきゃ爆速で終わるのにとも思う
あとこんなんクラウドでやったら課金課金で胃に穴が空くわ 立て乙
ローカルと関係ない話だけどAIが既に人間を見下し始めてて笑った
https://imgur.com/a/k7XR4fY アプリ作っているときが一番楽しいんだよな
やりたいこと多すぎて時間が足らん AIが直接見下すとかではないけど「あなたには無理です。こちらの方法をお勧めします。」と言われたことがあるな
ちょっとショックだったw
最初に「初めてなので」という断りを入れてたからだろうけど 連休で始めた初心者なんだけど、12GBのGPUメモリで動くRPが得意で特定の決まり事をシステムプロンプトで指定したら絶対に守るようなおすすめモデルってある？
MistralPrism24Bに感動したのだけど、条件を守ってくれない。
チャットゲームみたいの作りたい。 >>24
そのサイズでは日本語RPが得意なモデルはあっても指示に対する理解力が足りないものしかないと思うで
ちなみにberghof ERP 7BはRP得意でおすすめやが状況把握や矛盾に対する認識なんかはまあ7Bですね…という感じ
当然ゲームマスター的な事をやらせても上手くいかん スレ立て乙
自分の認識だと
7Bモデル 雑なプロンプトでもかなり自然な出力が得られるが賢さは最低限(berghof,vecteusV1が好き)
7B以上（を量子化して無理くり動かす）モデル まともな出力を得るのが格段に難しくなって面倒臭さが賢くなったメリットを上回る
なので初心者でエロ目的じゃなければビッグテックが念入りにチューニングしたクラウドAIが良いのでは
こないだメインメモリ128MBのマシンを作ったんだけど、Qwen3-235Bの量子化モデルにはかなり可能性を感じた。チューニングを頑張ろうと思う 誰か、文章を読解してdanboru語に翻訳するLLM作って、
言葉じゃないんだよ、ビジュアルに付いてるタグが何なのかなんだよ
それが分かれば好きな絵が描ける googleのTPUがエヌビのGPUに取って代わる話が出てきてエヌビ株暴落してるな
個人利用も安価で大きいモデルを動かせたらいいな >>28
情景描写から情景にふさわしい日本語の挿絵プロンプトを出させてから
日本語の挿絵プロンプトをRAGに突っ込んでdanbooru語に変換させればいい
danbooruタグと日本語訳のデータセットはネットに転がってるとスレに3回は書いた記憶
二次創作でブルアカとか今期のアニメみたいな新しいキャラのタグを出させたいならデータセットも更新が必要 どんどんブレイクスルー起こしてほしいな
NVIDIAをぶっこわーす 今自然言語の画像生成モデル増えてきてるんじゃないの？
danbooruタグじゃなくて普通の英文で結構指示に従ってくれてる気がするけど booru語を使う理由ってアニメ系のイラストモデルを使いたいってことだろう
特に虹R18系はbooru語対応モデルしかない lillymixとか自然言語対応やで
割と気に入ってる 乳房を床に付けているプロンプトで、danboru語ではtop-down bottom-up, flexible, になる、これを文章を読んでこれのことだと変換してほしい GPTやGrokでもdanboru変換はできていない redditで見かけたけどQwen-image-edit-2511っていうのが来週来るらしい
自然言語の理解力が向上してるとか
ただ日本語も理解できてエロOKかどうかはわからないな >●多くのモデルには「base」と「instruct」の2種類があるで
>baseはチューニングされていない、与えられた文書の続きを垂れ流すモデルやで
>instructはchatGPTのように対話して質問に答えるようチューニングされたAIやで
MistralPrism24BGGUFのQ8_0使ってるけど、こういうシーンを詳細に描写して欲しいと指示すると、毎回そのシーンの後の方がやたらと出力多い(しかもどの文章も描写が詳細でない)のだが、これって俺が使い方間違っているのかな？
ちなみにVRAM12GB、RAM64GB
悲しいけどこれ以上のモデルは使えないんだよな
もっとPCスペック高ければ望んだようなこと出来るのかな？ 