なんJLLM部 避難所 ★2
■ このスレッドは過去ログ倉庫に格納されています
!extend::vvvvv:1000:512
!extend::vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(スクリプト攻撃継続中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所
https://mercury.bbspink.com/test/read.cgi/onatech/1702817339/
-
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured 初心者は導入しやすいKoboldcppから始めるのをお勧め
(1)ここで最新版のKoboldcpp.exeをダウンロード
https://github.com/LostRuins/koboldcpp/releases
(2)ここで良さげなggufモデルをダウンロード
https://huggingface.co/models?sort=modified&search=gguf
この2つのファイルだけで動く oobabooga/text-generation-webui
これもKoboldAIに並んで有用な実行環境やで
https://github.com/oobabooga/text-generation-webui ●Zuntan03ニキ謹製のツールEasyNovelAssistant
や
ローカルLLM導入のハードルをぐっと下げてくれたで
初めてのお人はここから始めるのもいいで
https://github.com/Zuntan03/EasyNovelAssistant ●ここ最近話題になった日本語ローカルモデル達やで
LightChatAssistant(通称LCA)
このスレのニキが3月にリリースして激震が走った軽量高性能モデルや
>>5のツールもこのモデルの使用がデフォルトやで
非力なPCでも走るしまずはこの辺りから試すのを薦めるで
https://huggingface.co/Sdff-Ltba
Ninja/Vecteus
オープンソースの強力な日本語小説生成AIを開発しとるLocalNovelLLM-projectの皆さんによるモデル群や
リリースされたばかりやがこちらも軽量高性能やで
開発も続いとるようやから今後の動きにも要注目や
https://huggingface.co/Local-Novel-LLM-project ●その他の最近話題になったモデルも挙げとくで
動きの速い界隈やから日々チェックやで
Mistral-7B系:
LightChatAssistant
Antler-7B-RP
Japanese-Starling-ChatV
Antler-7B-Novel-Writing
SniffyOtter-7B-Novel-Writing-NSFW
Ninja-v1
Vecteus-v1
Llama2-70B系:
karakuri-lm-70b-chat-v0.1
karakuri-MS-01
Cohere系:
c4ai-command-r-v01 (35B)
c4ai-command-r-plus (104B) ●多くのモデルには「base」と「instruct」の2種類があるで
baseはチューニングされていない、与えられた文書の続きを垂れ流すモデルやで
instructはchatGPTのように対話して質問に答えるようチューニングされたAIやで ⚫︎LLMを動かすにはGPUを使う方法とCPUを使う方法があるで
GPUを使う場合は比較的速く動くけど、VRAM容量の大きなグラボが必要になるで
CPUを使う場合はグラボが不要でメインメモリのRAMを増やすだけで大きなモデルが動かせるというメリットがあるけど、動作速度はGPUよりは落ちるで ⚫︎LLMモデルには量子化されてないsafetensorsファイルと、8bitや4bitなどに量子化されて容量が小さくなったものがあるで
量子化モデルにはGGUFやGPTQなどの種類があるで
基本的にはCPU (llama.cpp)で動かす場合はGGUF、GPUで動かす場合はGPTQを選べばええで ⚫︎LLMモデルは既存のbaseモデルを元に自分で学習(ファインチューニング)させることもできるで
画像AIのようにLoRAファイルとして学習結果を保存したりLoRAを読み込むこともできるで ●高性能なPCがないけどLLMを試したい人や大きなモデルを速く動かしたい人はpaperspaceなどのクラウド環境を使うのも手やで ●モデルのサイズ(パラメータ数)は◯B (B=billion=10億)という単位で表記されるで
例えば7Bのモデルを読み込むなら量子化しない場合は約14GB、8ビット量子化の場合は7GB、4ビット量子化の場合は3.5GBのメモリまたはVRAMが必要になるで
基本的にはBが大きいほど性能が高いで ●70Bの大型モデルはLlama 2というMeta社が開発したモデルが元になってるものが多いで
メモリが48GB以上あれば動くけど、速度はかなり遅いで ひとまずテンプレはここまでや
何か追加した方がいいものがあったらよろしゅうな 個人的にはSillyTavernの紹介もあっていい気もしてるけどな あと最近盛り上がってるモデルのマージや音声合成なんかもいずれはテンプレに入るのかもしれんな この一月で日本語ローカル導入のハードルは大きく下がって性能は大きく上がった感があるから今後がますます楽しみや 7Bモデルの性能向上は凄いな
おかげでVRAM16GBあれば音声合成と音声認識をギリギリ同時に動かせるようになった >>1乙
この板は即死ないから20まで保守する必要はないと思う >>22
乙あり
保守不要か確信なかったから念のためしたった SillyTavernでStableDiffusionと連携すると捗るな
思った絵が出てこないのがほとんどだけど、ズバリの絵が出てきたらムクムクする この中に、大葉でChatタブからnotebookタブなど他タブに切り替えてもモデルが前のタスクや設定を覚えてて
それを引きずった応答をしたという経験した方はいらっしゃいますか？ EasyNovelAssistantでゴールシークテンプレをちょっと改変しつつ、指示出して洗脳系のシチュを提案するようにした
ttps://i.imgur.com/ediKctI.png
これはこれで面白いんだけど、こういうのうまく出させるにはどういうプロンプト渡したら打率高くなるだろ？
あと方向性限定させたり、もっと突飛にしたり。
整合性が取れてない内容が出力されることがあったり、変に短かったりすることが結構あるんだけど
それと、ちょっと試してみた感じLCAtypeBよりggml-model-Q4Kの方が良さげな回答くれてる気がするんだけど
どのモデルが良いかは総当たりしかない感じかな？
LLM系しっかり触ったことなかったから全部手探りで何もわからん… ggml-model-Q4KってVecteusのことかな
VecteusはLCAより後発なこともあって、より思考能力が高い傾向がある(恐らく最新のWizard2を組み込んでいるため)
とは言え日本語能力と一括りに言っても文章の傾向も異なってくるし、好みもあるから一概には言えん感じやけどね
こればっかりは試してみないと分からんと思う
Vecteusはサイズ小さくてより軽いのに高性能だから、人に勧め安いのは確か LCAがお役御免になったわけではないよ。念のため言っとく
少なくとも今でもワイはLCAの出してくる文章好きやで 一応放置されているLLM部のWIKI：https://w.atwiki.jp/localmlhub
よくよく調べてみたらatwikiってえっちなコンテンツあかんらしい
NVA部とおそろいでseesaa wikiで作ったほうが編集もしやすくていいかもしれないな? 音声でローカルLLMと双方向会話+画像生成までやろうとするとどんなに工夫してもVRAM24GBは必要な感じだな 次スレのために板表示してそういやここオナテク板やったなって草生えるわ 自慰のためのテクノロジーの話題だから何も間違っていない Ninjaオリジナルのq8 ggufはkoboldcppの起動時にコンテキスト長上げても2kっぽい動き(web画面のsettingで最大が2kのまま、処理速度も速すぎる)だったけど、前スレのこれだと普通に上げられた。
https://huggingface.co/mmnga/Ninja-v1-NSFW-128k-gguf モモンガ先輩やるな
以前は彼が量子化したモデルは挙動がおかしいことが多々あったが最近は安定してる MikuMaidのLlama-3 70Bバージョン、LumiMaid 70Bがアップロードされたみたい
割とそのまま倫理規制が解除されてたLlama-3 70Bっていう感じだから、日本語のロールプレイは語彙的に厳しいけど、英語エロチャはいける ■ このスレッドは過去ログ倉庫に格納されています
