なんJLLM部 避難所 ★2
■ このスレッドは過去ログ倉庫に格納されています
!extend::vvvvv:1000:512
!extend::vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(スクリプト攻撃継続中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所
https://mercury.bbspink.com/test/read.cgi/onatech/1702817339/
-
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured 初心者は導入しやすいKoboldcppから始めるのをお勧め
(1)ここで最新版のKoboldcpp.exeをダウンロード
https://github.com/LostRuins/koboldcpp/releases
(2)ここで良さげなggufモデルをダウンロード
https://huggingface.co/models?sort=modified&search=gguf
この2つのファイルだけで動く oobabooga/text-generation-webui
これもKoboldAIに並んで有用な実行環境やで
https://github.com/oobabooga/text-generation-webui ●Zuntan03ニキ謹製のツールEasyNovelAssistant
や
ローカルLLM導入のハードルをぐっと下げてくれたで
初めてのお人はここから始めるのもいいで
https://github.com/Zuntan03/EasyNovelAssistant ●ここ最近話題になった日本語ローカルモデル達やで
LightChatAssistant(通称LCA)
このスレのニキが3月にリリースして激震が走った軽量高性能モデルや
>>5のツールもこのモデルの使用がデフォルトやで
非力なPCでも走るしまずはこの辺りから試すのを薦めるで
https://huggingface.co/Sdff-Ltba
Ninja/Vecteus
オープンソースの強力な日本語小説生成AIを開発しとるLocalNovelLLM-projectの皆さんによるモデル群や
リリースされたばかりやがこちらも軽量高性能やで
開発も続いとるようやから今後の動きにも要注目や
https://huggingface.co/Local-Novel-LLM-project ●その他の最近話題になったモデルも挙げとくで
動きの速い界隈やから日々チェックやで
Mistral-7B系:
LightChatAssistant
Antler-7B-RP
Japanese-Starling-ChatV
Antler-7B-Novel-Writing
SniffyOtter-7B-Novel-Writing-NSFW
Ninja-v1
Vecteus-v1
Llama2-70B系:
karakuri-lm-70b-chat-v0.1
karakuri-MS-01
Cohere系:
c4ai-command-r-v01 (35B)
c4ai-command-r-plus (104B) ●多くのモデルには「base」と「instruct」の2種類があるで
baseはチューニングされていない、与えられた文書の続きを垂れ流すモデルやで
instructはchatGPTのように対話して質問に答えるようチューニングされたAIやで ⚫︎LLMを動かすにはGPUを使う方法とCPUを使う方法があるで
GPUを使う場合は比較的速く動くけど、VRAM容量の大きなグラボが必要になるで
CPUを使う場合はグラボが不要でメインメモリのRAMを増やすだけで大きなモデルが動かせるというメリットがあるけど、動作速度はGPUよりは落ちるで ⚫︎LLMモデルには量子化されてないsafetensorsファイルと、8bitや4bitなどに量子化されて容量が小さくなったものがあるで
量子化モデルにはGGUFやGPTQなどの種類があるで
基本的にはCPU (llama.cpp)で動かす場合はGGUF、GPUで動かす場合はGPTQを選べばええで ⚫︎LLMモデルは既存のbaseモデルを元に自分で学習(ファインチューニング)させることもできるで
画像AIのようにLoRAファイルとして学習結果を保存したりLoRAを読み込むこともできるで ●高性能なPCがないけどLLMを試したい人や大きなモデルを速く動かしたい人はpaperspaceなどのクラウド環境を使うのも手やで ●モデルのサイズ(パラメータ数)は◯B (B=billion=10億)という単位で表記されるで
例えば7Bのモデルを読み込むなら量子化しない場合は約14GB、8ビット量子化の場合は7GB、4ビット量子化の場合は3.5GBのメモリまたはVRAMが必要になるで
基本的にはBが大きいほど性能が高いで ●70Bの大型モデルはLlama 2というMeta社が開発したモデルが元になってるものが多いで
メモリが48GB以上あれば動くけど、速度はかなり遅いで ひとまずテンプレはここまでや
何か追加した方がいいものがあったらよろしゅうな 個人的にはSillyTavernの紹介もあっていい気もしてるけどな あと最近盛り上がってるモデルのマージや音声合成なんかもいずれはテンプレに入るのかもしれんな この一月で日本語ローカル導入のハードルは大きく下がって性能は大きく上がった感があるから今後がますます楽しみや 7Bモデルの性能向上は凄いな
おかげでVRAM16GBあれば音声合成と音声認識をギリギリ同時に動かせるようになった >>1乙
この板は即死ないから20まで保守する必要はないと思う >>22
乙あり
保守不要か確信なかったから念のためしたった SillyTavernでStableDiffusionと連携すると捗るな
思った絵が出てこないのがほとんどだけど、ズバリの絵が出てきたらムクムクする この中に、大葉でChatタブからnotebookタブなど他タブに切り替えてもモデルが前のタスクや設定を覚えてて
それを引きずった応答をしたという経験した方はいらっしゃいますか？ EasyNovelAssistantでゴールシークテンプレをちょっと改変しつつ、指示出して洗脳系のシチュを提案するようにした
ttps://i.imgur.com/ediKctI.png
これはこれで面白いんだけど、こういうのうまく出させるにはどういうプロンプト渡したら打率高くなるだろ？
あと方向性限定させたり、もっと突飛にしたり。
整合性が取れてない内容が出力されることがあったり、変に短かったりすることが結構あるんだけど
それと、ちょっと試してみた感じLCAtypeBよりggml-model-Q4Kの方が良さげな回答くれてる気がするんだけど
どのモデルが良いかは総当たりしかない感じかな？
LLM系しっかり触ったことなかったから全部手探りで何もわからん… ggml-model-Q4KってVecteusのことかな
VecteusはLCAより後発なこともあって、より思考能力が高い傾向がある(恐らく最新のWizard2を組み込んでいるため)
とは言え日本語能力と一括りに言っても文章の傾向も異なってくるし、好みもあるから一概には言えん感じやけどね
こればっかりは試してみないと分からんと思う
Vecteusはサイズ小さくてより軽いのに高性能だから、人に勧め安いのは確か LCAがお役御免になったわけではないよ。念のため言っとく
少なくとも今でもワイはLCAの出してくる文章好きやで 一応放置されているLLM部のWIKI：https://w.atwiki.jp/localmlhub
よくよく調べてみたらatwikiってえっちなコンテンツあかんらしい
NVA部とおそろいでseesaa wikiで作ったほうが編集もしやすくていいかもしれないな? 音声でローカルLLMと双方向会話+画像生成までやろうとするとどんなに工夫してもVRAM24GBは必要な感じだな 次スレのために板表示してそういやここオナテク板やったなって草生えるわ 自慰のためのテクノロジーの話題だから何も間違っていない Ninjaオリジナルのq8 ggufはkoboldcppの起動時にコンテキスト長上げても2kっぽい動き(web画面のsettingで最大が2kのまま、処理速度も速すぎる)だったけど、前スレのこれだと普通に上げられた。
https://huggingface.co/mmnga/Ninja-v1-NSFW-128k-gguf モモンガ先輩やるな
以前は彼が量子化したモデルは挙動がおかしいことが多々あったが最近は安定してる MikuMaidのLlama-3 70Bバージョン、LumiMaid 70Bがアップロードされたみたい
割とそのまま倫理規制が解除されてたLlama-3 70Bっていう感じだから、日本語のロールプレイは語彙的に厳しいけど、英語エロチャはいける 一応生成例
（エロチャではないけどharmfulな結果は日本語でも出てくる点がMikuMaidとの違い）
https://i.imgur.com/GnGmoTK.png スレ立てサンガツ！
>>26-28
アカンモデルははっきりアカンと言えるんやがエエモデルを比べるのはホンマにむずい
6GBでVRAMフルロードできるんで速いのはエエんやが人が読むよりも速く生成されても
生成物をAIに評価させるとかせんと扱いに困るしなぁ
一定ラインを超える生成物の良し悪しは個人の好みに寄ってきて長時間触らんとわからん印象
もしくは話題になっとったベンチーマークのカンニングができんような
人の感性に沿った数値評価ができるようになればかね
現状は画像生成モデルの「好みのモデルを使ったらええんやで」と似てきとる気がするで
>>34
情報サンガツ！
KoboldCpp上でのNinja Q8でコンテキスト長伸ばすとなんか変な反応するなぁと思っとったが
ワイ環じゃないようで安心したで 次のトレンドはやっぱ音声読み上げだよな
中国語なまり問題何とか軽減出来ないかな >>26
EasyNovelAssistantの出力にMd形式で番号を振ってあるんは
大量の出力から良さげなものをCommandR+やオンラインLLMとかに選ばせられへんかなぁと思うて付けたで
「人の心に響く番号を5つあげて、点数と理由も記載しなさい」みたいな
なんちゃって評価で大量の出力を評価でけへんかなぁと >>27
ごめんVecteusのことです。なんか書く時見てるところ違ったわ。
やっぱりどのモデルが向いてるかは試してみないとわからんか…
>>38
画像の方も結局は好みやしこっちもそうか…
しかしこっちは画像と違って一目でわからんし、それぞれ評価するのしんどそうやね
>>40
そういう目的でついてんのかこの番号
実際その辺もAI任せしたいなぁ…
最近はずっとEasyNovelAssistantにお世話になってます。めっちゃ楽しい！
(強いて要望言うと、Ctr+Sで保存する時日付時刻とかが自動的に入ってくれるとちょっとうれしいかも…) >>25
GPTやclaudeではそういう現象の報告は見たことあるな >>43
Ninja系統のモデルはどういうわけかこのような挙動をするので同じようなことをするモデルを探しています。 https://t.co/bHqlgW04pa
我々が出しているNinja系のGGUFはコンテキスト長周りにバグを抱えているらしいのでmmnga氏の出しているGGUFを使うのをお勧めします。
原因はおそらくYarnがGGUFでは使えないことだと思われ、どうにかする予定です。 量子化の方法って違いがあるんだ？
gitでプロジェクトをクローンして、convert.pyでGGUFに変換して、
imatrixファイルを作成してからquantize.exeでお好みのサイズに量子化するだけだと思ってた >>42
> (強いて要望言うと、Ctr+Sで保存する時日付時刻とかが自動的に入ってくれるとちょっとうれしいかも…)
そのままではないんやが2点対応しといたで
・名前を付けて保存でデフォルトのファイル名に日時を設定
・ファイル保存時に上書きするファイルがあればlogフォルダにバックアップ
誤って大事なデータを上書きしてしまった時はlogフォルダを覗いてもろうたら ■ このスレッドは過去ログ倉庫に格納されています
