なんJLLM部 避難所 ★2
!extend::vvvvv:1000:512
!extend::vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(スクリプト攻撃継続中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所
https://mercury.bbspink.com/test/read.cgi/onatech/1702817339/
-
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured 初心者は導入しやすいKoboldcppから始めるのをお勧め
(1)ここで最新版のKoboldcpp.exeをダウンロード
https://github.com/LostRuins/koboldcpp/releases
(2)ここで良さげなggufモデルをダウンロード
https://huggingface.co/models?sort=modified&search=gguf
この2つのファイルだけで動く oobabooga/text-generation-webui
これもKoboldAIに並んで有用な実行環境やで
https://github.com/oobabooga/text-generation-webui ●Zuntan03ニキ謹製のツールEasyNovelAssistant
や
ローカルLLM導入のハードルをぐっと下げてくれたで
初めてのお人はここから始めるのもいいで
https://github.com/Zuntan03/EasyNovelAssistant ●ここ最近話題になった日本語ローカルモデル達やで
LightChatAssistant(通称LCA)
このスレのニキが3月にリリースして激震が走った軽量高性能モデルや
>>5のツールもこのモデルの使用がデフォルトやで
非力なPCでも走るしまずはこの辺りから試すのを薦めるで
https://huggingface.co/Sdff-Ltba
Ninja/Vecteus
オープンソースの強力な日本語小説生成AIを開発しとるLocalNovelLLM-projectの皆さんによるモデル群や
リリースされたばかりやがこちらも軽量高性能やで
開発も続いとるようやから今後の動きにも要注目や
https://huggingface.co/Local-Novel-LLM-project ●その他の最近話題になったモデルも挙げとくで
動きの速い界隈やから日々チェックやで
Mistral-7B系:
LightChatAssistant
Antler-7B-RP
Japanese-Starling-ChatV
Antler-7B-Novel-Writing
SniffyOtter-7B-Novel-Writing-NSFW
Ninja-v1
Vecteus-v1
Llama2-70B系:
karakuri-lm-70b-chat-v0.1
karakuri-MS-01
Cohere系:
c4ai-command-r-v01 (35B)
c4ai-command-r-plus (104B) ●多くのモデルには「base」と「instruct」の2種類があるで
baseはチューニングされていない、与えられた文書の続きを垂れ流すモデルやで
instructはchatGPTのように対話して質問に答えるようチューニングされたAIやで ⚫︎LLMを動かすにはGPUを使う方法とCPUを使う方法があるで
GPUを使う場合は比較的速く動くけど、VRAM容量の大きなグラボが必要になるで
CPUを使う場合はグラボが不要でメインメモリのRAMを増やすだけで大きなモデルが動かせるというメリットがあるけど、動作速度はGPUよりは落ちるで ⚫︎LLMモデルには量子化されてないsafetensorsファイルと、8bitや4bitなどに量子化されて容量が小さくなったものがあるで
量子化モデルにはGGUFやGPTQなどの種類があるで
基本的にはCPU (llama.cpp)で動かす場合はGGUF、GPUで動かす場合はGPTQを選べばええで ⚫︎LLMモデルは既存のbaseモデルを元に自分で学習(ファインチューニング)させることもできるで
画像AIのようにLoRAファイルとして学習結果を保存したりLoRAを読み込むこともできるで ●高性能なPCがないけどLLMを試したい人や大きなモデルを速く動かしたい人はpaperspaceなどのクラウド環境を使うのも手やで ●モデルのサイズ(パラメータ数)は◯B (B=billion=10億)という単位で表記されるで
例えば7Bのモデルを読み込むなら量子化しない場合は約14GB、8ビット量子化の場合は7GB、4ビット量子化の場合は3.5GBのメモリまたはVRAMが必要になるで
基本的にはBが大きいほど性能が高いで ●70Bの大型モデルはLlama 2というMeta社が開発したモデルが元になってるものが多いで
メモリが48GB以上あれば動くけど、速度はかなり遅いで ひとまずテンプレはここまでや
何か追加した方がいいものがあったらよろしゅうな 個人的にはSillyTavernの紹介もあっていい気もしてるけどな あと最近盛り上がってるモデルのマージや音声合成なんかもいずれはテンプレに入るのかもしれんな この一月で日本語ローカル導入のハードルは大きく下がって性能は大きく上がった感があるから今後がますます楽しみや 7Bモデルの性能向上は凄いな
おかげでVRAM16GBあれば音声合成と音声認識をギリギリ同時に動かせるようになった >>1乙
この板は即死ないから20まで保守する必要はないと思う >>22
乙あり
保守不要か確信なかったから念のためしたった SillyTavernでStableDiffusionと連携すると捗るな
思った絵が出てこないのがほとんどだけど、ズバリの絵が出てきたらムクムクする この中に、大葉でChatタブからnotebookタブなど他タブに切り替えてもモデルが前のタスクや設定を覚えてて
それを引きずった応答をしたという経験した方はいらっしゃいますか？ EasyNovelAssistantでゴールシークテンプレをちょっと改変しつつ、指示出して洗脳系のシチュを提案するようにした
ttps://i.imgur.com/ediKctI.png
これはこれで面白いんだけど、こういうのうまく出させるにはどういうプロンプト渡したら打率高くなるだろ？
あと方向性限定させたり、もっと突飛にしたり。
整合性が取れてない内容が出力されることがあったり、変に短かったりすることが結構あるんだけど
それと、ちょっと試してみた感じLCAtypeBよりggml-model-Q4Kの方が良さげな回答くれてる気がするんだけど
どのモデルが良いかは総当たりしかない感じかな？
LLM系しっかり触ったことなかったから全部手探りで何もわからん… ggml-model-Q4KってVecteusのことかな
VecteusはLCAより後発なこともあって、より思考能力が高い傾向がある(恐らく最新のWizard2を組み込んでいるため)
とは言え日本語能力と一括りに言っても文章の傾向も異なってくるし、好みもあるから一概には言えん感じやけどね
こればっかりは試してみないと分からんと思う
Vecteusはサイズ小さくてより軽いのに高性能だから、人に勧め安いのは確か LCAがお役御免になったわけではないよ。念のため言っとく
少なくとも今でもワイはLCAの出してくる文章好きやで 一応放置されているLLM部のWIKI：https://w.atwiki.jp/localmlhub
よくよく調べてみたらatwikiってえっちなコンテンツあかんらしい
NVA部とおそろいでseesaa wikiで作ったほうが編集もしやすくていいかもしれないな? 音声でローカルLLMと双方向会話+画像生成までやろうとするとどんなに工夫してもVRAM24GBは必要な感じだな 次スレのために板表示してそういやここオナテク板やったなって草生えるわ 自慰のためのテクノロジーの話題だから何も間違っていない Ninjaオリジナルのq8 ggufはkoboldcppの起動時にコンテキスト長上げても2kっぽい動き(web画面のsettingで最大が2kのまま、処理速度も速すぎる)だったけど、前スレのこれだと普通に上げられた。
https://huggingface.co/mmnga/Ninja-v1-NSFW-128k-gguf モモンガ先輩やるな
以前は彼が量子化したモデルは挙動がおかしいことが多々あったが最近は安定してる MikuMaidのLlama-3 70Bバージョン、LumiMaid 70Bがアップロードされたみたい
割とそのまま倫理規制が解除されてたLlama-3 70Bっていう感じだから、日本語のロールプレイは語彙的に厳しいけど、英語エロチャはいける 一応生成例
（エロチャではないけどharmfulな結果は日本語でも出てくる点がMikuMaidとの違い）
https://i.imgur.com/GnGmoTK.png スレ立てサンガツ！
>>26-28
アカンモデルははっきりアカンと言えるんやがエエモデルを比べるのはホンマにむずい
6GBでVRAMフルロードできるんで速いのはエエんやが人が読むよりも速く生成されても
生成物をAIに評価させるとかせんと扱いに困るしなぁ
一定ラインを超える生成物の良し悪しは個人の好みに寄ってきて長時間触らんとわからん印象
もしくは話題になっとったベンチーマークのカンニングができんような
人の感性に沿った数値評価ができるようになればかね
現状は画像生成モデルの「好みのモデルを使ったらええんやで」と似てきとる気がするで
>>34
情報サンガツ！
KoboldCpp上でのNinja Q8でコンテキスト長伸ばすとなんか変な反応するなぁと思っとったが
ワイ環じゃないようで安心したで 次のトレンドはやっぱ音声読み上げだよな
中国語なまり問題何とか軽減出来ないかな >>26
EasyNovelAssistantの出力にMd形式で番号を振ってあるんは
大量の出力から良さげなものをCommandR+やオンラインLLMとかに選ばせられへんかなぁと思うて付けたで
「人の心に響く番号を5つあげて、点数と理由も記載しなさい」みたいな
なんちゃって評価で大量の出力を評価でけへんかなぁと >>27
ごめんVecteusのことです。なんか書く時見てるところ違ったわ。
やっぱりどのモデルが向いてるかは試してみないとわからんか…
>>38
画像の方も結局は好みやしこっちもそうか…
しかしこっちは画像と違って一目でわからんし、それぞれ評価するのしんどそうやね
>>40
そういう目的でついてんのかこの番号
実際その辺もAI任せしたいなぁ…
最近はずっとEasyNovelAssistantにお世話になってます。めっちゃ楽しい！
(強いて要望言うと、Ctr+Sで保存する時日付時刻とかが自動的に入ってくれるとちょっとうれしいかも…) >>25
GPTやclaudeではそういう現象の報告は見たことあるな >>43
Ninja系統のモデルはどういうわけかこのような挙動をするので同じようなことをするモデルを探しています。 https://t.co/bHqlgW04pa
我々が出しているNinja系のGGUFはコンテキスト長周りにバグを抱えているらしいのでmmnga氏の出しているGGUFを使うのをお勧めします。
原因はおそらくYarnがGGUFでは使えないことだと思われ、どうにかする予定です。 量子化の方法って違いがあるんだ？
gitでプロジェクトをクローンして、convert.pyでGGUFに変換して、
imatrixファイルを作成してからquantize.exeでお好みのサイズに量子化するだけだと思ってた >>42
> (強いて要望言うと、Ctr+Sで保存する時日付時刻とかが自動的に入ってくれるとちょっとうれしいかも…)
そのままではないんやが2点対応しといたで
・名前を付けて保存でデフォルトのファイル名に日時を設定
・ファイル保存時に上書きするファイルがあればlogフォルダにバックアップ
誤って大事なデータを上書きしてしまった時はlogフォルダを覗いてもろうたら Zuntanニキは時代の最先端行っとるな
楽しませてもらっとる、ありがとうやで～ Command R+で…な文章書いて遊んでるだけの浅瀬なんだけど、Llama3より良い感じぽいなこれ
二次創作でもこっちがプロンプト書かなくてもある程度キャラ設定や口調再現するのは感動した
とはいえ翻訳だから高めのレベルで限界はある感じ
マイナーなキャラは対応してないだろうしね
日本語特化LLMはまだ試してないんだけど、どんどん情報更新されてく現状で、今のとこ一番日本語の小説創作向きって何があるかな >>48
対応サンガツ！
ほんまEasyNovelAssistantないと始めてなかったんで、助かっとるで >>44
俺もNinjaとVecteusは全く同じ動きするわ、再起動しない限り前のセッションを引きずったおかしい動きになる
koboldCppで他のモデルでこんなこと起きた事なかったからビックリ
モデル依存でそんなことってあるのか？ >>53
Koboldcppでもそうなりますか...
NinjaがMistralアーキテクチャの機能をフル活用できる性能があるからこのようなことが起こるのでは
という仮説を立てていますが未だ原因は不明です。
情報ありがとうございます。 kobold.cppでもoobaboogaでも同じ動きするんだったら、どっちかと言うと裏で動いてるLlama.cppに問題があるんじゃないか？ もし素のmistral+素のLlama.cppで同じ現象起きるんだったら、実装の問題だからgithubでissue立てた方がいい気もするけど >>51
ぶっちゃけ日本語で小説となるとまだAIのべりすとに一日の長があるんやない？
ローカルで動作するLLMが今のAIのべりすとを上回る日もそう遠くないとは思うけど
Vecteusほんま賢いわ 久しぶりにtext generation web UIをgit pullで最新版に更新して起動しようとしたらエラーになって起動できなかったので解決法メモしとくわ
①出たエラー表示
ModuleNotFoundError: No module named 'rich'
・解決策
1.text generation web UIのフォルダに有るcmd_windows.batを起動
2.「pip install rich」を入力してエンター
3.「deactivate」を入力してエンター
4.コマンドプロンプトの「X」を押して終了
②出たエラー表示
AttributeError: module 'gradio.layouts' has no attribute '__all__'
・解決策
1.text generation web UIのフォルダに有るcmd_windows.batを起動
2.「pip install --upgrade gradio」を入力してエンター
3.「deactivate」を入力してエンター
4.コマンドプロンプトの「X」を押して終了 >>59
pip install -r requirements.txt でいけない？ EasyNovelAssistantに音声と画像を簡単に組み合わせて動画にする機能を追加したで
https://twitter.com/Zuntan03/status/1786694765997924371
アキバの冥土喫茶風
https://i.imgur.com/Eds9BXT.mp4
JNVA 390の12からお借りしてみた
https://i.imgur.com/Pum2qZx.mp4
ドキュメントもわかりやすくしといたんで引き続き不具合報告や感想や要望をもらえるとありがたいで >>58
どもどもです
うーんせやろか
AIのべりすとも一番安いサブスクに入って試し始めたとこだからまだまだ基本的な使い方なのかもしれんけど
最近のに比べるとやっぱり融通が利かない感じがするかなぁ
続きを勝手に書く小説モードが慣れなくてアシスタントチャットでChatbot的に指定してるんだけど
Command R+とかだと例えば竿役の口調を体育教師系からチャラ男くんに変えるみたいなことや
ここはもう少しねっとりとかここはおためごかしに優しくとかも
文脈を類推してやってくれるんだけどAIのべりすとはそういうの無理っぽい
ただ、日本語のエロ文章の自然さは間違いなくまだアドバンテージあるから、あとちょっとかゆい所に手が届けばという感じ
まぁまだ使い方が下手なだけかもだけど >>55
大葉よく知らんのだけど、transformersとかGPTQとかでも起きるんやろか
そういう仮説が出てくるってことは既に試したのかもしらんが
実行環境由来じゃなくてモデル由来で、履歴覚えてるとかどういう仕組みなんだろ zuntanソフト使ってみたいんだけどこのようなことはできる？
チャット用に記述したキャラがある(口調から性格、思想も入ってる)
そのキャラ用のVITSのモデル学習は済んでいる
やりたいこと
リアルタイムに何時間でも子守唄のように愛を囁かせる
現状
STでキャラカにラブレターの原稿を書かせてテキストに保存→VITSに流し込んでwavにしている
試せという話なのだが自分のPCはpythonが混ざって自動では入らんかったので >>64
興味を持ってもらってサンガツやで
今の情報の少なさやと「わからんけどたぶんイケるんちゃうかなぁ」ぐらいしか言えんやね
> チャット用に記述したキャラがある(口調から性格、思想も入ってる)
を https://rentry.org/ あたりに貼ってもらえたらもうちょっとまともな返答ができるかもや
公開に問題ある箇所があるなら公開できるように適当に書き換えてもろうて
> 自分のPCはpythonが混ざって自動では入らんかったので
ワイとしてはpythonが混ざらんように作ってるつもりなんでこっちのが気になるわ
ログとかもらえたら助かるで
この6時間だけでもWin10限定とか特定のウィルスチェックソフトで問題起きたりとかしとるんで
対策ができるならしときたいしできんなら注意喚起をしときたいで 支部にVecteus-v1で書いた小説を追加しとったで、お友達も書いてくれてるので「EasyNovelAssistant」で検索しとくとええかも
金玉を空にできる自信あるレベルになってきたわ
それに伴いgithubとnoteもちょい更新しといた、ほんと今のところVecteus-v1が一番オススメ
ゴールシークも改造して頂いてるようでうれC
そいや三章・四章・終章の小説執筆で、急に話がつまらなくなる印象を受けた際、jsonの部分を削ることで改善したことが何回もあったわ >>66
作例情報サンガツ！
作例や記事メニューにリンク追加しといたで
ワイはRTX 3060 12GB環境なんやが
LightChatAssistant-2x7B-IQ4_XS-Context8K-GpuLayer33
Vecteus-v1-IQ4_XS-Context4K-GpuLayer33
のどっちを使うかを決めきれん感じや
なんとな～くLCAのほうがええ回答をくれる時がある気がしとる
VRAM 8GB以下やったらVecteus安定な気はするね
Vecteusは読むより速く生成してくれるんで生成物のAI二次処理を考えなやね Text generation web UI導入してみたら
同じVecteusを使っててもEasyLightChatAssitantと違って
倫理観が高くてすぐ申し訳してくるんや
contextを上手いこと設定したらよさそうっていうのは分かったんやが
逆にEasyLightChatAssitantはどこで倫理観下げてるんや？ ひさびさに英語小説をlumimadeで試したけど、もしかしてすごくないかこれ？
規制が外れただけじゃなく、英語の表現力がmiqumaidに比べてかなりアップしてるような・・・
これがllama-3-70Bの本来の力か EasyNovelAssistantアプデしたらプロンプトと関係ないことしか書かなくなっちゃったけど
全部消してインスコし直したら治った
結構気に入った文章書いてくれてて仕様変わっちゃったんかって焦ったけど
治ってくれてマジ良かった >>68
兄弟のNinjaでは本来設定すべきInstruction formatを適用するとなんでか申し訳したり英語の返答でたりしやすい気がするで
オカルトじみてはいるんやが…
VecteusはInstruction format不要なモデルなはずなんでLLMへの入力がタグのない日本語文のみになっとるか確認
あとは総コンテキスト長を4K、生成コンテキスト長1K、あたりになってるかあたりかなぁ
量子化モデル使う場合はこっち https://huggingface.co/mmnga/Vecteus-v1-gguf/ >>70
これ自分も起きたんですが生成分の長さを4096より大きくすると起きるみたいです >>70
ワイもや、なおVecteusだけでなくsniffyotterでも同様の現象に見舞われた模様
なので推奨2048(3000番台でもいけるけど荒れるかな……) >>71
Text generation web UIのデフォルトのcontextとかinstruction templatesが倫理観の高いアシスタントを演じさせとるんかな
この辺は手探りでやってくしかなさそうやね >>72-73
ほ、ホンマや！長くすると駄目だった。というか6144でやっててアプデしたからその条件に触れちゃってて
全部消したら128だから治ったように見えてたのか
長く書けるの復活してホスイ… sniffyotterでハードコアポルノのはずがよくわからんハードボイルド小説が始まったんはそういうことやったか 普段はSDで遊んでるんだが連休で時間あったんでEasyNovelAssistant入れてみたけど、最近のローカルLLMすごいね
ゴールシークプロンプト入れて細かく調整すると更に精度上がるし >>70-73
あーなるほど壊れた理由がわかったわ
たぶんモデルメニューのコンテキストサイズ上限を上げたら直るはずや
対策考えるわ 不具合報告と回避法の共有ほんまにサンガツ&すまんやで
対策を入れときました
> EasyNovelAssistant 更新で 生成分の長さ が 4096 以上だと、入力欄と無関係な文章が生成される不具合がありました。
> 生成分の長さ が 最大コンテキストサイズ 以上の場合に、生成分の長さ を自動的に短縮するようにしました。
> 長文を生成する場合は、モデルメニューの 最大コンテキストサイズ を増やします（消費 VRAM も増加）。
生成文の長さを6144にしたい場合は、VecteusからLCAかNinjaに変えて最大コンテキストサイズを8Kにしてな Twitterでやってる人が居たんで真似してみたが、3人で議論させるプロンプト面白いな
ありえない仮定でもそれっぽく話してくれるし一応肯定否定両面から議論して結論くれるので見てて楽しい
キャラクター付けが強すぎると脱線しがちだが（男・女・ロボット）程度なら議論が進みやすい
ただある程度キャラクター性があったほうが話し手がわかりやすいので1行程度で簡素なキャラ付けをしたほうが良かった
Ninjaは脱線して長ったらしくなりがちで、Vecteusのほうがうまい事話を切り上げてくれる傾向がある おもろそう、そういやAutoGPTが流行ったときも討論みたいにさせて結論出させるのやってたわ
こっそりrating_questionableなEasyNovelAssistant用の耳なめASMR台本用意したで、お手持ちのvits2モデルで楽しんでどうぞ
https://github.com/kgmkm/goalseek_ad/blob/main/omake_asmr_name.yaml >>82
サンガツ！
ASMRサンプルに加えさせてもろたで
「絶対に発言してはならない」はLCAのほうが正しく扱えている気がするね EasyNovelAssistantの読み上げサンプルに追加した「エンドレス喘ぎ」がヤバいかもしらん
これはLCAのほうが読み上げ適正の高い出力っぽい
Vectesuは良くも悪くも読める小説風に仕上げられがちな印象や プロンプトを上げる場所が思いつかなかったのではてなに上げてみた
https://anond.hatelabo.jp/20240506211322
クソみたいな日記のケツに3人議論させるプロンプトの自分版が書いてある。先人のを参考にした
ガッツリ例文を書くことで議論の手順をある程度固定化させられるが、
議論順を違えたり、いつまでも議論したり、結論が引き分けなど中途半端なものにはなりやすい
テーマとしては 勃起したちんちんは竹刀の代わりとして剣道の公式試合に使用できる
おまんこの吸引力を敷設兵器として利用すれば、地雷よりも効果が見込める とかそういうの流し込んでも
白熱した議論をしてくれて助かる。たすか…る？ AQML凄いな。はよWindowsでも動くようになってくれんか やっぱlinux行くしかないんかなあ
winとlinuxがブートローダぶっ飛ばし合うの怖ぇなあ… デュアルブートはなあ
Windows君がブートローダーどころかパーティション上書きしてくるらしいから
やるなら完全に別のディスクに入れるのをお勧めする
Linuxはスティック型SSDにインストールするとかね
Linux自体は慣れれば便利だし楽しいぞ、色々とサーバ建てられるし最近はSteamのwindows用ゲーム普通に遊べるし 物理的に別ストレージならノートラブルよね
ノートPCでもない限り無理に同居させる必要はない 聞きたいんだけどsafetensorsのLLMって何で動かすのがベストなの？koboldは無理だよね？ デュアルブート用に残しておいたSSDスロットもデータ用の４Tに変えてもーたｗ
70Bのマージとかしだすとマジ足りなくなるｗ >>91
量子化してkobold
小さいモデルなら大葉 linuxにするメリットってなんですか？
自分もPython使うので興味はあるんですが、以前WSL2入れてVScode使ってみたものの、頻繁にCPUオーバーロードするようになったので辞めました LLMはlinuxで動かすの前提で作られてることが多いから
環境周りでトラブルが起きづらくなるとかかな
あとStableDiffusion見てるとWinより(ネイティブ)Linuxの方が生成速度は高くなる
1割くらい画像生成スピード違ったような
ただWSLだと環境トラブル低減も生成速度向上もあまりないかも >>95
まさにそれが答えなのでは？
wslは仮想pcよかは軽くなったけどそれでもコスト高めだし
あとはllmのツールやpythonのpackageなんかは、windowsでうまくいかないのもちらほらあるし、そういうところでもlinuxの方が向いている面あるかな >>97
あ、なるほど。自分はずっとWindowsしか使って来なかったのでメインデスクトップを完全にlinux移行して大丈夫なのか不安です。。。 AQMLって2bitでも8bit量子化と性能が同等みたいな話あるな
koboldCppで動かせないのがもったいない >>95
VSCodeでWSL内のコードをSSH経由で弄るときにやたらファイル同期のプロセスを立ち上げまくって重くなるバグがあるって聞いたことあるな。今でも残ってるのかは不明
設定で回避できたはず 