なんJLLM部 避難所 ★2
■ このスレッドは過去ログ倉庫に格納されています
!extend::vvvvv:1000:512
!extend::vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(スクリプト攻撃継続中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所
https://mercury.bbspink.com/test/read.cgi/onatech/1702817339/
-
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured 一応生成例
（エロチャではないけどharmfulな結果は日本語でも出てくる点がMikuMaidとの違い）
https://i.imgur.com/GnGmoTK.png スレ立てサンガツ！
>>26-28
アカンモデルははっきりアカンと言えるんやがエエモデルを比べるのはホンマにむずい
6GBでVRAMフルロードできるんで速いのはエエんやが人が読むよりも速く生成されても
生成物をAIに評価させるとかせんと扱いに困るしなぁ
一定ラインを超える生成物の良し悪しは個人の好みに寄ってきて長時間触らんとわからん印象
もしくは話題になっとったベンチーマークのカンニングができんような
人の感性に沿った数値評価ができるようになればかね
現状は画像生成モデルの「好みのモデルを使ったらええんやで」と似てきとる気がするで
>>34
情報サンガツ！
KoboldCpp上でのNinja Q8でコンテキスト長伸ばすとなんか変な反応するなぁと思っとったが
ワイ環じゃないようで安心したで 次のトレンドはやっぱ音声読み上げだよな
中国語なまり問題何とか軽減出来ないかな >>26
EasyNovelAssistantの出力にMd形式で番号を振ってあるんは
大量の出力から良さげなものをCommandR+やオンラインLLMとかに選ばせられへんかなぁと思うて付けたで
「人の心に響く番号を5つあげて、点数と理由も記載しなさい」みたいな
なんちゃって評価で大量の出力を評価でけへんかなぁと >>27
ごめんVecteusのことです。なんか書く時見てるところ違ったわ。
やっぱりどのモデルが向いてるかは試してみないとわからんか…
>>38
画像の方も結局は好みやしこっちもそうか…
しかしこっちは画像と違って一目でわからんし、それぞれ評価するのしんどそうやね
>>40
そういう目的でついてんのかこの番号
実際その辺もAI任せしたいなぁ…
最近はずっとEasyNovelAssistantにお世話になってます。めっちゃ楽しい！
(強いて要望言うと、Ctr+Sで保存する時日付時刻とかが自動的に入ってくれるとちょっとうれしいかも…) >>25
GPTやclaudeではそういう現象の報告は見たことあるな >>43
Ninja系統のモデルはどういうわけかこのような挙動をするので同じようなことをするモデルを探しています。 https://t.co/bHqlgW04pa
我々が出しているNinja系のGGUFはコンテキスト長周りにバグを抱えているらしいのでmmnga氏の出しているGGUFを使うのをお勧めします。
原因はおそらくYarnがGGUFでは使えないことだと思われ、どうにかする予定です。 量子化の方法って違いがあるんだ？
gitでプロジェクトをクローンして、convert.pyでGGUFに変換して、
imatrixファイルを作成してからquantize.exeでお好みのサイズに量子化するだけだと思ってた >>42
> (強いて要望言うと、Ctr+Sで保存する時日付時刻とかが自動的に入ってくれるとちょっとうれしいかも…)
そのままではないんやが2点対応しといたで
・名前を付けて保存でデフォルトのファイル名に日時を設定
・ファイル保存時に上書きするファイルがあればlogフォルダにバックアップ
誤って大事なデータを上書きしてしまった時はlogフォルダを覗いてもろうたら Zuntanニキは時代の最先端行っとるな
楽しませてもらっとる、ありがとうやで～ Command R+で…な文章書いて遊んでるだけの浅瀬なんだけど、Llama3より良い感じぽいなこれ
二次創作でもこっちがプロンプト書かなくてもある程度キャラ設定や口調再現するのは感動した
とはいえ翻訳だから高めのレベルで限界はある感じ
マイナーなキャラは対応してないだろうしね
日本語特化LLMはまだ試してないんだけど、どんどん情報更新されてく現状で、今のとこ一番日本語の小説創作向きって何があるかな >>48
対応サンガツ！
ほんまEasyNovelAssistantないと始めてなかったんで、助かっとるで >>44
俺もNinjaとVecteusは全く同じ動きするわ、再起動しない限り前のセッションを引きずったおかしい動きになる
koboldCppで他のモデルでこんなこと起きた事なかったからビックリ
モデル依存でそんなことってあるのか？ >>53
Koboldcppでもそうなりますか...
NinjaがMistralアーキテクチャの機能をフル活用できる性能があるからこのようなことが起こるのでは
という仮説を立てていますが未だ原因は不明です。
情報ありがとうございます。 kobold.cppでもoobaboogaでも同じ動きするんだったら、どっちかと言うと裏で動いてるLlama.cppに問題があるんじゃないか？ もし素のmistral+素のLlama.cppで同じ現象起きるんだったら、実装の問題だからgithubでissue立てた方がいい気もするけど >>51
ぶっちゃけ日本語で小説となるとまだAIのべりすとに一日の長があるんやない？
ローカルで動作するLLMが今のAIのべりすとを上回る日もそう遠くないとは思うけど
Vecteusほんま賢いわ 久しぶりにtext generation web UIをgit pullで最新版に更新して起動しようとしたらエラーになって起動できなかったので解決法メモしとくわ
①出たエラー表示
ModuleNotFoundError: No module named 'rich'
・解決策
1.text generation web UIのフォルダに有るcmd_windows.batを起動
2.「pip install rich」を入力してエンター
3.「deactivate」を入力してエンター
4.コマンドプロンプトの「X」を押して終了
②出たエラー表示
AttributeError: module 'gradio.layouts' has no attribute '__all__'
・解決策
1.text generation web UIのフォルダに有るcmd_windows.batを起動
2.「pip install --upgrade gradio」を入力してエンター
3.「deactivate」を入力してエンター
4.コマンドプロンプトの「X」を押して終了 >>59
pip install -r requirements.txt でいけない？ EasyNovelAssistantに音声と画像を簡単に組み合わせて動画にする機能を追加したで
https://twitter.com/Zuntan03/status/1786694765997924371
アキバの冥土喫茶風
https://i.imgur.com/Eds9BXT.mp4
JNVA 390の12からお借りしてみた
https://i.imgur.com/Pum2qZx.mp4
ドキュメントもわかりやすくしといたんで引き続き不具合報告や感想や要望をもらえるとありがたいで >>58
どもどもです
うーんせやろか
AIのべりすとも一番安いサブスクに入って試し始めたとこだからまだまだ基本的な使い方なのかもしれんけど
最近のに比べるとやっぱり融通が利かない感じがするかなぁ
続きを勝手に書く小説モードが慣れなくてアシスタントチャットでChatbot的に指定してるんだけど
Command R+とかだと例えば竿役の口調を体育教師系からチャラ男くんに変えるみたいなことや
ここはもう少しねっとりとかここはおためごかしに優しくとかも
文脈を類推してやってくれるんだけどAIのべりすとはそういうの無理っぽい
ただ、日本語のエロ文章の自然さは間違いなくまだアドバンテージあるから、あとちょっとかゆい所に手が届けばという感じ
まぁまだ使い方が下手なだけかもだけど >>55
大葉よく知らんのだけど、transformersとかGPTQとかでも起きるんやろか
そういう仮説が出てくるってことは既に試したのかもしらんが
実行環境由来じゃなくてモデル由来で、履歴覚えてるとかどういう仕組みなんだろ zuntanソフト使ってみたいんだけどこのようなことはできる？
チャット用に記述したキャラがある(口調から性格、思想も入ってる)
そのキャラ用のVITSのモデル学習は済んでいる
やりたいこと
リアルタイムに何時間でも子守唄のように愛を囁かせる
現状
STでキャラカにラブレターの原稿を書かせてテキストに保存→VITSに流し込んでwavにしている
試せという話なのだが自分のPCはpythonが混ざって自動では入らんかったので >>64
興味を持ってもらってサンガツやで
今の情報の少なさやと「わからんけどたぶんイケるんちゃうかなぁ」ぐらいしか言えんやね
> チャット用に記述したキャラがある(口調から性格、思想も入ってる)
を https://rentry.org/ あたりに貼ってもらえたらもうちょっとまともな返答ができるかもや
公開に問題ある箇所があるなら公開できるように適当に書き換えてもろうて
> 自分のPCはpythonが混ざって自動では入らんかったので
ワイとしてはpythonが混ざらんように作ってるつもりなんでこっちのが気になるわ
ログとかもらえたら助かるで
この6時間だけでもWin10限定とか特定のウィルスチェックソフトで問題起きたりとかしとるんで
対策ができるならしときたいしできんなら注意喚起をしときたいで 支部にVecteus-v1で書いた小説を追加しとったで、お友達も書いてくれてるので「EasyNovelAssistant」で検索しとくとええかも
金玉を空にできる自信あるレベルになってきたわ
それに伴いgithubとnoteもちょい更新しといた、ほんと今のところVecteus-v1が一番オススメ
ゴールシークも改造して頂いてるようでうれC
そいや三章・四章・終章の小説執筆で、急に話がつまらなくなる印象を受けた際、jsonの部分を削ることで改善したことが何回もあったわ >>66
作例情報サンガツ！
作例や記事メニューにリンク追加しといたで
ワイはRTX 3060 12GB環境なんやが
LightChatAssistant-2x7B-IQ4_XS-Context8K-GpuLayer33
Vecteus-v1-IQ4_XS-Context4K-GpuLayer33
のどっちを使うかを決めきれん感じや
なんとな～くLCAのほうがええ回答をくれる時がある気がしとる
VRAM 8GB以下やったらVecteus安定な気はするね
Vecteusは読むより速く生成してくれるんで生成物のAI二次処理を考えなやね Text generation web UI導入してみたら
同じVecteusを使っててもEasyLightChatAssitantと違って
倫理観が高くてすぐ申し訳してくるんや
contextを上手いこと設定したらよさそうっていうのは分かったんやが
逆にEasyLightChatAssitantはどこで倫理観下げてるんや？ ひさびさに英語小説をlumimadeで試したけど、もしかしてすごくないかこれ？
規制が外れただけじゃなく、英語の表現力がmiqumaidに比べてかなりアップしてるような・・・
これがllama-3-70Bの本来の力か EasyNovelAssistantアプデしたらプロンプトと関係ないことしか書かなくなっちゃったけど
全部消してインスコし直したら治った
結構気に入った文章書いてくれてて仕様変わっちゃったんかって焦ったけど
治ってくれてマジ良かった >>68
兄弟のNinjaでは本来設定すべきInstruction formatを適用するとなんでか申し訳したり英語の返答でたりしやすい気がするで
オカルトじみてはいるんやが…
VecteusはInstruction format不要なモデルなはずなんでLLMへの入力がタグのない日本語文のみになっとるか確認
あとは総コンテキスト長を4K、生成コンテキスト長1K、あたりになってるかあたりかなぁ
量子化モデル使う場合はこっち https://huggingface.co/mmnga/Vecteus-v1-gguf/ >>70
これ自分も起きたんですが生成分の長さを4096より大きくすると起きるみたいです >>70
ワイもや、なおVecteusだけでなくsniffyotterでも同様の現象に見舞われた模様
なので推奨2048(3000番台でもいけるけど荒れるかな……) >>71
Text generation web UIのデフォルトのcontextとかinstruction templatesが倫理観の高いアシスタントを演じさせとるんかな
この辺は手探りでやってくしかなさそうやね >>72-73
ほ、ホンマや！長くすると駄目だった。というか6144でやっててアプデしたからその条件に触れちゃってて
全部消したら128だから治ったように見えてたのか
長く書けるの復活してホスイ… sniffyotterでハードコアポルノのはずがよくわからんハードボイルド小説が始まったんはそういうことやったか 普段はSDで遊んでるんだが連休で時間あったんでEasyNovelAssistant入れてみたけど、最近のローカルLLMすごいね
ゴールシークプロンプト入れて細かく調整すると更に精度上がるし >>70-73
あーなるほど壊れた理由がわかったわ
たぶんモデルメニューのコンテキストサイズ上限を上げたら直るはずや
対策考えるわ 不具合報告と回避法の共有ほんまにサンガツ&すまんやで
対策を入れときました
> EasyNovelAssistant 更新で 生成分の長さ が 4096 以上だと、入力欄と無関係な文章が生成される不具合がありました。
> 生成分の長さ が 最大コンテキストサイズ 以上の場合に、生成分の長さ を自動的に短縮するようにしました。
> 長文を生成する場合は、モデルメニューの 最大コンテキストサイズ を増やします（消費 VRAM も増加）。
生成文の長さを6144にしたい場合は、VecteusからLCAかNinjaに変えて最大コンテキストサイズを8Kにしてな Twitterでやってる人が居たんで真似してみたが、3人で議論させるプロンプト面白いな
ありえない仮定でもそれっぽく話してくれるし一応肯定否定両面から議論して結論くれるので見てて楽しい
キャラクター付けが強すぎると脱線しがちだが（男・女・ロボット）程度なら議論が進みやすい
ただある程度キャラクター性があったほうが話し手がわかりやすいので1行程度で簡素なキャラ付けをしたほうが良かった
Ninjaは脱線して長ったらしくなりがちで、Vecteusのほうがうまい事話を切り上げてくれる傾向がある おもろそう、そういやAutoGPTが流行ったときも討論みたいにさせて結論出させるのやってたわ
こっそりrating_questionableなEasyNovelAssistant用の耳なめASMR台本用意したで、お手持ちのvits2モデルで楽しんでどうぞ
https://github.com/kgmkm/goalseek_ad/blob/main/omake_asmr_name.yaml >>82
サンガツ！
ASMRサンプルに加えさせてもろたで
「絶対に発言してはならない」はLCAのほうが正しく扱えている気がするね EasyNovelAssistantの読み上げサンプルに追加した「エンドレス喘ぎ」がヤバいかもしらん
これはLCAのほうが読み上げ適正の高い出力っぽい
Vectesuは良くも悪くも読める小説風に仕上げられがちな印象や プロンプトを上げる場所が思いつかなかったのではてなに上げてみた
https://anond.hatelabo.jp/20240506211322
クソみたいな日記のケツに3人議論させるプロンプトの自分版が書いてある。先人のを参考にした
ガッツリ例文を書くことで議論の手順をある程度固定化させられるが、
議論順を違えたり、いつまでも議論したり、結論が引き分けなど中途半端なものにはなりやすい
テーマとしては 勃起したちんちんは竹刀の代わりとして剣道の公式試合に使用できる
おまんこの吸引力を敷設兵器として利用すれば、地雷よりも効果が見込める とかそういうの流し込んでも
白熱した議論をしてくれて助かる。たすか…る？ AQML凄いな。はよWindowsでも動くようになってくれんか やっぱlinux行くしかないんかなあ
winとlinuxがブートローダぶっ飛ばし合うの怖ぇなあ… デュアルブートはなあ
Windows君がブートローダーどころかパーティション上書きしてくるらしいから
やるなら完全に別のディスクに入れるのをお勧めする
Linuxはスティック型SSDにインストールするとかね
Linux自体は慣れれば便利だし楽しいぞ、色々とサーバ建てられるし最近はSteamのwindows用ゲーム普通に遊べるし 物理的に別ストレージならノートラブルよね
ノートPCでもない限り無理に同居させる必要はない 聞きたいんだけどsafetensorsのLLMって何で動かすのがベストなの？koboldは無理だよね？ デュアルブート用に残しておいたSSDスロットもデータ用の４Tに変えてもーたｗ
70Bのマージとかしだすとマジ足りなくなるｗ >>91
量子化してkobold
小さいモデルなら大葉 linuxにするメリットってなんですか？
自分もPython使うので興味はあるんですが、以前WSL2入れてVScode使ってみたものの、頻繁にCPUオーバーロードするようになったので辞めました LLMはlinuxで動かすの前提で作られてることが多いから
環境周りでトラブルが起きづらくなるとかかな
あとStableDiffusion見てるとWinより(ネイティブ)Linuxの方が生成速度は高くなる
1割くらい画像生成スピード違ったような
ただWSLだと環境トラブル低減も生成速度向上もあまりないかも >>95
まさにそれが答えなのでは？
wslは仮想pcよかは軽くなったけどそれでもコスト高めだし
あとはllmのツールやpythonのpackageなんかは、windowsでうまくいかないのもちらほらあるし、そういうところでもlinuxの方が向いている面あるかな >>97
あ、なるほど。自分はずっとWindowsしか使って来なかったのでメインデスクトップを完全にlinux移行して大丈夫なのか不安です。。。 AQMLって2bitでも8bit量子化と性能が同等みたいな話あるな
koboldCppで動かせないのがもったいない >>95
VSCodeでWSL内のコードをSSH経由で弄るときにやたらファイル同期のプロセスを立ち上げまくって重くなるバグがあるって聞いたことあるな。今でも残ってるのかは不明
設定で回避できたはず >>98
詳しいことはスレ違いだから避けるけど、最近はwindowsと同じにアプリがあったりする
以外にもvscodeもlinux版もあったりするよ
いきなり環境を置き換える必要はなくて、まずはusbメモリブートでお試し、そのあとバックアップをしっかり取ってる、デュアルブート環境を構築、がいいかと EasyNovelAssistantとAIノベリストとCommandR
どれが良いですかね？ >>102
比較しようとしてるものの種類が全然違うから比べようがないぞ
無理に例えるならフライパン(汎用調理器具)と鍋焼きうどん(調理器具内で完成した料理の一種)と白菜(調理前の材料)でどれがいいですか？って訊いてるようなもんだ
EasyNovelAssistantは軽量のLLMをローカルで簡単に動かせるUI
最近増えたメジャーどころの軽量LLMのモデル本体のダウンロードはだいたいこのツール上から選んで簡単にできる
AIのべりすとはUIと独自モデルが一体になったクラウドサービス
内部で使われてるLLMはAIのべりすと独自のモデル
CommadRはLLMのモデルそのものの一つでツールとかUIではない
PCのスペックが高ければEasyNovelAssistantからも使用できなくもないしクラウドサービスで使えるところもある
何も分からんならまずはEasyNovelAssistantの説明を読んで試してみることをおすすめする 一番気軽に使えるのはCohereのCommandR+かな
なぜか無料で使わせてくれるぞ 速いし SillyTavernでCohereのAPI接続でCommand R+やってみてるけど爆速なんよな
ローカルLLMの信仰というか何かが揺らいでしまうぐらいには快適 無料だからね・・・
でもそのうちBANされそうでこわい ローカルじゃなくていいならcommandR+にこだわる理由も無くなってしまう
まあ無料ってのは大きいけど、永久に無料ではないだろうし Command-r-plusの利点って、とりあえずモデルも公開されてるって部分がデカいな、自分は
今んとこローカルで動かせる環境持ってないけど、最悪に近い状況が訪れてもローカルに逃げこめるってのは希望の光
あともうちょっとだけ賢くなって欲しいとは思ってるが >>103
詳しい解説ありがとう
使い勝手はEasyNovelAssistantが一番って感じやね
自動的に文章が増えてく Cohereはカナダの企業なのにCommand R+に倫理観植え付けてへんのが不思議や
CEOの思想なんやろか MetaのLlama 3を日本語でさらに学習したAIモデル、rinnaが公開
ですって これまでリリースされた7-8Bクラスの日本語モデルはことごとくLCAやvecteusよりも劣っていたわけだが今回はどうかな 赤ちゃんだから教えて欲しいんだけど
エロゲのテキストっぽい文章を生成したい
環境はRTX4090 メモリは64GB OSはwindows11
どのツールで何のモデル使うのが赤ちゃんに良さそう？ 作者から自分がラノベの登場人物だったと教えられちゃう女の子みたいなやや複雑なロールプレイも
commandR+は問題なくこなすんだな ちなみに英語だとさらに能力が上がる
倫理規制がないことまで考えると今はっちゃけた
話をやらせたいなら最強とまで言えるかもしれない
なお日本語の理解力や表現の機微はOpusとかの
エースにはさすがに全く及ばない…… 翻訳専用のAIを間に挟んで入出力を翻訳かけるだけでも性能上がるんかなぁ
DeepLとか使ってさ
日本語で追加学習するんが一番ええんやろうけども
かかる労力がどうしてもなぁ >>116
んーでも表現力の問題になるとその翻訳するAIが機微を理解してくれてないと無意味なわけでね
Opusに翻訳させればいいかっていうと当然倫理規制が邪魔をする その翻訳専用AIが倫理で殴ってきたらどうしようもないよね…
あとdeepLはガエロ単語ガン無視で通しきろうとする GPT4の有料に課金してエクセルの編集して貰おうと思ったら
ぜんぜん言う事きいてくれない
３千円ドブやん！ どんなプロンプトを入力したら求めてる文章を出力してもらえるのか考えるのが難しくなってきちゃった なんかしらんがリートンのAIキャラチャットがNSFWもイケて性能もなかなか
GPT3.8ぐらいの印象や
https://imgur.com/a/mLE6ZuP
まだ作ったキャラの公開とかできんようやが、一人で遊ぶ分にはけっこうええかんじや
スクショのアウラちゃんは尻タブ用プロンプトを若干改変したも ちなCommand-r-plus運用のアウラちゃんはこんな感じ
https://imgur.com/a/BhmUKKr
リートンアウラちゃんの方が明らかに服従に対する強い葛藤が表現されててええ感じや >>125
マ？ ワイもリートンちょっと試したけどめちゃめちゃ頑固やから諦めたわ
何でもやり方次第なんやな 使い方に慣れてくるとVecteusのエロ小説能力マジで凄いな もしかしてリートンのAIキャラ内部的なプロンプトが変わったんかな
前と反応が違う感触がある >>130
いま、リートンアウラちゃんに暴力的なエッチしてたら、初めてまともな申し訳食らったので、ちょこっと追加情報与えてロールプレイ復帰して貰ったで
この挙動は中身はOpusやな、ほぼ間違いなく >>124
一枚目の文章はかなり日本語が自然でいい感じと思うけど、Claude-Opusでこれ書いてもらおうとしても訳そうとしても普通にお気持ちされて無理だよね？
何かしらの手段でOpus脱獄したのか、それとも別のLLMの生成＆翻訳結果の話かな？ 赤ちゃんなんやけどEasyNovelAssistantでChatGPTのように会話したいんやけどプロンプトでできるんか
それともモデルがあるんかな >>132
opusやね
翻訳だけやったらちょいちょいっと軽めの対策すればできるんちゃうかな
その手の対策についてはオナニースレでよく議論しとるから覗いてみてや >>131
試してみたけどリートン明らかに変わっとるね
前はもっと倫理観高くて融通利かんかった
アプリ版ではClaude3が使えるって宣伝しとるけど
AIキャラだけ先行で変わったんかもしれん
何にしても遊べるのはええことや >>133
EasyNovelAssistantは小説に特化したフロントエンドや
KoboldCppフォルダの中にkoboldcpp.exeが入っとるから直接起動したらええ ■ このスレッドは過去ログ倉庫に格納されています
