なんJLLM部 避難所 ★4
■ このスレッドは過去ログ倉庫に格納されています
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★3
https://mercury.bbspink.com/test/read.cgi/onatech/1717886234 LCA便利すぎ
浦島太郎だったけどモデルの性能爆上がりしててびっくりした >>190
戦ってるのは初心者…というか過去ログも何も読まないアホだけや
古参も迷惑しとる 5090のリーク情報によるとVRAM32GBかもしれんみたい
32あったらcommand RとTTS併用しながら3Dモデル動かしても余裕だろなあ google colabのkoboldcpp、無料だとT4 gpuがつかえるけど、エロ文章に使ったらbanされるとかある？ mac 64Gだから70BならK4-M(48GByte)がなんとか動く
M4 Ultraはよこい AppleはAI用に自社製プロセッサーを開発してすでに使ってるらしいから、mac studioやmac pro用にフィードバックされるといいなぁ、というかしてくれ anthracite-org/magnum-v2-72b
１か月も前のモデルだけど、日本語エロがかなりいいわこれ
qwen2ベースだったからノーマークだった Llama3.2なんて出てんじゃん
でもあいかわらず日本語やらアジア圏の言語スルーされててかなC スルーと言うか、単に無差別に学習して最終的に出せる品質に達したかどうかってだけでは >>203
そんなわけないやろ…
AIに学習させるデータが勝手に集まって来てくれるとでも思っとるんか？
ある程度は自動化するにしたって低品質なデータとか著作物は除外せなあかんし
どの言語を重点的に学習するかなんて人間の判断や >>204
それだとある程度は日本語も出る理由を説明できへんからな…
学習はしとるんよ
対応と言えるクオリティに達さなかっただけや NSFWとかERPで良い感じの男モデルないかな
女性向けにマネタイズしたいんだけど 2bとか3bの軽いモデルをcpuだけで動かすの、ゲームのNPCとかに
使えるようになってきてはいるんだろうな、という推測 将来的には対戦型のゲームにAIが搭載されて接待プレイしてくれるようになるだろう >>209
できるだろうし最初は同人ゲーあたりからそういうのが出てきそう
ただAIがとんでもないことを口走らないようなセーフティが難しそう
これは私たちが作ったんじゃなくてAIが勝手に暴走したんです！と言い訳しても納得する人ばかりじゃないだろうし EmemeがNPCにLLMを使ったゲームで今月に早期アクセス公開予定だったけど延期してしまった >>211
同人ゲーと言えば、初期の頃chatgptに接続して遊ぶタイプのが出てきてエロ規制が大変だろうな
と思ったけど、ローカルLLMなら規制なんかいらないというか >>213
同人の場合、独自の規約を作って（発言の責任は負えないなど）同意できない場合は遊べない仕様にもできるけど
Ememeさんみたいな大手の場合はそうもいかないかな。よくわからないけど NSFW描写は男女間のシーンで学習してるせいか、男同士でやっててもすぐに「子宮にぶちまけた」「子宮口につっこんだ」とかなっちちゃう
女同士でもそういうのあるのかな？ そりゃ指示が適当かモデルがしょぼいかどちらかだろう >>215
遊ぶ側は気にしなくても外野が騒ぐと面倒だから サイバーエージェントのMistral-Nemoがなんかめっちゃ強いみたいだけど使ったことあるやついる？
存在すら知らなかったわ
https://x.com/aratako_lm/status/1840270470463275396 >>219
>>220
同じ板でGPTで検索してみたらええんちゃう？
このスレはプロンプトを貼り付ける外部SNSとかないから不便だよな >>222
3pなど複雑なプロンプトも
かなり読んでくれるが
合意ありきで描写は淡白気味
プロンプトを調整すれば
いけるかは知らん Mistral-Nemoは長文に強くていいよ。Q8でも3万トークンの小説読ませて質問に答えさせるくらいはできる
板的な用途には今一つだと思うけどいいモデルだわ もう英語オンリーでも構わんからある程度簡単にインスコできるんを探すんご… ソフトウェアのツールでggfuも落とせるのがあったけどどれえあっけな… https://lmstudio.ai/
これこれ
本体英語だけどツール上でhuggingfaceからダウンロードできるよ LM StudioはHF検索→ダウンロードがお手軽なのはよかったんだけど
チャット画面のテキスト編集がしづらいとかで他のクライアントから
アクセスしてサーバとして使うときにGUIが邪魔だったので最近使ってないな
代わりにOllamaをサーバ起動して(Macだとメニューバーにアイコンだけ表示)
VSCode上の自作拡張からOpenAI APIで繋いで使ってる spow12/ChatWaifu_22B_v2.0_preview
このモデル、学習データ見ると日本語かなり行けそうなんだけど出先で試せん 試そうとしたけど22Bは量子化しないとウチでは無理だ… anthracite-org/magnum-v2-72b
↑が日本語エロ素晴らしかったから
mradermacher/magnum-v2-123b-i1-GGUF
こっちも試してみた。
IQ3_XXSだけど、エロいわこれ
こっちはmistralベースだな
magnumの日本語tuneは、かなりエロいみたいだ 浦島なんだけど4090で動きそうなエロLLMはいま熱いのなんなんだろ…？ >>240
量子化見落としてたありがとう
で、試してみたけど日本語は一応話せるけど不自然な感じだね
>>242
同じく4090だけど今使ってるのは以下だなあ
calm3-22b-RP
Mistral-Nemo-Japanese-Instruct-2408 >>243
ワイも片言な日本語でいまいちやった。
小さいモデルだと日本語特化で学習してないと厳しいんだろうな magnum-v2-123b
セリフもエロもいいんだけど、日本語トークンに対応してないから、おせえええええ
macほしいいいいい Himeyuri-v0.1-12Bていうのが小説もRPも好感触なんだけど使ってる人いる？ これから始めるんだけどKoboldcppとEasyNovelAssistantどっちがいいの？ >>248
ENAはKoboldcppにガワ被せてるだけやで
汎用的な使い方するなら普通にKoboldcpp使ったらええ >>247
尻タブで試してみたんだけど文が破綻しててまるで駄目なんだが…
小説用で指示モードとロールプレイには最適化されてませんという説明通りって感じなんだけどどんな設定でRPやってるの？ >>248
EasyNovelAssistantを入れて小説書きたいときはEasyNovelAssistantを起動
チャットしたいときはEasyNovelAssistantの中のKoboldcppを起動するんや
EasyNovelAssistantのgithubページのドキュメントにちょっとだけ情報載ってるから見とくとええで >>243
>>245
微妙なのか
学習データは良さそうだけど…（非公開データだけどエロゲのテキストも学習してるみたいだったし）
Mistral-Smallがベースだからかな？Calm3とかベースでやってみてほしいわ >>247
なかなかええな。Berfhofと同じ人のモデルか
>>250
わい環ではSTでもまぁまぁいい感じだけどな。temptatureを0.35とか低めにしたほうがいいみたい >>253
なるほど…温度低くしろって説明は読んで0.7くらいでやってたや
そこまで低くしないといかんのか
あと、応答ごとに1行だけ表示とかいうチェックを外すと謎の解説文みたいなのが高頻度で発生しちゃうな
でも小説書かせると自然だったからberghof-NSFW-7Bと特徴が似てる感じやね 12Bくらいあると理解力が凄い、ってなるね
magnum-12b-v2-q6_k.ggufがなかなか良い magnumは123bが規制なくて最高なんだがいかんせん遅すぎる
70b常用のワイにもきついw >>256
モモンガニキがgguf公開してくれてるから試してみるか
しかし2BでGPT3.5相当の性能ってほんまかいな SillyTavernでメッセージを送る際自動で鉤括弧をつける方法
Extensions（日本語環境だと拡張機能）内のRegex（日本語環境だと正規表現）を開く
グローバルスクリプトを開く
なんでもいいのでスクリプト名を名付ける
Find Regex（正規表現を検索）の欄に^(.*)$と書く
Replace With（を検索する）の欄に「{{match}}」と書く
other option（その他のオプション）からSubstitute Regex（正規表現の置換）にチェックをつける
知ってるやつも多いと思うけどちょっとググっても引っ掛からなかったので書き込んどく
これだと**で囲んだ場合でもカッコの中に含まれるから注意
**だけ外に出す方法はワカランカッタ
いちいち「」出すの面倒くさい奴用 >>261
入力した文章全体を自動で「」で囲む方法ってこと？
今まで何も気にしてなかったけど、そうすることで何かメリットがあるってことなの？ >>262
普段TRPGで遊んでるから「」ついてることに慣れてただけ
見栄えの問題で意味はないと思う
一応「」つきの文章は大抵の場合は誰かと誰かの会話だから日本語の小説を学習したモデルなら口語調で短めの文が出やすくなるみたいな傾向はあるかもしれない
検証したことはない 自分がバカすぎて入力した文章全体を自動で「」で囲む方法ってこと？って問いに答えてなかった
そうです
囲む必要があるかはわからん
多分ないかも なるほど
TTSで読み上げる時、" "で挟んだ部分だけを読み上げる機能があるから、この正規表現ってやつを上手く使えば日本語文章に馴染んだ「」に置き換えたりも出来たりして >>0266
前スレでその件に関して相談して、正規表現教えてもらったワイが通りますよっと
まさにその通りやで
TTSの読み上げなんかに対応しつつ、見た目は完全な日本語表現に出来るので没入感あがるんやで Berghof-NSFW-7B.f16凄いな
他のモデルが混乱するちょっと変なシチュでもそこそこの精度で出してくれる mradermacher/Luminum-v0.1-123B-i1-GGUF
LumimaidにMagnumを変態マージさせたモデル
nsfwでmagnumがさらに強化されとる
これがサクサク動くマシンがほしいｗ >>0269
AMDもだけどVRAM以外を高速でアクセス可能にする技術発表してるから再来年くらいには実現するかもw 最近うまくエロ文が書けないのは、自分のプロンプトの書き方が悪いからと悟った。
そして、プロンプトの書き方をchatGPTに聞く
こういう文章を書きたいときはプロンプトはどうするべきかとか tokyotech-llm/Llama-3.1-Swallow-70B-Instruct-v0.1
きたか
ベンチ見ると微妙だが・・・さて tokyotech-llm/Llama-3.1-Swallow-70B-Instruct-v0.1
Q5_k_mで試してるが、規制少なくていい感じかも
しばらく遊んでみるわ >>0269
bartowski/Lumimaid-Magnum-12B-GGUF
123Bほどじゃないけど、なかなか良いと思う Q５動くんか、ええな
Q3K_mでもけっこういい感じ
日本昔ばなしとか作らせてる >>276
これいいな
Q3_K_XLで動かしてるけど、ギャグエロみたいな状況をしっかりと描写してくれる
エロいことはちゃんとしてくれるのにキャラ崩壊もしないしすぐにイって中断しないのは偉い
VRAM 10GBしかない俺にとっては今までで最高かもしれん 自分でERPできるモデル作りたいんだけど、みんなデータセットとかどう作ってるんやろか エロゲから引っこ抜いたりmagpieで作るとかじゃない
自分で作らなくとも既存のデータセットで十分いいのが作れるとは思うけど berghofは作者のhuggingfaceからデータセットもダウンロードできるで
同人エロボイスで台本txtが同封されてるのもあるから使えると思う
ワイの貧弱マシンだとそこまでやれんからいいのができたら共有しとくれー メモリ64g vram12g だと何bまで作れるかな？
loraでもいいんだが 4bitでのトレーニングにはなるけどunsloth使えば12bのMistral-NeMoぐらいならできるらしいよ loraの作り方って調べてもよくわからなかったんやがいい感じにまとまってる講座知ってたら教えてほしいやで loraって俺らが使うGGUFでは使えない機能じゃなかったっけ？ と思ってたけどどうやらGGMLを間に噛ませたらGGUFでも使えるみたいね
https://i.imgur.com/JP0aiIM.jpeg 小説を学習させてRPしたいんだが
データセットは1問1答でないと効果ない？ 既存の学習データに対して小説一冊足したところでこれっぽっちも重み付けされないと思う ChatGPTがエロ文書いてと言うと断るけど、エロ文書くのにどういうプロンプトにすればいいかの相談には答えてくれるのが笑える ■ このスレッドは過去ログ倉庫に格納されています
