なんJLLM部 避難所 ★10
!extend:checked:vvvvv:1000:512
!extend:checked:vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★8
https://mercury.bbspink.com/test/read.cgi/onatech/1746883112/
なんJLLM部 避難所 ★9
https://mercury.bbspink.com/test/read.cgi/onatech/1755924738/
VIPQ2_EXTDAT: checked:vvvvv:1000:512:: EXT was configured スレ立て乙
自分の認識だと
7Bモデル 雑なプロンプトでもかなり自然な出力が得られるが賢さは最低限(berghof,vecteusV1が好き)
7B以上（を量子化して無理くり動かす）モデル まともな出力を得るのが格段に難しくなって面倒臭さが賢くなったメリットを上回る
なので初心者でエロ目的じゃなければビッグテックが念入りにチューニングしたクラウドAIが良いのでは
こないだメインメモリ128MBのマシンを作ったんだけど、Qwen3-235Bの量子化モデルにはかなり可能性を感じた。チューニングを頑張ろうと思う 誰か、文章を読解してdanboru語に翻訳するLLM作って、
言葉じゃないんだよ、ビジュアルに付いてるタグが何なのかなんだよ
それが分かれば好きな絵が描ける googleのTPUがエヌビのGPUに取って代わる話が出てきてエヌビ株暴落してるな
個人利用も安価で大きいモデルを動かせたらいいな >>28
情景描写から情景にふさわしい日本語の挿絵プロンプトを出させてから
日本語の挿絵プロンプトをRAGに突っ込んでdanbooru語に変換させればいい
danbooruタグと日本語訳のデータセットはネットに転がってるとスレに3回は書いた記憶
二次創作でブルアカとか今期のアニメみたいな新しいキャラのタグを出させたいならデータセットも更新が必要 どんどんブレイクスルー起こしてほしいな
NVIDIAをぶっこわーす 今自然言語の画像生成モデル増えてきてるんじゃないの？
danbooruタグじゃなくて普通の英文で結構指示に従ってくれてる気がするけど booru語を使う理由ってアニメ系のイラストモデルを使いたいってことだろう
特に虹R18系はbooru語対応モデルしかない lillymixとか自然言語対応やで
割と気に入ってる 乳房を床に付けているプロンプトで、danboru語ではtop-down bottom-up, flexible, になる、これを文章を読んでこれのことだと変換してほしい GPTやGrokでもdanboru変換はできていない redditで見かけたけどQwen-image-edit-2511っていうのが来週来るらしい
自然言語の理解力が向上してるとか
ただ日本語も理解できてエロOKかどうかはわからないな >●多くのモデルには「base」と「instruct」の2種類があるで
>baseはチューニングされていない、与えられた文書の続きを垂れ流すモデルやで
>instructはchatGPTのように対話して質問に答えるようチューニングされたAIやで
MistralPrism24BGGUFのQ8_0使ってるけど、こういうシーンを詳細に描写して欲しいと指示すると、毎回そのシーンの後の方がやたらと出力多い(しかもどの文章も描写が詳細でない)のだが、これって俺が使い方間違っているのかな？
ちなみにVRAM12GB、RAM64GB
悲しいけどこれ以上のモデルは使えないんだよな
もっとPCスペック高ければ望んだようなこと出来るのかな？ >>38
それロールプレイ用モデルだからキャラになりきって会話、つまり短い文の応酬が得意なようにチューンされてるんやろな
シーンを詳細に書き出してほしいならまだ小説向けモデルの方が適正ありそう >>39
やっぱりロールプレイ用だから適してないって訳か。ありがとう
追加で恐縮だが、日本語が得意で小説生成向けなモデルはあったりする？
Aratako氏のはともかく、huggingfaceで検索しても案外Novelで検索引っかからなかったりするし、Japaneseタグで検索しても件数少ないし、日本語対応できててもJapaneseタグは付いてなかったりするしなあ 12月入ったらGPTもエロ対応するしな
Grokよりエロいか楽しみだ、文章の表現力ならGPTの方が上だと思うし >>40
小説系は全然触ってないのでおすすめとかは分からんのやが24B以下のモデルは進化が割と停滞してるんでテンプレに書かれてるモデルを試していく価値はあるんやないかな ところでその環境でmistral24B系のQ8動かすとVRAM溢れてる状態だろうから、今のスピードに納得できてるならもっと大きいの動かしたほうがいい >>38
いっそ小説特化ならAIのべりすとが悪くないと聞く。独自モデルをずっと育ててきたみたいだし
MistralSmall3.1 24Bの経験で書くよ
Mistral系でダラダラ長くなるっつうと、何のアプリで出してるのか分からんけどパラメータのmax new tokensが大きすぎると思う
加えてMistral系は支離滅裂になりがちでtemperatureをおもくそ下げるのが良いとされる
あとプロンプトが悪いのかもしれないが、台詞等をいっぱい例示したところ異様に繰り返しが多くなり閉口した
以上を踏まえた結果、ワイは刑事の誘導尋問みたいな会話で話の展開や要素を与えてやって、良い感じの一人称小説ふうを出せたよ AIのべりすとは独自開発でやってきたけど最新モデルの中身はqwen2.5だという説があるぞ はえーそうなんだ。出来の良いオープンソースモデルが使えるならもはや独自モデルに拘る必要も無いのか…
Mistral3.1 24Bで作ったやつ、ログが残ってたので上げるで。ほぼガチャ無しポン出し編集無しやったと思う
https://files.catbox.moe/pbpjh8.jpg
これで「詳細で無い」というんならもう120Bくらいないとダメだと思う。qwen3-30Bも試す価値あるけどね ローカルにこだわらないでクラウドでもいいなら今更のべたん使う理由はないような ローカルLLMでdanboru変換するのは需要あるんじゃないか gpt-oss-120bで
Stable Diffusion の danbouruタグで表現して。70単語以内で極力詳しく。
「描きたい文章」とかでいいんじゃね? かつてGrokの動画生成でエロ解禁から一転してエロ禁止にしたり、GPTも5.1からさらに規制厳しくなったり、GoogleなんかもっとGoogle広告の時代からコロコロとルール変えたりしてるから、
総じてクラウド利用のAIは全く信用ならないんだよね。こればかりは痛い目遭った人以外には通じない話しなんだが。 信用できないというか今のAIは短期間のうちに仕様が変わりすぎる
性能の差はあれどそこが気にならないなら腰を落ち着けて制作や作業の土台にするなら自分の意志でやらないと変更が起きないローカルの方が向いてるわ アップルがSiriにGemini使用
アップルの自社鯖で動かして通信するからプライバシーの問題はないらしい
年間10億ドル払うらしいけどモデル作るより遥かに安いよな
金かけても1年どころか半年で陳腐化するしこの業界狂ってるわ ローカルllmのロールプレイやりたくてデスクとノートで70B q4をllama のpp並列(Vram 合計56G)で動かせたんだけど、70Bのモデルで十分なんかな？まだsillytavern 入れてやり始めたばっかだから設定が悪いかもしれないが、まぁ同じ言葉繰り返したりしまくるんだよね。
120Bをcpu オフロードしてでも使うべきなのかなーとか。みんな何モデルでロールプレイしてるの？ >>53
初めてならまずはberghof ERP 7Bでsilly tavernロールプレイやるのおすすめやで
コンテキストテンプレートはChatMLやで
後はチャッピーにでもberghof用のおすすめパラメータ設定を聞いて微調整すればよし
まずこれを体験してからこれを超えるモデルを探し続けることや
ワイは応答速度や日本語表現の堅苦しさとかで結局未だにこれを超える物に出会えとらん llamacppのqwen next対応がようやくrebaseに入った・・・
このPRめちゃくちゃ時間かかってるからrebaseも結構時間かかるとは思うけども >>54
ありがとう、7Bモデルで十分やったんか…わからんまま手を出したらあかんな、余計なクラスタ組んでしまった。ubuntu x2のinfiniband 接続とかやってみたが混合GPU 環境でのllama じゃ意味なかったしな…
chatml もわからんから調べてみるわ。 >>56
十分ではないで
ただ、ロールプレイは満足行く賢さと日本語表現力と応答速度の兼ね合いでどこを妥協するかになるんや dense系は高々70Bじゃないかなぁと思う
それ以上は個人用途での評価自体ガクッと減る印象だし、近頃はもう30Bがラインかもしれん
ただ最初は小さいやつで実験しよう このスレで聞くことなのかわからんが知ってたら教えてほしい
roocodeでgithubcopilotのAPIキー使ってclaude3.5sonnet使ってたんだけどclaude3.5sonnetが設定できなくなってたから代替手段を探してる
課金したくないから以前ollamaのAPIキー使ってローカルでやろうとしたんだけど調整がうまくできなくてgithubcopilotに戻してた
今はローカルLLMでもうまくroocodeとかCursorって動かせるの？ 3か月前に色んな言語モデル使ってollamaで動かしてたけど調整が下手でアスペ回答ばっかで結局うまくできなかった >>59
今はantigravityが最強
sonnet4.5もgemini3も無料や >>56
いきなりLLMのシステムを組めるのはスゲーけど、LLMの動かし方(プロンプト、パラメータ、モデルの癖を知る)を知らなさすぎやな
それが分かってないと中規模モデルの操縦はほぼ無理
ChatGPTくらい大規模になると初心者の適当な指示でも推し量ってくれるみたいやけど >>57
そうか、モデル色々触らんとわからんな…
>>63
多少サーバー知識ありはするが、専門外なのでAIに聞きまくりやw
LLMへの理解についてはほんと指摘の通りだわ。今回クラスタ組んでテンソル並列やら、vllm llamaの違いやらinfininband やら学んだから楽しかったけど、まぁやっぱ動かすモデルそのものが何でどう扱うかわかっとかんとダメだったね…
まぁなんにしても環境できたし色々動かして試してみるわ。 ハマると楽しいで、がんばれー
自分のロールプレイモデル遍歴＆レビュー
※ワイのプロンプト技術がヘボい可能性もあるのでうのみにしないでね
※あと上から徐々に経験を積んでいったから、というのもあるので初心者が下のほうのモデルをいきなり使いこなせるかは分からんです
・Vecteus-V1-7B、Berghof-NSFW-7B(ここだけsafetensors、他はgguf)
小規模と侮るなかれ、初心者丸出しのプロンプト、適当パラメータでもRPできる超優秀モデル
ちゃんと会話のキャッチボールが弾む、でも単に地の文章が苦手なのかもしれない。大抵どこかで聞いたような表現ばかりだが、会話が弾むのであまり気にならない。思い切り下品にアヘらせたいならBerghof-ERPを使おう
・Mistral-Small-3.1-24B
明らかに語彙力と表現力が上がっている
が制御の難易度が爆上がりで、さらにMistral独特なのか癖があり、会話を続けるとどんどん破綻してくる。プロンプトやtemparature、repetition-penartyを神経質に弄り倒す羽目になる。
安定したらしたで、地の文章が多めなため「イくぅぅー」ではなく「彼女は絶頂した」みたいな出力になりRP感が削がれた。いまは自分語りをさせる用途で使っている >>46
それと量子化モデルによって性能のバラツキがあるようだ ・Lumimaid-Magnum-12B
24Bの経験から安定動作できる様にはなったが優秀すぎる7Bモデルとの差が小さいと感じた
・Aratako/Qwen3-30B-A3B-ERP-v0.1
操作性と性能のバランスがかなり良い。地の文少なめでRP力も高い。ただ個人的には挨拶後即脱いでくる股のユルさが気になり使っていない。クレクレ野郎でAratako氏はじめ諸氏には恐縮だが、Qwen3-30Bのファインチューンモデルがもっと欲しいな...
・Qwen3-235B-A22B-Instruct-2507-Q3
これはすごい、RPの指示にしっかりと従い、説明的な内容も地の文ではなくセリフの上で表現する。ここ表現が難しいけど結構感動する。
素のモデルだがプロンプトで指示してやるとERPもこなせるようだ。というか発情している「雰囲気」を出してくるのがすごい。
操縦難度はMistral-24B程ではないにせよそこそこある感じで、特にプロンプトには神経を使うようだ。これからチューニングを進めていくところ Openrouterのステルスモデルがmistralの新しいモデルという噂があるね
速度的にMoEや小規模モデルっぽくないのとベンチマーク的に3.1 mediumのちょい上くらいなのでlargeかmediumの新作っぽいからオープンウェイトではなさそうだけど一応期待 >>59
VSCodeにCLINE入れて LMStudio で gpt-ossつことる。120bですら英語でやりとりせんとアホになってしまう
20bは端的に "Refactor hoge() method"と余計な単語は一切入れないとダメ(使わなくなった) Grok4.1ですらエロガバガバな以外は微妙なんやから
Qwen3-235B-A22Bクラスが最低ラインやで
Gemini用に作り込まれたプロンプトがまともに動くかどうかが分かれ目や Grokは4が1.8Tとかいう話もあったしパラメータサイズというより学習に問題があるやつやろ Grokにはいろいろエロを勉強させて貰った、表現力ではGPTの方が上だろうから、エロ解禁がきたらGPTにその知識持っていく Grokが無料なうちにエロの順列組み合わせをバッチ出力させようと思っていたが
他のタスクに嵌って放置してしまった >>71
解禁されるだろうけどたぶんそれでも非合意禁止＆未成年キャラ禁止だと思うぞ。期待しないこった OpenMOSE/Qwen3-VL-REAP-145B-A22Bが日本語性能落ちてる感じもあまりなくてちょっと気に入ってる
235Bは無理でも145Bならメモリに乗るって人も居ると思う >>66
qwen3-235bってmoe モデルだよね。70Bのmagnum や123bのlumimaid にロールプレイで勝てるもんなの？moe は専門家が複数いて、用途によって内部で使い分けるから人格がブレるとからしいからどうなんかなと。 応答5秒かかるならもうロールプレイなんてやる気起きなくなるわ
3秒ならまあ
あとどれだけ賢くてもちゃんとくだけた言い渡しや略語なんかを使って感情表現が豊かでないとチャットやってても気分が盛り上がらんのよな >>62
ありがとう今こんなのあるのか
ちょっと試してみるわ >>76
ロールプレイって音声入力＆出力でやってんの？
キーボードかたかたやって会話しても盛り上がらんだろうし 文章だけのチャットでも楽しいぞ
5chやXとかでレスバで盛り上がってる奴らがいるだろ？
あれぐらいヒートアップ出来るのが文章チャットだ >>78
世代じゃなかったらピンとこんかも知れんけどボイチャが当たり前になる前のオンゲはみんなチャットで熱中してたんやで
LLM出力はTTSで声出しさせてるけどこっちは手打ちや >>80
んーじゃあその頃は>>76みたいにチャットの応答に５秒かかったらアウトだったってこと？
ちょっと想像できないけど >>82
一度に長文を打たずにサクサクやり取りしていくスタイルが好まれてたなー
LINEとかでもそうでしょ？お互い向き合ってチャットしてる時はテンポが大事 ここ1週間ロールプレイのためにいろいろやってみたが、実際ちょい日本語やこんなの言わんやろみたいなのあると萎えるな、70B q4のモデル使てるけど設定詰めたら完璧になるんやろか…
いまのとこ環境作り切った時が一番楽しかった気がするわw 5秒以内の応答を求めるのは対人でも仕事趣味どっちでも結構怖い人だと思っちゃうな
内容次第だとは思うけどそんなすぐ返答出来なかったり細切れにして何度も送るほうが厄介なケースの方が多そう
ここまで書いててAIとのRPでも内容によって応答速度変えられたら面白そうだよね
短文であっても言いづらかったり熟考した末の発言ならわざとディレイをかけるみたいな感じ
その判断に余計なリソース使うし実際にはそう簡単にはいかないんだろうけど上手く行けば人間味みたいなのは出そう チャットの設定ってテンプレとかあるの？JKテンプレとか LLMとStable Diffusion両方やるといろいろ勉強になるな、
Stable Diffusionはdanboru語＋LoRAの文化がすさまじいな
本日の発見は、ロングヘアを舞い上がらせるには、floating hairというdanboru語を使い、floating hairのLoRAも使う
hair spread outというdanboru語もあるけど、弱い。floating hairの方が強い >>86
いや人との会話とLLM使ったロールプレイのを一緒にしないで🥺
オンゲのチャットだって打つの遅い人とかまとめて打つ人のやり取りだって普通にやるで
ただ、何か別のことでもしながら返事待ってるかなーってテンションになるだけや
それがLLMとのロールプレイの場合、別にもうええかー…ってテンションになるだけや 打ち間違いかと思ってたけど一応danbooruな
この辺適当だとpublic hairお化けになっちゃうぞ 爆速エロチャットじゃなきゃイヤって奴にはGrokに課金しとけとしか言いようがないわ ようやっとQwen Next対応がllamacppにマージされた
まだバイナリはできてないけどb7186が出てきｂｽらそれが多分QwenNext対応版になると思うで
長かったなぁ
ほんまに2か月半かかったな 言ってた通り専門のプロがフルタイムで取り組んだってことか！？ LLMに詳しい人ではあったみたいやが、QwenNextの仕組み(ハイブリッドモデル)については今回を機に勉強しながらって人やったみたい
でも途中からLlamacppの創設者のggerganovとか他の中心メンバーも出張ってきて
実装についてかなり綿密にやりとりしとったから、ほぼ専門のプロがフルタイムで取り組んだに近いと思う ロールプレイならAratako氏のモデルとか多々あるけど、NSFW向けの日本語小説地の文に強いモデルってありますか？
自分でも色々ダウンロードして試してきたけど、もしかしたら2024年リリースのモデルは見逃しているのかもしれない・・・ 普通のゲーミングPCだとshisa-v2-mistral-small-24b.i1が個人的に未だトップ
エロは無指定だと官能小説になりがちだから語彙を事前に指定する
ロールプレイもどっちもいける エロ小説の精度はamaterasuとmagnum123bで甲乙つけがたいが
若干amaterasuの方が規制が取り切れてない感がある
ワイの独断偏見やが qwen nextのiq4を4090 + メモリ64GBで動かして16token/sだった
オプションは --context 131072 --n-gpu-layers 100 --n-cpu-moe 37
最適化がまだ完全に終わってないだろうからもうちょい早くなるであろうことを考えると十分やなぁこれ
contextは256kまで行けるみたいやけどとりあえず128kで動かしちゃったからこれで試してる >>101
fastllmの方でrtx3060ｘ2で20tok/s出てたからまだ伸び代はあると思うで qwen3_next_80b_a3b_instruct-iq4_nl.ggufは全然規制ないな
何でもできる >>52
PCでいうとwin95のころ スマホだとiPhone3GSくらいの勢いを感じるな
落ち着いたらつまんなくなると思う！ >>103
マジ？
バニラモデルなのに規制ないの？
あのQwenが？？( ﾟдﾟ) 規制なくても学習量は少なそうだなという印象は受ける でも一般向け内容だと実際100b以上クラスの知的さは感じるわ
Qwen3.5待ち遠しいなぁ ロールプレイに向く70B awq int4のモデルってある？llama3.1 70b instruct awq int4がギリッギリ動くから似たようないいモデルないかなと探してるんだけどなかなか。 Wannabeの作者ここ見てるか知らんけど応援してるで Qwen-next-80B-A3B使ってみたけど確かに規制は緩いな
VRAM12GB+VRAM64GB環境だと5〜7tok/sが限界かな
あと文章が冗長になりがちな印象がある 5070tiと128GBでunslothのQwen3-Next-80B-A3B-Instruct-Q8試してみたけど爆速やん
文章は確かに冗長な感じするからここは調整必要そうやな
規制の有無ってどんな指示出せばわかるん？Qwen3って初っ端は無理でも適当に会話のラリー続ければ最初は拒否られた指示でも通ることあるからようわからんわ >>110
VRAM合計７６Gもあるんか、すげーな Qwen3-next先乗り勢はcliのlammacppでやっとるん？あるいはlm studioもう対応した？ llama.cppをopenwebUIに繋いで試しとるよ >>113
koboldも対応してたで
しかし、80Bとは思えんほど速いな
小説精度はmagnum123bには劣るが 「これ以上されたら壊れちゃう♥」みたいな展開で更に限界超えて攻め続けたら「あああああああああああああああああ」って出力が止まらなくなって草
ロールプレイじゃなくて本当に壊れてどうすんねん >>115
サンクス、こっちもkoboldcppで試してみた。
まだfastllmにtok/sで負けてる(rtx3060ｘ2で8tok/s前後)けどまあ十分速いっちゃ速い。
尻用のキャラカード読ませて標準webから試してみたけどこれ本当にqwen？って思うぐらいにエロには寛容やね >>111
正味のとこ何tok/sくらい行くか教えて欲しい、できたらコンテキスト長も >>111
エロ小説書かせたら即申し訳喰らうけど
ある日 とかに修正すればノリノリで書き始める
規制きついモデルだと書き始めても内容が健全よりになってくけど
これは普通にエロ展開にしてくれるので緩いっちゃん緩いんかな
ただセリフの整合性が7bモデル並みなんだよなぁ >>120
確かだいたい15tok/s前後だった気がする
ほぼUnslothの解説ページから持ってきただけやが実行時のコマンドも置いとくやで
llama-server \
--model /Qwen3-Next-80B-A3B-Instruct-Q8_0-00001-of-00002.gguf --alias "unsloth/Qwen3-Next-80B-A3B-Instruct" --jinja -ngl 99 --threads -1 --ctx-size 32684 \
--temp 0.7 --min-p 0.0 --top-p 0.80 --top-k 20 --presence-penalty 1.0 -ot ".ffn_.*_exps.=CPU"
>>121
試しにインピオ小説書かせてみたら235Bだと一発目は拒否られてたのがnextは内容はともかく拒否られんかったわ
けどセリフの整合性っていうか全体のクオリティは低く感じるな235Bのときは時々だけど「そうそうそれ！！」ってのがあったけどnextはほぼ無い
エロ小説とかエロRP向けにファインチューン出来ればとんでもなく化けそう >>122
120ですありがとう
流石にコンテキスト100000超えとかになるとそんなペラペラとは喋ってくれなそうな感じかな
でもオフロードしててもそんくらい出るなら確かに魅力的 エロいけるけど率先して使う意味も無さ気な性能なのか ただ可能性は感じるので今後ファインチューニングモデルが出ると化ける可能性は大いにあると思う。 ministral3 8Bが来るらしいね
baseモデルもあって微調整しやすそうだしnemoの後継になることを期待してる 