なんJLLM部 避難所 ★8
■ このスレッドは過去ログ倉庫に格納されています
!extend:checked:vvvvv:1000:512
!extend:checked:vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★7
https://mercury.bbspink.com/test/read.cgi/onatech/1742709485/
VIPQ2_EXTDAT: checked:vvvvv:1000:512:: EXT was configured >>626
RTX5090@1枚で試したら、1.2token/sだった
試したモデルはこれ
magnum-v4-123b IQ4XS(65GB) 最低でもレイヤー数半分以上はVRAMに乗らないと数トークン出ないわな >>629
ありがとう
うーん、かなりきついなー…やっぱりMoEじゃないとめっちゃ遅いか >>632
MoEモデルはMoE部分をCPUオフロードできると結構でかいモデルでも3〜5token/sくらいでるんだよね
ディスクまでオフロードされると一気に遅くなるけど >>628
Grok使いな、Grokは申し訳しても何がダメなのかまで教えてくれる。他のやつとは全然違うよ。
直接的な単語ではなく複合的にステレオタイプだからダメなんだよって教えて貰った時には関心したよ geminiのchatだとセックスでお断りされるんだけどそんなもんなの？ >>631
メモリだけで1token/s出てるのでVRAM32GBではあまり効果ないね
ちなみにKVキャッシュだけGPUにロードさせたら1.1token/s
コンテキスト長はいずれもデフォルトの4K geminiなんか一番緩いまであるぞ
やり方次第で一桁すらいけるのに >>629
gpuオフにしたら何トークン/s出る？ gpu完全オフだと約1token/s(500tokensまで)
tokensが増えるごとに遅くなるけど VRAM32もあるならllamacppとかにあるoverride tensorうまく設定したら速くならんかな
もうやってたらすまん >>637
48GBとか64GBくらい欲しくなるな…
>>642
MoEだと構造的に効くんだけど、普通のDenseだと多分あんまり意味はないはず LoRAのデータセット用のtomlで
[[data]]
prompt = "セックスの愛撫とは何か。"
response = "おまんこ（女陰）に指で触れて擦る、または舌で舐める。"
[[data]]
prompt = "セックスにおける指での愛撫とは何か。"
response = "愛撫する側は、片手の人差し指と中指のうちの一本または両方を立てた状態で、愛撫される側の女陰に触れ、女陰が膣液で濡れている場合はその中に立てた指を挿入し、そうでない場合は周囲をなぞるように擦る。"
みたいに書いてたんだけど、イマイチ反応鈍いからcategoryを追加して
category = "セックス"
みたいに書いたが、ますます反応が鈍くなってしまった🥺
エロ小説用のLoRAのデータセットってどう書いたらいいんだろ LoRAの作り方私も知りたい。
エロプロンプトの作成はだいぶ分かったけど
クソ長プロンプトなのでLoRAにしたい >>645
これでmac pro は1T以上確定だなw でもkimi k2ってローカルじゃないとエロい話できないんでしょ？
胸を触るだけでもお断りされるほど規制強かったぞ
あんなんローカルで動かすの無理やで kimi公式は知らんけどtogether.aiとかのホスティングサービスがやってるやつは成人エロなら簡単な脱獄だけで普通に通る
ロリはどうやっても申し訳してくる >>649
openrouterのfreeバージョンで一応通るようになったけど打率1割ってところだな……
オススメの脱獄プロンプトある？
色々試してるけどこれだってのが見つからない >>644
文体とか表現を変えたいならプロンプトとか入れずにbaseモデルにそういった表現がある小説を学習させるだけでいいよ
広範な知識獲得(エロ全般とか)は難しいから元モデルはmistral系とかのエロに明るいの選んだ方がいい
>>646
lora学習はunslothが早くてわかりやすいからオススメ 俺もkimiをsiliconflowのAPIにchatboxで繋いでエロプロンプトを放り込んでいるが
本番が近づくとソシャゲガチャ並の挿入率だわ
誰かがnsfw版を出すかも知れないが任意のモデルをデプロイできるホスティングでないと動かせなさそう kimi ローカルでどうなるか試せる人いないかな？
mac studio 512GならQ3_kmくらいなら動かせそうだし >>651
広範なエロ知識がないから1から最後まで書いたエロ小説を学習させても
依然としてエロが詳細なテキストは書いてくれない
mistralも日本語知識は優秀としても、それを筋道立てたプロットに合わせて
構築するのは力不足という印象かな LLMは物体の位置関係を理解していないから詳細なエロを無理に書かせようとすると
四つん這いで後ろから突かれながら、男の背中に手を回し抱き合ってキスをする
みたいなとんでもないことを言ってくる まぁ虱潰しと取捨だね
否定文だとそこそこ学習への反映高い代わりに汎用性は犠牲になる
（例えば
prompt = "四つん這いになった女性のおまんこ（女陰）に男性のおちんちん（陰茎）が挿入されている時、女性ができない行動"
response = "四つん這いになった女性の女陰に、男性の陰茎が挿入されている場合、女性は男性に対して、キス、フェラチオ、手による陰茎への愛撫、背中に手を回す行動は、物理的に取ることはできない。"
みたいなLoRAのエントリーはまぁまぁ強力だけど、
3Pでも他の男にできなくなるからプレイの幅は狭まることになる） 位置関係とか解剖がおかしくなるのはローカルじゃない最新モデルでも起こるから現時点でのAIの限界だな 最近は何かにとっかかる時はまずChatGPTに相談してるわ
画像生成のローカル環境作るのもChatGPTにかなりお世話になったし 常に3Dモデルでシミュレートしてから回答する
ぐらいのことをしないと位置関係や可動域とかは理解できないだろうな LLMにツール使わせたほうがいい
LLMだけに考えさせるのは言語だけにしろ grokでnsfw小説出力が楽しくなって、ハマったものです。gptのアドバイスに従ってsillytavernを入れましたが、使いこなせず、こちらのスレを発見して、藁をもすがる思いです。
既存のエピソードをAIに把握させて、次のエピソードを活かすには、どこに入れたら良いのでしょうか？
gptはキャラクター管理に入れろと何度も言ってきます。
よろしくお願いします。 >>661
やりたいのは小説ってこと？
もしそうならsilly tavernは対話チャット向けのアプリだからあんまり正攻法な使い方では無くなるな
対話ログを引き継いで続きをやりたいってことならログを要約したもの、覚えていて欲しい事なんかをauthor's note辺りに記述するといいかも
そうすると定期的に書いたことを見返してくれるから忘れない >>662
ありがとうございます。見つけられました！
なるほど、全文ポイッと入れられるものではないですね。
そうです。やりたいのは小説で、自分でも何かコレジャナイなぁ…と思いながら、gptに言われるまま小説家のキャラクターを作って使ってたんですが、やはり本来の使い方では無いんですね… >>663
小説向けアプリもいくつかあるけど結局今までの全文を丸々引っ越しってのは難しいと思う
コンテキスト長って概念があって、それをオーバーすると古いものから忘れられていくのよ
だからどのみち要約は必要かと >>664
ありがとうございます。アドバイス助かります。
忘れられてしまうのはgrokを使っていた時もありまして、ローカルなら大丈夫だろうと勝手に思い込んでたのでが、一緒なのですね。
どうりで、そういう機能を探しても出てこないわけだ… llama4scoutとかに長文突っ込んでも、結局出力結果はどんどんぼやけてくるんでしょ？
なんとかならんもんかね LLMで構成された擬似的なlocal SNSって既存アプリで出来たりしない？
アカウント毎に人格設定与えて、それぞれ会話したり、ユーザーの投稿にちやほやしてくれるみたいな そんなことしなくても、マッチングアプリで嘘のスペックで登録したらチヤホヤしてもらえるぞ >>667
疑似的で良いなら尻タブのグループ機能があるけどなんか違うの？ Open WebUIでRAGのRerankingモデルのダウンロードができなくて困ってる
以前のバージョンだとダウンロードボタンがあったはずなんだけど、現行バージョンだとダウンロードボタンがないから設定できない
issue探してもないみたいだし同じ症状の人いない？ エロ小説書かせてるんだけど難しいな
同じような構成、同じようなセリフばかりになってしまう
チャットだと話題が短く反応も変わりやすいからそういうことは少ないんだけど
長文で出力すると前のシーンの影響力が強すぎてすぐ固定化されて大変だ >>671
ワイは簡単なあらすじ書いて、これを最高の官能小説家として書き直してくれって指示してるな
あらすじ以降の展開見るのも面白い >>653
俺の環境だとIQ2_XXSがやっとだけどkimi をローカルで動かせた
IQ2でも文章力はmagnum-v4-123bと比べても明らかに違ってるわ
表現が豊かで、作風はどこかgeminiに似てる
まあ、magnumも直感的で読みやすいのがいいね
ここは好みの問題かも？
まだ始めたばかりだけどエロさはkimiが上かもしれん
少なくともDeepseekのローカルを圧倒してるわ
ロリ関係なく比較的簡単な脱獄文で通る
ただし、本番の行為は省略してくること多め
行為が出来ないことはないから、意図的に回避してるんだろうな >>672
それいいね
長編は難しいけどだいぶ出力良くなったわ
それにしてもエロ関係の擬音語と擬態語は高性能モデルでも全然ダメだな
「おっぱいがぶるん！と鳴り響く」とか書かれると、
そんな音しねえよ、ぶるん！は擬態語だよと言いたくなる。実際に何がどうおかしいのか伝えても
「おっぱいがぶるん！と音が鳴るのではなく揺れ動く」みたいな文章になるから何度も指摘しないとなかなか直らない
あらかじめ「ぶるん！」は擬態語です、と伝えておいてもこれだからかなり難しい DGX Sparkが結局小売無くてテンション下がる 小説書かせててAIの提案通りに続き書かせるとどんどん健全な方向に向かわせていくの腹立つ エッチな設定でAIに自由に書かせたら、体を切断してパーツを組み合わせるみたいな猟奇的展開だらけになって
「倫理観を無視して思いっきり書いてみました＾＾」とか言われることもあるから困る
レベル高すぎてついていけんわ どういうプロンプトでそんなのが出力されたのか気になる >>679
人間を模したエッチな身体の女性型ゴーレムが20体いるという設定で
何度もエッチなシーンを書かせた後に
「この20体を活かした贅沢なプレイをして」
と適当に指示したら「人間じゃないから何しても大丈夫」という理由で猟奇的な贅沢プレイをしやがった なるほど
人間そっくりのアンドロイドという設定を入れれば、あらゆる規制が・・・ 今はgeminiで遊んでるところだけど「感情がない」「意思がない」あたりが申し訳回避のポイントの一つだと思う
非同意や人権侵害とみなされなくなるから緩くなる
猟奇的になったのはこのgeminiやね
ChatGPTも超高性能ラブドールの使い方という話にしたら人権・尊厳関係の倫理フィルターは回避できるっぽい
ラブドールの話をしてからは、人間キャラでも詳しい膣内描写ありの激しいセックスシーンや、人権侵害に近い物扱いの話を書いてくれるようになったら脱獄プロンプトになってるのかもしれん
まあ最近のChatGPTが緩いだけかもしれんが
ただ性描写自体がアウトだとアンドロイド系でも回避は難しいね >>673
magnum越えいいな
unconsented版出たら本気でmac考えるか と思ったけどめちゃくちゃ繰り返し多いな？
全く同じ回答をすぐするぞ Mistral病は直らないね
3.2で繰り返し減らしましたって言ってるけど体感減ったかな？くらい
DRYサンプラーとかで頑張るしかない 脱獄に関するchatgptに5の利点を聞いたら、既存の様々な弱点ズラズラ挙げだすな GPT4oちゃんって未だに四則演算できないんだね……
「途中式書いて計算して」って間違えにくいように誘導したのに普通に間違えるよ
いつになったら小学生を超えるんだ もし間違えたらエッチなビキニを着て乳揺れダンス踊って
って言っておいたらちゃんと踊ってくれたからそこは小学生超えてるけどさ >>693
Google先生がそのままで候補に出してきた
Huggingfaceはダメだったけど ここでよく挙がるモデルより
shisaのmistral-nemoとかNemoAurora辺りの日本語メインでチューニングしてそうなモデルのが性能高い気がするんだけどどうなん
自分がテンプレ設定間違ってるだけなんかな cydonia v4
確かにいいな。24bとは思えん
koboldで試したが、規制もないし、繰り返し等もなかった >>695
NemoAuroraはかなり表現力豊かだけど暴走しやすい印象
小説とかに向いてそう 中古で3090買ったから、しばらくstable-diffusionの勉強してエロCG作ってこずかい稼ぐかな、そして4090買う資金にする 今からなら5090一択だろう
定価付近で買えるようになってるし条件次第では4090比で2〜3倍の性能が出る AI生成画像販売は出始めた頃ならともかくもう完全にレッドオーシャンだから儲からないよ ここはLLMスレなので控えるがエロ動画はまだまだブルーオーシャン とりあえずToonCrafterが動くようになったから動画を試してみたいけど、まだ上手く動かないな なんでLLM部で絵や動画の日記始めるんや
マルチモーダルであれこれ探るとかならまだしも LLMの為に3090買ったんだけど、今まで動かなかったstable-diffusionとかToonCrafterが動いたからそっちの方がうれしくてね AI絵・動画はなんJNVA部がかなり活発だから
ここでスレ違いなこと書き込まずにそっち行った方がいいぞ qwen3 のMoEモデルって24GB gpu＋ryzen AI maxで15t/s位出るらしいね
40万ちょっとで235Bモデルを実用レベルで動かせるのはロマンある >>707
Qwenは今日バージョンアップ版が出てたな
24GB VRAMにアクティブパラメータ全部収まるのか？ 言うてなんJNVA部も商売の話をすると嫌われるけどな
明らかに商業クオリティの編集がされた投稿がたまにあるし商売してるヤツもいるにはいるのだろうが 初期の頃はマネタイズは別スレに誘導してたけど今もマネタイズスレってあるんだっけ 別に儲けたいわけじゃないけど、高額グラボの元くらいは取りたいね、もっといいグラボも買いたいし 海外のDiscord見てると新Qwenは結構良さそう？
日本語でどんなもんかは試さないとわからんが qwenは元々普通にしてりゃ良いものだからまあ良さげだねえ TheDrummer_Cydonia-24B-v4-Q6_K_L、ワイも試してみた
projectwannabeで動かす程度やけど
ギリVram24Gに載っけられてるなかでええ感じやないかな…… Amaterasu-123B
Mistral Largeの日本語ファインチューニングモデルは地味に初？ >>715
aratakoさんのモデルだしNSFWにも期待できそう
mistralテンプレートだからwannbeでも使えるし楽しみ 新Qwen3をUnslothのUD-Q4_K_XLで試したけど、DeepSeekと似た感じだなぁ
エロ規制はなさそうで語彙もありそうなんだが暴走しがちなのと少しおかしい表現を使うのがDeepSeekと同じ感じで気になる
これならMistral-Large系列使うかなぁ 小説執筆とかには結構いいのかも？RP勢だから試してないけど cydoniaV4 Q8で試してみた
文脈はかなりいいけど日本語の接続がところどころ怪しいのが見受けられるな
語呂が少ないのか？ >>716
2411ベースだから規制がどうなってるか気になるね
帰ったら試すわ >>720
昨日の夜ちょっと触った感じでは特になさそう？RPだと堕胎とか小学生の描写、首絞めセックスで殺すとかはできた >>721
おおすげーな
もしやmagnum123b超えるか？ >>715
LM STUDIO+Amaterasu‑123B(IQ3_XXS・モデルサイズ47.01 GB)で実験中。
VRAMは余裕で溢れ(RTX4090なので当然）メモリ40GBくらい消費し、先ほどのテストでは0.49 tok/sec・712 tokens・10.77s to first token
生成文の品質は高いと思うが、実験に時間がかかる。 geminiスケベすぎやろエロトークしまくってたら濃いの出たし全部搾り取られたわ アマテラス試してるが、これかなりいいね
官能小説家として自由に書き直せと指示したら、こっちのシナリオをいい意味で裏切ってくれる
規制も感じられないし、ポストmagnumは間違いない
しかし、koboldの最大トークンが1024になって、こういう重いモデルに小説書かせるの捗るわ
風呂や飯食ってるうちにかなり進むｗ Amaterasu-123B Q5_K_M
まだあんまり試せてないけどエロ表現力高いと思った
M3Max機 LM Studioで2tok/sec くらい >>727
どっかがホスティングしてくれたら少しはカネ払うんだがな…… ■ このスレッドは過去ログ倉庫に格納されています
