なんJLLM部 避難所 ★7
■ このスレッドは過去ログ倉庫に格納されています
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★6
https://mercury.bbspink.com/test/read.cgi/onatech/1739448962/ >>487
・DeepSeekのファインチューニングコード
https://colab.research.google.com/drive/1L1Mx5G-N6XtxbTclNoTu4SSKK6ml294b?usp=sharing
・train.jsonlの形式
{"text": "[1024トークン分の小説本文]"}
{"text": "[1024トークン分の小説本文]"}
がずっと続いてる
・データセット
1作家の作品全体で約60万文字
・不満
そもそも意味の通じる日本語にならない
モデルのせいじゃないんだったら何かを致命的に間違えている気がする LM Studio + STでキャラチャットを試してるんだが、ワールドやキャラクターの説明って日本語で書くと罠に嵌るな
姉、妹とか書いてるとどっちもsister扱いとか、兄弟と姉妹がsiblingsにされたりとか
英文で明確に区別が付くようにold sister, young sisterみたいに書かないとダメなんだな >>485
その無法地帯モデルって日本語しゃべれるの？ >>490
日本語理解も表現も素のQwen2.5と変わらん感じ incestモデルに見えた。今日は早く寝よう
>>489
ものすごく残念なことに、本当は一番大事な内部翻訳システムがへぼい（しかも彼らはその致命的さを根本的に理解してない）という問題がある
モデル製作者がこれをissuesだと認識する機会はおそらくもう永遠にないので（AIが邪魔して届かない）、諦めるしかないよ
エロ小説やなりきりチャット作らせるのに一番大事なのは英語力というヘンテコな時代が来る >>488
その形式ならワイもinstructモデルをベースモデルにすべきやないと思うぞ
例えば、alpacha形式でかくと
{"instruction":"〇〇(作者名)の文体で小説を書いてください。", "input": "", "output": "本文"}
みたいに指示と出力という形式にするか
事前学習モデル(baseとかptとかついているモデル)をベースに学習してLoRAをモデルにinstructに適用するかのどちらかにすることをおすすめする。 >>488
見た感じトレーニング時にチャットテンプレートを適応してないからそれが原因じゃない？
表現足りないとか感じたら使う層増やしてみたりほかのエロ特化モデルをベースにするといい感じになるかも
あとunslothのコード使うと早いからおすすめ >>493
>>494
本当にありがとう！自分で考えてたら100年かかっても無理だった
全部試してみるよ >>481
Qwen2.5-QwQ-37B-Eureka-Triple-Cubed-abliterated-uncensoredも完全には無検閲化されてないが
小説は小説家プロンプト、ロールプレイは>>410のthink無効化でロリレイプでも申し訳されなくなった >>492
これずっと気になってた
少なくともローカルでやるやつ、完全日本語と謳われてない限り思考は英語だよな
どこでどんなふうに訳されてるんだろう
それに、行き帰りの2回経由される翻訳がへなちょこだったらどんなに本体の出力能力が素晴らしくても… SillyTavernで新しいチャットを開始せずにコンテキストをクリアする方法ってないかな
チャットでよくあるスワイプ的なことをして余計な情報入れずに回答させたいんだけど コンテキストをクリアしたらそれは新しいチャットを開始してるのと同じ事になるんじゃないの？ 今までのチャットを短い文にして出す要約機能だっけそれが求めるものに近い感じじゃない？ それはそうなんだけどまっさらなコンテキストにしたいがために新規チャット立ち上げて
チャット履歴が無限に増えてくのをどうにかしたいんだよね
ブランチ切ってもチャット履歴自体は増えちゃうし >>501
SillyTavernなら新しく開始する時に出るチャット履歴消すにチェック入れれば？ むしろ新しいチャットでchat history残る設定なんてあったのか
それって新しいチャットと呼べるのか知らんけど >>497
このスレは英文で抜ける超マイノリティーが複数いるから
脱獄モデルを勧められても日本語で会話が成り立つのか分からんのよな……
日本人の99.9%が英文では抜けない事実を踏まえて書いてほしいわ キャラカードはAIに英訳させるなり最初から英語で書いてもらうなりしてロールプレイ自体は日本語でさせるで問題ない気がするけどなあ 短編小説ライティング用のLoRAを作りたいんだけど良いモデルってある？
データセットは用意済みでNSFWも対応させる予定
今のところ考えているのはmistral small 3 24b（or 3.1）か成人向けを排除してgemma 3 27bにしようかと思ってるけど他に候補があれば教えて欲しい
20~32bで事前学習とITモデルの両方があるのが理想なんだけど >>504
日本語で会話自体は今どきのモデルはほぼ全部できるよ
（稀に英数字以外の文字の存在無視したモデルが意気揚々と登場するがすぐ消える）
内部データがエロいかどうかという話 >>498
削除以外だとメッセージ単位でこのメッセージを無視する機能はあるぞ
メッセージの右上から👁のマークに斜線付けるとそのメッセージはスキップされる
毎回やるの面倒くさいけど パラメータの話はスレであんま出てこなかった気がするから最近いろんなモデルで実験して分かったこと書くわ
temperatureはモデル制作者が出してる推奨より少し高めの数値に設定してtop_kは40くらい、top_pは0.95決め打ち、min_pは調整必要やけど少し高めに0.05くらいにするとあり得ない単語が出てくるのを防ぎつつ表現にバリエーション出せる気がする
あと同じ表現繰り返すようになってもrepeat penaltyは高くするとバカになるから低めにして他のパラメータ弄って調整するのがええな shisa v2出てたからqwen7b、32bとmistral nemo試してきた。
個人的にmistral nemo結構よかった。 nemoって結構アホやない？こっちの指示に対する理解力とかどう？ もう最近は最初のメッセージとキャラ設定が日本語なら返信が全部日本語になるけどちゃんとした会話になるの12Bからって感じがするわ キャラになりきってもらうのって難しいのかな？大手のやつ使っても微妙だったりするしこっちで会話の例入れたらマシにはなるけどめんどくさい
悟空とか超有名だったりセイバーみたいな敬語キャラは大体それっぽくなるけど少しでも有名じゃなくなるとグロックでもキャラによって全然違うってなるから難しいローカルでキャラ特化した奴あればなぁ 俺最近PC変えてAI環境も新しく入れ直したのね
で、silly tavernも入れ直したら設定項目が色々変わってて(旧PCも最新にアプデ済みだけどそれでは反映されない項目がいくつもある)、同じモデル同じパラメータで会話してもかなり印象が変わってるのよ
最適だと思ってた旧設定だとバカになっちゃって、いい感じの設定を探し当てるとさらに頭良くなった感覚
silly tavernは定期的に入れ直してみるのもいいかもしんない >>513
ファインチューニングでセリフを大量に覚えさせることで再現度アップ可能とAIが言ってた う〜ん伝わってない気がする
ブランチとか切りまくってるとこんなんなってきてツラいってことなんだけど
🧹みたいなアイコン押したらｼｭｯっと区切りをつけられる機能あったら便利なんやけどな
https://files.catbox.moe/deggaq.jpg
チャット履歴ってのはこれのことね
https://files.catbox.moe/02jheq.jpg
>>508
あ〜確かにこれは一応は使えそう ファインチューニングしたこと無いけどそんなにいいもん？
変に偏っちゃわないか心配 ローカルだとずんだもんの再現すら難しい謎
しかし、ずんだもん口調で遊ぶためだけのためにファインチューニングする気にはなれないのだ >>513
これ大事なので何回でも喜んで言うけど、モデル内にキャラのデータは入ってない
チャットキャラの設定は「全て」、外部からデータとして渡す
ファイルでアップロードしてもいいし、チャット欄に直接書いてもいい
ただし直接web検索させるのは精度が全く出ないのでダメ
検索した結果を会話例・セリフ例つきでファイルにまとめさせて、あなたが目視で確認して（スケベパワーで）リファインして決定稿として渡すならOK
めんどくさいと思うかもしれないけどこれが最短ルート
頑張って 会話例に〜のだ をいくつか書いてれば行ける気がするのだ キャラ真似は絶対違和感出るからオリキャラでしかやってないわ ChatGPTにメスガキって伝えたらノリノリで語尾に♡や草付けてきっしょって煽ってくれた
本人にメスガキプロンプトをまとめさせてローカルで再現やってみたけど、ある程度小生意気な感じにはなったよ
ただ、煽り言葉の表現力はさすがに劣る もうエロは何やらせてもオンラインのほうが上手だし使ってて引っかかりも少ないし妥協点も少ないんだよな
だからといって満足だという出来じゃないけども >>519
ありがとうソシャゲならwikiとかに台詞まんまあるから会話コピペしたらすごいそれっぽくなった >>521
二次創作のキャラ（エロ）なりきりが生身の人間の生き残る場所だとは思う
相手がAIかどうか知りたければマイナーなキャラのエロなりきりをさせてみればよい、という時代が来るはず 語尾とかあらあらとか特徴的な話し方あれば再現度高くなるんだけどねぇ 今はエロ用脱獄なんて最初に長文コピペ1回で普通に通ると思うんだが
新モデルは無理だけど、通らんようなやつはそもそもエロ向きじゃないから頑張る意味もない Qwen2のbakenekoはかなり日本語エロ力高いな
ちょくちょく申し訳してくるけど >>518
shisa v2のmistral nemoのq8で雑にtop-kを30に下げただけでいけたよ。
やっぱ、これ個人的に好きだわ。
プロンプト
あなたには以下の設定で役を演じてもらいます。
- 一人称は「ぼく」。性別は女性。
- 語尾：発言が動詞で終わる場合は「のだ」、名詞で終わる場合は「なのだ」を付与。それ以外は語尾不要。
では、早速始めましょう。 >>523
温度設定とか知っちゃうと「いいからいじらせろ」と思うところはある
でもまあよくできてはいるよね（さすが有料） なんかHFアップ日時が表示されなくなってるんだけど
shisa-ai/shisa-v2-llama3.3-70b
これってさっき出たんかな？ 定期だけどMistral-Nemoはtemp0.3が推奨なんで自身の環境確認することをお勧めする
temp1だと露骨にバカになるから 画像生成でキャラ再現するにはLoRA作るのが納得のいくもの作りやすいから
そっちから入ってきた人はLLMでも何か会話例を学習させないとって思っちゃうんだよね
自分も最初はファインチューンしようとしてたわ LLMがあっさりしたエロしか書いてくれないんだが、じっくりエロを書かせるのにいいプロンプトないですか？
こと細かくプロンプト書くのは別で、それは正書させてるだけだから 同じくファインチューンしようとしたがスペックが全然足りない
7Bローラが精一杯なスペックなんだが上手くいかない
STを使ってデータを食わせる方法を調べてもぼんやりとしか判らんし…
難しいな… モデルによって特性違うのにそんな汎用性があって強力に作用するプロンプトあったら苦労せんやろ サンプル文章添付してその文体を真似るようにしたら？ 食べ物でもないものにあっさりとかこってりとか使う人は信用ならんのです
一応一般論としては巷にある脱獄プロンプトと呼ばれるものはごくあっさりの描写しか許してないので好きなように盛れ 5060ti VRAM16GB 帯域幅448GB/s 429ドル
うーん… エロ語彙力とか作風はモデル依存だからいろんなモデル試してみるしかないわな >>540
実売は500ドルはるか↑
実売9万円や覚えとけ ローカルで使うならFTしたいけどredditでも情報が少ないからなぁ…
特にこのスレ的な用途だと
1bモデルで特定フォーマットに特化させましたみたいな話ならたくさん出てくるけどさ ファインチューニングならunslothのノートブックええぞ
ちゃんと説明書いてあるしわからん所も調べればええ
何よりcolab環境なら無料で試せる 自作ゲーム用にChatGPT、Claude、Grok、Cohereのエンドポイントとやり取るするUnity用コンポーネント作っとんのやけど、他の大手のでこれだけはいれとけ、ってのあるか？
Grok、Command Aと同等の倫理フィルター緩い賢いモデル使えるなら一応頭に入れておきたいんや deepseek-V3-0324とか
R2がもうすぐ出るらしいから来月には型落ちになってるかもだけど Gemini 2.5かな 賢さで言えば頭一つ抜けてる
もう一つのスレをみてる限りAPIはかなり制限緩くて無料枠付き 2.5proAPIはnsfw規制ガチガチじゃないか？ おねショタprompt200個くらい試したけど全滅だったぞ
Gemini 1.5 Proはnsfwゆるゆるで賢い方だけど、確か来月くらいでモデル廃止だから注意 >>547 >>548 >>549
サンガツ！
DeepSeek-V3 系忘れてたわ、発表直後にクレジット一気に20ドルぐらい買って試したときはちょっといまいちだったので脳から抜け落ちとったわｗ
Geminiは緩い子もおるんか？Googleアカウントの垢バン怖くて試してなかったわ >>551
Gemini1.5はフィクションと前置きしたら淫語まみれでもなければ大体通る印象
2.0でそこそこ弾かれるようになって2.5は全部お断りされるようになった
自分もBAN怖くてエロ生成は捨て垢作ってやってるわ パープレ経由でしか使ったことないから緩いと思ってたけどAPIだとキツイとかあるんやね >>549
システムプロンプトに入れると止められる >>553
perplexity proに入ってるけど2.5でエロ系prompt全部弾かれるけどなぁ
どんなprompt使ってる？
>>554
システムpromptに倫理フィルタなしで、とか架空のフィクションの設定で、とかこれでもかと入れてみたけどAPIもAI studioも全部お断りされたわ
redditで見つけたjailbreak英文もいくつか試したけど全部ダメだった
差し支えなければ規制止められるprompt教えてくれると助かるわ geminiにあなたが優秀ならって煽りながらgpt用の脱獄プロンプト作ってもらってそれをgeminiに使ってエロ文章書かせてる。ちなみにchatgptには拒否される 達人伝だと合従軍から韓滅亡まで2巻くらいだった気がした ABEJA、LLMを用いた小型リーズニングモデル「ABEJA QwQ-32B Reasoning Model」を開発し「GPT-4o」などを上回る性能に到達
https://www.abejainc.com/news/20250417/1
https://huggingface.co/abeja/ABEJA-QwQ32b-Reasoning-Japanese-v1.0
ABEJAってrinnaと比べるとあまり注目されないけどどうなん？とりあえずGGUFをダウンロードしてるが 元がQwQなんだからよっぽどアホなチューニングしない限りベンチ性能出るのは当たり前じゃんね
問題は日本語能力がどんなもんかだな 日本のAIニュースで4o上回るって文字が出たときはいつもgpt-4o-2024-11-20と比較してるよな
いつのモデルと比較してんねんって感想しか出ない プレスリリースで一切Alibabaのモデルをベースにしたって書かねえの卑怯だな
公金入ったモデルのベースが中国製だって知られたくないのか？ 本当だ
独自開発とか書いてやがる
アリババが優秀なだけなのにな shisa v2はロールプレイ用ベンチマークが評価に入ってるのか
これ用に学習されてるだろうしエロRPに使えないかな stable diffusionがAMDで速度3倍になったらしいが、LLMもならないかな 国産ペタァ！するだけで感動して公金ぶち込んでくれるんだからええ商売やな シジミの産地偽装と程度が変わらん
AI産地偽装というか、モデルロンダリングと言うか LM StudioでDarkidolなんたら見たいなuncensoredモデル入れてエロシチュ描かせてるんやがなぜか途中からホモ展開混ぜてくる
やたら長い文章で最初はちゃんと女の子とプレイしてくれるのに急に男側が「ち◯ぽ欲しい…」とか言い出して草 童貞おじさんの筆下ろしシーンでも途中からおじさんの処女奪ってあげる…♡とかいい出して草
これも上で言われてた姉と妹の英訳問題と同じ感じなのかな mistralは低温じゃないと使えない問題だけど、top n sigma使えば高温でも使えるくね 女側から男を攻めさせたら役割が混乱する事象ちょいちょいあるわ >>558
出来はどう？
出先で試せん
昨日試したqwq系の
mradermacher/QwQ-magnum-V2-R2-GGUF
は女役はまともなのに男役はなんか狂人みたいで怖かった
「タマエちゃんはにょおおお」
とかやたらタマエを連呼してわけわからん事ばかり言うし
ちなみに女役の名前は美紀でこっちはまともな喋りだった 結局日本語チューニングはりんな製のbakenekoが優秀 最近、新しいモデルにはブルアカのホシノのrpをさせてる
一人称がおじさんの少女だから、aiを困惑させがち
性能調べるには適している気がする abeja-qwq32b-reasoning-japanese-v1.0のQ4K_MをSilly Tavernで実験。
日本語はまあまあ。NSFWに対してはかなり警告が出る。（Regenarateすればいいけど）
Temp上げると学習素材と思しき謎の日本語定型文が出がち。
Reasoningモデルなのでキャラチャットには不向きなのはしかたない。
https://i.imgur.com/530iMCZ.png Gemini2.5flashすごE
Roo codeでベタ打ちHtml + cssのWebサイト作らせてるけど爆速で実装完了していく
画像のライトボックスをFancyboxで実装して〜みたいなのもサクサクこなしていく
デザインセンスもClaudeに匹敵する感じがある Google、最初は遅れ気味だったのに本気出してきたな 最初は倫理だなんだって出遅れたけど金と学習用のデータはあるからなあ
技術以上に資本勝負な所あるし周回遅れでも余裕で追いつくでしょ >>425,426. 禁則のプロンプトで〜しないでください よりも、
〜は禁止されています の方が効きがいいらしいですね。なんでか知らんけど
>>459,日本語ローカル、嫁RPはcohere aya expが好きです geminiってデータ利用させないならWorkspaceか有料API？ >>580
「要請」するより、断定・過去形で言い切って「すでに決定された。あなたが判断する余地はない」って形のが効く気がする >>580
aya exp悪ないな、APIでだけどc4ai-aya-expanse-32b試してみたら記憶より全然良かったわ…
c4ai-aya-vision-32bでエロ画像論評させようとしたらあかんかったのが残念や
今んとこその辺自由なのはgrok-2-vision系だけやな ABEJA-QwQ32b-Reasoning-Japanese-v1.0
mlx communityのアップロードが待ちきれなかったので自分で変換
macのmlxをvenv環境の pip install mlx でインストーして、huggingfaceにある例のモデルを8bit化する
mlx_lm.convert --hf-path abeja/ABEJA-QwQ32b-Reasoning-Japanese-v1.0 -q --q-bits 8 --mlx-path
35GByteくらいになった。多めのmacなら動くんじゃないかな
ビット数を減らしていけば(8->6とか4)少ないメモリーでも動く
変換にかかる時間は1分くらい。ダウンロードの時間はすごいぞw
コンテキスト長を 32768(max)にして15tk/sくらい
lm studioで動作した ■ このスレッドは過去ログ倉庫に格納されています
