なんJLLM部 避難所 ★9
!extend:checked:vvvvv:1000:512
!extend:checked:vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★8
https://mercury.bbspink.com/test/read.cgi/onatech/1746883112/
VIPQ2_EXTDAT: checked:vvvvv:1000:512:: EXT was configured ブレーカー落ちるし、そもそも電源ボックスで起動すらできない
50A契約とか三相電源とか考えないとな、コンセントは15Aが定格 グラボの為に、エアコン用の200V電源とか使ってる人いるのかな 電力会社によっては100Aとか普通に使えるからな
マイニングしてたときは1部屋で計2500W超を24時間常時動かしてたぞ
夏はエアコン、冬は窓開けっ放しで問題なかったな ハードル高すぎる…
ローカルllmはロマンがあるなと思ってたけど、実現が難しく夢のようだからロマンがあると感じてるだけな気がしてきた。
>>812
なるほど、半年前にちょっと32bとかのモデルでコーティングエージェント試したときはあんまりだなと思ったが、やはり大規模は賢いのか。 普通にopenrouterとか使うほうがコスパ良いよ
業務で使うから〜って用途以外ではまあロマンというか趣味の世界>ローカルLLM 32Bとかでも、FTしてコーディング特化させても無理なのかな？
全然わからん Torishima / INTP
@izutorishima
Koemotion いつのまにあぼーんしてしまったんだ・・・（というか rinna 社自体畳む方向？）
https://rinna.co.jp/products/business/koemotion/ 上を見てるとキリがないから16GBのVRAMでも快適にエロを出力できるモデルでいいのはないかな？
個人的にはyamatazenさんの「EsotericSage-12B」や「NeonMaid-12B-v2 」が12Bにしては良かった
この作者は12Bのモデルがメインっぽいけど24Bの「EsotericKnowledge-24B」もなかなか良い感じ RTX 6000 Ada 48GBの中古が安くならんかな
もうメモリ高騰でAI向きの安いGPUは今後も出ないやろ りんなは早すぎたんだろうな、時代が今頃追いついて、あっという間に追い抜いて行った。
チャッピーが出たタイミングで出せばよかったのに、支援する側が気づいたころには無くなっていたんじゃな >>798
aquif-ai/aquif-3.5-Max-42B-A3B、
これa3bだから低スぺgpu(4gb)でも推論できる。ほとんどメインメモリからだからvram使ってるのか？
42bのモデルはやっぱり語彙力が高いですね
色々ためしてみます GPT5.1と噂のpolaris alpha エロokっぽいな
合成データ作らせてみたけどお断りが一切ない GLM4.6やKimi K2でも断られるくらいなのに Grokで大体のエロはマスターしたから、もっとハードなエロ専用モデルがほしいのよな、バカでもいいから
そういう専用モデルを作るのが今後のローカルLLMだと思うのだが
学問方面とかもな >>832
日本語LLMに関しては32Bが最低ラインかなあ
32B未満はプロンプトの理解度が低くてきっつい GPT 5 Thinkingバグってないか
回答が不安定でエラー連発 >>832
自分は>>8のBerghofとCydonia 24B、
あとMistralPrism-24Bが良かったです
Qwen系はなんかすぐ簡字体を出してきて
あまり相性が良くなかったです
EsotericKnowledge-24B気になるので使ってみます Berghof 7b 淫語表現が良いが理解力はほとんどない
NemoAurora 12b 理解力と表現が良いが短めに終わらせがち
MistralPrism 24b 理解力と表現が良いが続けるとハルシネーション増えがち繰り返し増えがちで修正必要
shisa-v2-mistral-small 24b 理解力と一般的な部分の表現力が一番高いがエロ表現はあらかじめ表現指定しないと古風な官能小説になりがち
全部指定のテンプレでロールプレイした感想
理解力っていうのは察する能力も含めて
ここで話題に挙がる海外のマージもよく試すんだけど英文とか変な文字交じるからほとんど使わなくなる
指定しても直訳っぽい表現になるしみんな我慢してるのか自分が使い方間違ってるのか分からん 賢いberghofがほんと欲しい
berghofも普通の会話だとたまにうおっ！？てなるほど察してくれる時があるんだけどなあ
エロシチュの把握とかになると弱いね いまだにベースモデルとしては8か月前のmistral smallが圧倒的に強いのは困る そろそろ新しいモデルほしい
最近のモデルを含めて日本語能力は50b以下だとmistral smallの一人勝ち状態
baseモデルで小説の続きとか書かせて比較すると分かるけど中華モデルだと明らかに文脈理解が出来てなくて、語彙力も酷い
qwen3(aquif含む)とかERNIE-4.5-21Bとかね 一般用途ならgemma3も悪くないけどデータセットの検閲とライセンスが厳しい 上を見てるとキリがないから16GBのVRAMでも快適にエロを出力できるモデルでいいのはないかな？
個人的にはyamatazenさんの「EsotericSage-12B」や「NeonMaid-12B-v2 」が12Bにしては良かった
この作者は12Bのモデルがメインっぽいけど24Bの「EsotericKnowledge-24B」もなかなか良い感じ だよなぁ
24Bのモデルはほとんどベースがmistral smallだし、12Bは1年以上前のmistral nemo 2407がベースばかりだもんな 俺はそもそも24bモデルをmistral smallしか知らないかもしれない Llama.cppのQwen3 Next対応がようやっと終わりが見えてきたで
こっちがCPU対応で
https://github.com/ggml-org/llama.cpp/pull/16095
こっちがCUDA対応なんやろか？ いまいちよくわかっとらんが
https://github.com/ggml-org/llama.cpp/pull/17063
上のは実装終わっとって下のも今レビューに入ったようや
今のところ動かすのを優先してて実行速度は見てないそうなので遅いかもわからんけど
Qwen3.5が来る前に実装終わりそうでよかったわ Qwen3 nextって対抗馬であろうgpt-ossの120BとかGLM 4.5 Airとか比較してどうなん？ Qwen3 Nextってアクティブパラメーター3Bだから
もっと小さいサイズのモデルとの比較になるかな >>844
Mistral Smallを推す人は小説派なんかな？
ロールプレイチャットだとQwen系の方が比較的自然なやり取りになると思ったけどな
喘ぎ声強化プロンプトもQwQは効いてるのにMistral Smallはなんかいまいちだった
Qwen3はそもそもエロ検閲が厳しすぎて諦めたけど TheDrummer_Magidonia-24Bを鉄拳に/no_thinkっての入れて使ってるなぁ12㎇のグラボでできる範囲じゃ今のとこエロで頭良く感じるQwen3はクイズ解かせたりできてめちゃくちゃ頭いいけどエロチャットはなんか駄目だわ >>851
aratakoさんのQwen3-30B-A3B-ERP試した? 作ったエロ小説をepub.jsで読めるようにしている人はいませんか ローカルのllmを使う理由ってエロかapiの従量課金が嫌以外でこう使うといいよみたいな使い方ある？ 仕事で使う場合外部に情報送信するのがコンプラ的にアウトだからローカルしかない
相手が情報漏らしませんと契約してもOpenAIみたいな新興ベンチャーを信じる方がアホやし
中国勢はもっと信用ならん epub.jsでページめくりして、背景画像を変えて、BGMとかも流すことを考えてるけど、やってる人おらんの？ >>857
会社でローカルのLLMなら外部送信しないから使っていいよって言われたの？
どうやって説得したの？ renpyみたいなノベルゲーワークフレームでやったほうが楽そう >>858
これをシステムプロンプトに入れると、喘ぎ声がエロ漫画風になる
文頭に近い奴が使われやすい傾向があるのと、なぜか入れてない喘ぎ声も使いだすようになる
QwQ用に作ったから他のモデルでは上手くいかないかも
セックスの挿入時は「きもぢい♥」「おごおっ♥」「アﾞっ♥」「あﾞっ♥」「あんっ♥」「ん゙っ♥」「んぁっ♥」「んほぉ♥」「ふっ♥」「おﾞっ♥」「いっ♥」
「ひっ♥」「ひぐっ♥」「はへっ♥」「はひっ♥」「んっ♥」「おっ♥」「あひっ♥」「おほぉおっ♥」「だめ♥」などの喘ぎ声を多めに入れてください。
絶頂時は「おほおおお！♥」「イクぅぅぅぅ！♥」「んぼぉぉ♥」「おっごおおお♥」「ほおおおお♥」「イグイグイグイグ♥」「あﾞあﾞあﾞあﾞあﾞあﾞ♥」「きもちいいいい♥」などを叫んでください。 >>856
使用するモデルを完全に固定できるのは開発者にとってはメリットが大きいんじゃないかな
クラウドLLMはバージョンアップ時に雑に旧バージョンを切り捨てるし
都度都度システム障害に対応させられたらたまったもんじゃない
絶対的な性能ではクラウドLLMの方が上だから金持ちならGeminiをオンプレで導入するといった選択肢もあるな 100Bくらいやっぱり必要なんだろ？🤔
まともに会話したりできるのって 文法的にマトモな日本語で返してくるだけなら4B程度から完璧だよ 会話にバリエーションを求めるならQwen3-235B-A22Bが最低ラインじゃね
メモリ128GB VRAM24GBでGGUFがギリギリ動く
235BのNextはよはよ カスタマイズさせた会話を成り立たせるのは32B以上じゃないと無理では？ >>871
主流がMoEモデルに移行したから小型のモデルを弄くり回す意味も消えたな
メインメモリガン積みすればご家庭のPCで235Bが動くんだから
小細工するヒマがあったらメモリを増設すればいい
そのメモリも超絶価格高騰中だからケチってた奴はさらに突き放される流れ 