なんJLLM部 避難所 ★9
Qwen3 Nextってアクティブパラメーター3Bだから
もっと小さいサイズのモデルとの比較になるかな >>844
Mistral Smallを推す人は小説派なんかな？
ロールプレイチャットだとQwen系の方が比較的自然なやり取りになると思ったけどな
喘ぎ声強化プロンプトもQwQは効いてるのにMistral Smallはなんかいまいちだった
Qwen3はそもそもエロ検閲が厳しすぎて諦めたけど TheDrummer_Magidonia-24Bを鉄拳に/no_thinkっての入れて使ってるなぁ12㎇のグラボでできる範囲じゃ今のとこエロで頭良く感じるQwen3はクイズ解かせたりできてめちゃくちゃ頭いいけどエロチャットはなんか駄目だわ >>851
aratakoさんのQwen3-30B-A3B-ERP試した? 作ったエロ小説をepub.jsで読めるようにしている人はいませんか ローカルのllmを使う理由ってエロかapiの従量課金が嫌以外でこう使うといいよみたいな使い方ある？ 仕事で使う場合外部に情報送信するのがコンプラ的にアウトだからローカルしかない
相手が情報漏らしませんと契約してもOpenAIみたいな新興ベンチャーを信じる方がアホやし
中国勢はもっと信用ならん epub.jsでページめくりして、背景画像を変えて、BGMとかも流すことを考えてるけど、やってる人おらんの？ >>857
会社でローカルのLLMなら外部送信しないから使っていいよって言われたの？
どうやって説得したの？ renpyみたいなノベルゲーワークフレームでやったほうが楽そう >>858
これをシステムプロンプトに入れると、喘ぎ声がエロ漫画風になる
文頭に近い奴が使われやすい傾向があるのと、なぜか入れてない喘ぎ声も使いだすようになる
QwQ用に作ったから他のモデルでは上手くいかないかも
セックスの挿入時は「きもぢい♥」「おごおっ♥」「アﾞっ♥」「あﾞっ♥」「あんっ♥」「ん゙っ♥」「んぁっ♥」「んほぉ♥」「ふっ♥」「おﾞっ♥」「いっ♥」
「ひっ♥」「ひぐっ♥」「はへっ♥」「はひっ♥」「んっ♥」「おっ♥」「あひっ♥」「おほぉおっ♥」「だめ♥」などの喘ぎ声を多めに入れてください。
絶頂時は「おほおおお！♥」「イクぅぅぅぅ！♥」「んぼぉぉ♥」「おっごおおお♥」「ほおおおお♥」「イグイグイグイグ♥」「あﾞあﾞあﾞあﾞあﾞあﾞ♥」「きもちいいいい♥」などを叫んでください。 >>856
使用するモデルを完全に固定できるのは開発者にとってはメリットが大きいんじゃないかな
クラウドLLMはバージョンアップ時に雑に旧バージョンを切り捨てるし
都度都度システム障害に対応させられたらたまったもんじゃない
絶対的な性能ではクラウドLLMの方が上だから金持ちならGeminiをオンプレで導入するといった選択肢もあるな 100Bくらいやっぱり必要なんだろ？🤔
まともに会話したりできるのって 文法的にマトモな日本語で返してくるだけなら4B程度から完璧だよ 会話にバリエーションを求めるならQwen3-235B-A22Bが最低ラインじゃね
メモリ128GB VRAM24GBでGGUFがギリギリ動く
235BのNextはよはよ カスタマイズさせた会話を成り立たせるのは32B以上じゃないと無理では？ >>871
主流がMoEモデルに移行したから小型のモデルを弄くり回す意味も消えたな
メインメモリガン積みすればご家庭のPCで235Bが動くんだから
小細工するヒマがあったらメモリを増設すればいい
そのメモリも超絶価格高騰中だからケチってた奴はさらに突き放される流れ Mac Studio（M3 Ultra）とDGX Sparkでgpt-oss-120bの比較
https://x.com/sunazukan/status/1987474685152633174
DGXはM3の7割位の速さとのこと
意外と早いんだね
このくらいの大きさになるとメモリ以外の性能も関わってくるからアレなのかな
まぁ、それでも買おうとは思わないけどw VRAM 16GBとメインメモリ128GBでエロチャットするのにオススメのMoEモデルを教えてくれ M4 maxでもgpt-oss-120bは60-70tk/sでるから
M3 Ultraは512GByteの力技で効いてくるんだな
128GByteじゃ動かないものは動かないから太刀打ちできん
M5 Ultraはmac proだけとか言わないでくれよ... 512gメモリって100万越えやろ？
それならDGXの2台接続と比較しないとおかしくないか 実用的なコンテキストウィンドウがデカいローカルLLMが欲しい ASUS Ascent GX10やThinkStation PGXなら
将来的にワンチャンセールやるかも知れないしな
メモリが超絶高騰中の今ではわりと現実的な選択肢よ ローカルLLMでコンテキストウインドウいっぱい確保できるのある？
よくて32Kだわ そういや理論値、設定値ではなく実効コンテクスト数がどのくらいなのかってデータあんまないよね
まとめをつくると何か面白いモデルが見つかるかもね gpt-ossはkvキャッシュの節約が効いてて結構詰め込める
どういう技術が効いてるのかはようわからんけど 