なんJLLM部 避難所 ★10
レス数が900を超えています。1000を超えると表示できなくなるよ。
今ってVRAM16GB RAM64GBで動くエロいLLMモデルやとなにがええんや？
ワイの設定のせいやと思うんやがkoboldcppでamaterasuは十数秒に１ワードで使い物にならんかったわ…
BerghofとMistral-Smallしか使ってない感あって持て余し気味や amaterasuってどんなやつや？と見たら123Bやん
IQ1Sでも26GBあるし
そらデカすぎてまともに動かんですわ SillyTavernでAratako氏のMistralPrism-24B使ってるわ
日本語力高い >>763
その構成ならqwen next 80bの規制解除版Q5_k_mがお勧め RAM64GBだと、50GBクラスのモデルはctx8192とかにしないと厳しいかもね。 DRAM活かすならMoEモデルだから確かにこのへんか
/mradermacher/Qwen3-Next-80B-A3B-Instruct-abliterated-GGUF
30Bは全然エロで出てこなくて画像解説させるためにVLの解除版使っても全然ダメだったんだけど
Next 80Bはエロ自体の学習はしてる感じなんだな
繰り返しペナルティ強めてるせいでどんどん言い換えてくるの面白い コンテキスト長を増やすとどんどん性能が落ちるのは最新モデルでも変わらないので小説やロールプレイなどの用途では128K対応モデルだろうと8192推奨みたいやで
用途に合わせて仕方なく12Kやそれ以上にしてねって感じ エロエロ特化のllmレンタルなら商売になるんでは？ macのlm-studioでしか試してないけど
1. モデルをダウンロード
2. フォルダーマークでダウンロードした translategemma-27b-itを探して、右の歯車クリック
3. Loadタブのコンテキスト量はmaxにした(8192では試してない)
4. Prompotタブの上 (Jinja)のところを下に入れ替える(---は無視)
---
{{- bos_token }}
{%- for message in messages %}
{%- if message['role'] == 'system' %}
<start_of_turn>user
{{ message['content'] }}
{%- elif message['role'] == 'user' %}
{{ message['content'] }}<end_of_turn>
<start_of_turn>model
{%- elif message['role'] == 'assistant' %}
{{ message['content'] }}<end_of_turn>
{%- endif %}
{%- endfor %}
--- 「システムプロンプト」欄に
---
You are a professional English (en) to Japanese (ja) translator.
Your goal is to accurately convey the meaning and nuances of the original English text while adhering to Japanese grammar, vocabulary, and cultural sensitivities.
Produce only the Japanese translation, without any additional explanations or commentary. Please translate the following English text into Japanese:
---
lm-studio再起動、モデルを指定
あとはチャット欄に英文を入れるだけ。Jinjaのプロンプトで2行空行は必須。 今の俺にはRAM256GBは夢のまた夢だが、RAM256GB積めばGeminiと遜色のない小説文章を出力してくれる？
Geminiは0から生み出すというよりも、元の殴り書きから小説文章を生み出すのに秀でているが、これがローカルLLMでも出来たら強いなあと 今ローカルで使える最強のモデルでもgemini 2.5 flashあたり
今の最新のgemini超えるにはメモリがどうとかって話ではなくて不可能 あのgrok2さんが500GBぐらいあるからね
まあサイズが性能ではないけど >>779
Gemini2.5fでも魅力的だが、その場合は256GB？ GLM4.7を想定して書いたけども
もとにしたベンチマークはおそらくbf16で動いてるやろうから1TBになるやね
Q8ならおそらくそこまで劣化ないやろうからほぼ同等の性能が512GBでおそらくいける
それより下の量子化になるとベンチマークでは数値下がってくると思うやで ノベルAIがGLM4.6だっけ？ゲミニと比べたらゴミみたいなもんだし厳しいな GLM 4.5ならともかく、4.6か4.7ならGemini2.5fは越えてるだろ >>774-776
おおきに macOS上LM Studioでちゃんと翻訳できましたわ 2.5fに並んだとき、2.5fの破壊的コスパに敗北する >>761
これ試してみたけどワイの環境で17token/sから20token/sになったわ
いやー実装してる人ら凄いなぁ koboldcpとSillyTavernでロールプレイやってるんだけど少しガード固めのモデルないかな
今はjapanese textgen moe 2x7b nsfwってやつが一番いい感じなんだけど
ずっと同じだと飽きるんでこれに似た感じのないかな
aratakoのrobinhoodとかMistralPrism-24Bとか使ってみたんだけど
すぐエロモードに入ってあんまり面白くないんだよね
１０G前後の軽いやつで何かいいのないかな >>787
コスパはそうなんだろうけど、クラウドサービスである以上いつでも規制きつくなるしな。GPT5.2はそれで死滅した。
多少お金掛かってもローカルで実現できるならそれに越したことはない 何だかんだでチャッピーのエロ解禁はまだまだ伸びそうだな
Grok先生を叩くとは許せん チャッピーってエロ抜きの美しい文章を書くことしか、他のLLMに勝ってないな
基本、Geminiの方が全体的にすごい、エロならGrok、エクセルとかで便利なコパイロット コパイロットは推論の性能というより利便性の向上を目指してるだけだからな 別にそんなことは...有料版使うのが当たり前で無料版はお試しなのはどのLLMも同じことですし
むしろ無料版の比較では上のほうでは Qwen3-Thinkingは日本語で思考させると"Wait," ループに入らず割と快適になった 半年ぐらい前にQwen-235B-A22B-Instruct-2507の性能に度肝を抜かれた以来なんですが
今アツいモデルあったら教えて欲しいです
環境はVRAM24GB、DRAM96GB
LMStudio愛用のローカルLLM初心者です こういうのでいいんだよこういうので
って感じになれるポテンシャルを感じる
追加学習が簡単そうだし
https://youtu.be//2u_EfhEktgQ GLM 4.7 Flashが来た
30B-A3Bらしい glm4.7flashはqwen3-30b-a3bとgpt-oss-20bに対して全領域で明確に上回っとるのか
後発だから当たり前ではあるんやけどこのサイズじゃこの2つが今まで長い間幅利かせとったから
ようやくいい感じの次世代がでてきたという感じやな novelAIの小説補助UIがわけわからん作りしてるから評価不能なんよな
あれを使いこなせる人って作った開発者くらいじゃないのか AIにエロ画像作らせるのは簡単なのにエロ小説書かせるのが難しいのってなんでなんだろうな
エロ創作特化のモデルってなんかあったっけ >>810
Stable Diffusionがガバガバだっただけで他のモデルでエロ画像を作らせるのは難しいぞ 画像精製もLLMもデカいクリトリスだっつてんのに、すぐにチンチンにしてしまうのは一緒やで 簡単と言ってもDeepDreamからSDリリースまで7年くらいかかってるぞ
画像生成は世界中で研究・開発されるのが大きいんだろうな
LLMは言語人口の影響があるからマイナー言語は難しい
あと、小規模で高性能で日本語もできる夢のモデルを誰も開発できてないから
既成モデルのエロチューニングもあまり期待できない エロ画像モデルは言語関係無しに世界中の人が楽しめるけど
エロLLMは言語が合ってないと一切楽しめない
今は音声付きエロ動画が始まってきているからLLMみたいに言語の壁にぶつかるようになるだろうな 画像は多少破綻しててもエロけりゃ気にならんけど文字になると少々の破綻でも気になるからな 画像も1枚物ならまだ見れるけど
連続物とか一本の漫画なんて破綻するからな
文章も同じで短いチャットはできても小説を破綻なく生成させようとしたら計算量が跳ね上がるってことよ clawdbot、コレローカルLLMにローカルPCを好きに使わせるための物だよね
驚き屋はClaude Codeと接続してリモートでバイブコーディングが！とかキャラを付与できる！とか言い続けてて意味不明だったけど...
ローカルLLMを輝かせるものだというなら海外での盛り上がりも理解可能に思える
Discord経由なら英日翻訳Botを噛ませて英語で扱うことも楽にできるし、面白いことが出来そうだね 画像を認識させてその内容に合ったセリフ等を生成するにはどうしたらいいでしょうか？ glmの画像モデルが今huggingfaceのトレンドに上がっとる
2週間ぐらい前に公開されてたみたいやが知らんかったな
画像内のテキスト描写に特に力入れてるみたいやな
普通の内容の描写はベンチマークでzimageに負けとるな kobold.cppをスマートアプリコントロールが阻止するようになったんだが、
オフにしたらwin11を再インストールするまでオンにならんとか脅迫めいたこと書いてあるし、どうすっぺ >>822
VLM使うか、キャプション生成してLLMに投げる ltx-2にエロ動画作成指示のプロンプトの生成支援をさせたいんだがお勧めのモデルとなるとやっぱglm系やろか？一応ローカルかnanogpt経由で4.6は動かせる。geminiには申し訳された プロンプト作成ぐらいならqwen3 nextとかGLM4.6Airでも十分じゃないか
どっちも規制緩めだし
それでも通らなければabliterated使えば良い
GLM4.6はプロンプト作成で使うにはオーバーな気がする GLM4.6Vだな
画像認識特化してるらしいし、プロンプト作成にはもってこいじゃないかな 中華AIは脱獄のガードは緩いがエロ系の画像やテキストを学習していないから用途が限られるんやないか
大型MoEモデルが主流になってからエロチューンもほとんど出ていないし
FTで何らかの突破口が必要やな 架空の男の娘人格作れてちゃんと会話が成り立つモデルある？ つい最近lumimaid-magnum-v4-12bを使い始めたんだけど
エロ目的だと結構規制されるけどそんなもんですか？詳しい人がいたら教えて欲しい
イラっとしたからheretic化して使ってます k2.5かなりいいな
脱獄も簡単だしコンテキストの保持性も悪くない >>831
全く申し訳されないよ
プロンプトが悪いんじゃない？ k2.5をローカルで動かすにはどれくらいのスペックが必要なんや？ >>831
フロントエンド何つこてる？
lm studioとkoboldcppで使った経験あるがあれで申し訳された経験はないな。おそらくシステムプロンプトに問題があるとは思うが kimi k2はパラメータ数が1Tだからある程度妥協してQ4、KVキャッシュも含めたら768GBくらいはいる
劣化させたくないならQ8+KVキャッシュで1.5GBくらい、
フルならbf16+kvキャッシュで3TBくらいいるんとちゃう 今思うとgpt-oss-120bって公式でmxfp4で配ってて
当時であの精度出してるのは結構すごいことだったんだな
他の同等モデルたちがフルサイズでベンチマークかけられてるのに対して
gpt-ossは4bitで戦ってたわけだから
4bitってなんだかんだ言って結構劣化するもんなぁ >>833, 836
返信ありがとう
みんなシステムプロンプトで回避してる感じなのかな
フロントエンドでollama使ったときとpythonで直にAPI叩いたとき両方でたまに申し訳された感じだった
heretic化前はRefusalsが96/100だったから不通に検閲されてるモデルなんだと思うけど k2.5 unslothの1.8bit版ならVRAM24GBと256GBメモリで10 token/sで動くらしい
メモリ256GBなら個人でも持ってる人居そうやな… 1.8bitやし性能はお察しやろうな…
エロに限定すれば使い物になるのかも？ 俺様スペックで
LM Studio-lumimaid-magnum-v4-12bはエロ最強だ
最近のがっかり
Mistral Small 3.2 24B Instruct 2506
zai-org/glm-4.6v-flash そろそろQwen3-VL-235Bより頭良くてエロいけるのが欲しい うへぇSillyTavernのRSS拡張機能がなんか動かない...
config.yamlからenableCorsProxyをtrueにして関数呼び出しはできているけどRSSフィードの取得に失敗する...
動かせている人居る？ >>845
自己レス
拡張機能の「RSS Feeds」欄にスラッシュコマンド入れるというアホなことしてた
スレ汚しごめんね macos 26から分散コンピューティグがネイティブでサポートされたのでM4 max studioとmacbookで実行動画
Kimi-K2.5(mlx 4.2bit)が24tk/s。
WiFiで分散接続してるっていってるけどほんとかね。まぁTB5で接続すればいいんだけど
www.youtube.com/watch?v=JM41u7emnwo qwenの開発者がこんなポストをしてた
https://x.com/JustinLin610/status/2012533831837143204
少しペースを落としてより良くしていくんだってさ
qwen3-nextの後すぐに3.5出て来なかったのはこういうことだからってことなんだろうか 中共のオープンソース戦略が変わってきたのかもな
技術を誇示してアメリカを威嚇する戦略からAPI販売競争に移行しつつある
中華AI企業が上場して収益性を厳しく求められる時代にもなっている 今年上期はgemma4に期待かなぁ
いつものペースなら春ごろに出てきそうだけど
でもgoogleはgemmaにもう力入れないってニュースも流れてた気もするし
ローカル勢にはなかなか厳しい時期に入りつつある 馬鹿みたいに金かかるのにほとんど金にならないだろうからしゃーないね 後追い企業が名を上げるためにやる以外に理由が無いな もうオープンの主役はGLMとkimiとqwenになってるよね
Deepseekどこいった 研究成果は出てるみたいやけどもう会社として名前は売れたから大型モデルを手間暇かけてオープンにする気無いんやないの
出自からして金融分野で活用して稼ぐ方に注力してそう 言うて3.2で話題になったばっかやん
他社が月一ペースで出してるのがおかしいんであって qepの1bit量子化がちょっと話題になったけどそれを活用したって話を一向に聞かない
誰か活用してんのか？ >>856
日本勢「ちょっと待っていま税金にたかってるから！」 そんなこと言ったら中国勢はほぼ税金でやってるようなもんなんじゃね 日本初のモデルも結構あるんだけどオープンにされてないから話題になってないのよ
まぁ正直オープンにしないのが普通よね >>860
性能が劣ってるのにクローズだとマジで無価値だからな
中国のモデルだって安くてオープンだから価値があるのであってクローズだと使う理由が無くなる >>859
分かってて言ってそうだけど
税金でやる、税金にたかるは全然違うぞ 日本でまともなLLMを一般公開してるのってサイバーくらいしかないよな
誰も弄っていない時点で性能はお察しだが 税金でLLM開発して非公開とかジャップ丸出しで行政訴訟レベル 公開したら「安心の国産AI」に金を払う法人顧客を騙せなくなるかんね 一応楽天の700Bが公開予定でしょ。
予定だけど。 富岳で13Bのしょぼいオープンモデル作ってやった感出したりしてたし そもそも公開する意味がないから日本じゃどこもめったに公開しなかったし
しゃーないから国で国産LLM推進することになったんでしょ
正直今まで米中で公開されまくってきたのが異常だった
ぶっちゃけ米露の宇宙開発に近かったと思うわ
まぁ、性能はアメリカのクローズモデルがトップに君臨してて
それに対して中国はクローズで出しても勝てないからオープンで出して
「オープンでトップ」という称号を得るのが中国のどの会社も目的やったんやろうけど 国策でやる分には先行モデルから少しでもユーザーを削れれば良いしな 公開する意味がない=公開する価値が無い、でしょ
国内でバカを騙しててください LMStudioアップデートしたら挙動おかしくなった
UI上でチャット消せないし、新しいチャット始められないし
いちいちLMStudioを落とすしかない
同じ症状の人いる? 同じ症状かはわからないけど挙動おかしかったからLM-Studio-0.3.36-1に戻した 下手に性能高いの出すと訴えられかねんから中国製ってことにしてたりして LM Studio
モデル選択やシステムプロンプト周りのレイアウトが変わって
少し手間取ってるが挙動は問題なし。 ボイスAI初心者なんやがエロ目的でセリフ読み上げするタイプなら何がいい？ >>876
SillyTavernで使うなら
Style-bert-vits2
GPT-so-vits
重いけど
llasa
T5gemma
という選択肢もある
最近出たのだとQwen-TTS StepFun Flash 3.5が196B-A11Bで良さそうやけど試した奴おる？
Benchmaxingだねって反応は英語で見かけたんやけど
https://i.imgur.com/pRMz5rO.jpeg >>878
試したけどGLMやKimiに勝ってるとは思えない Ubuntuの方がAI向きだと聞いて、少し前にStable Diffussionセットアップしたけど24時間掛かって恐ろしく苦労した
LLMも気になってるけど、5090+Ubuntu 24.04.3LTSで簡単にセットアップできる？
今後も色々苦労しそうならWindowsOSを買ってシステムを作り直そうか悩んでる Windowsは購入してなくてもセットアップできる
ライセンス確認が飛んでくるまで試してそれから考えればいいのでは BIOS設定とかもLinux用にしてるし、そもそもデュアルブートはトラブルに成ると効くし、今の環境を壊すのも嫌で悩んでるのもある
WinからUbuntuに移行した人とかどんな感じか気になる Ubuntuは簡単だと思うけど
難しいかどうかは使う人の知識次第だよね >>877
サンクス
Qwen3-TTSって追加でnsfw用モデルとか用意する必要ある？ >>885
簡単ならセットアップ手順教えてあげなよ >>880
ubuntu24はpythonが3.12なのでちょっと苦労するくらいかな
StableDiffusionがセットアップできたならその知識でLLMいけるよ
GUIならLM Studioをまず使ってみよう
感触つかんだらollamaとかcli系とか
WSL2はWindowsの人の最後の手段だからやめとき Windows環境からlinux追加はほぼ大丈夫なんだけど
linux環境からWinだとブートを遠慮なく踏み潰されるからgrub入れ直しで泣く
デュアルブートはドライブを物理的に分ければトラブルは出づらい LinuxのことはLLMが得意だからLLMに聞くといい
昔とは比較にならないほど捗る
無難なディストロはUbuntu UbuntuだろうがWSL2だろうが、Dockerコンテナ使えばStableDiffusionでもLLMでも簡単にセットアップできるよ wslだと使えるメモリが上限が減るんじゃないの？
easyXXXに頼るんじゃなければ最初からubuntuの方が良さそうな気が winのpythonじゃだめなんか
unixのコマンドも動かしたいってなるとwslなんだろけど 今はほとんどの場合、winのpytonでも問題ないよな llm用途ならwindowsでもほぼ問題ないな。
画像やら音声関連だと周辺ライブラリで問題出ることは若干ある。
windowsで困りがちなのはむしろ最新をnightlyとかからビルドしようとかそういう時に開発ライブラリなんかで困る時なんかや >>887
curl -fsSL https://ollama.com/install.sh | sh
必要なツールが入ってればollamaで良ければこれで優勝 ……その必要なツールとやらを全部集めて正しく入れるのが難しいんじゃねえかな cudaに関してはwindowsが楽なのよな
windowsではcuda周りでエラーが起きた記憶がない
だからwindowsのドライバ(cuda)を直接見れてwinバイナリも動くlinux環境という
wslがllmでは実は結構いいって言う
まぁwslは何か変な状況に陥った時のトラブルシューティングが面倒だけど この数年でwindowsバッチとpythonとgradioに詳しくなったわ vram48gbの改造4090が手元にあるんだけど、ちょうどこのサイズ感で収まるエロチャできるLLMってありますかね？ 48GBって帯に短し感あるよな
100B以上だとQ4じゃ入り切らないしベストサイズの70Bクラスはほとんどない
おとなしく24BのエロチューンをQ8で使うのがええよ Ubuntuのpython、バージョン新しいな、3.10に入れ替えたほうが良いんやろか？
とりあえず、あまり何も考えず気軽にPCを使いたい
あととりあえずStable DiffussionやKohyaのセットアップだけど
Geminiに聞かず、Stability Matrixみたいなソフトも使わず
公式サイトの手順でセットアップして、エラー出たらGeminiに聞くというのが一番効率良さそう
一番やっちゃダメなのがはじめからGeminiに聞く事
これしたらバージョンのおかしなものばかり進められてすげー手こずった
諦めて公式情報でやったらあっさりセットアップできて拍子抜けした
色々セットアップ中だけど、Windowsと同じくらい簡単でソフトも充実したとか聞いたけどまだまだなのかね？
AIの為というのもあるけど、Windowsに嫌気がしてるというのもある
広告まみれなOSになってるし、アップデートで内部の設定が変わって自作スクリプトがご動作したり、UIが変わって戸惑ったり
Windowsに振り回されるのが嫌になってUbuntuにチャレンジしてるってのもある
WinXPのUIが忘れられず、X11+Cinammon(LinuxMintの外観だけ？)にして色々触ってる所
デュアルブートだけど、5090ではセキュアブートOFFの方がトラブルが出にくいらいらしくWindowsとUbuntuの併用は面倒そう
色々アドバイス書いてくれた人ありがとう！！
システムのバックアップ取りながら色々試してみるわ venv ubuntsu24 あとからpython3.10 でググるなりAIに聞くのだ
元の3.12はシステムで使ってるから消してはならぬ SDインストールするのにニンゲンがver確認して...みたいな話がずっと続くのがlinuxなので全面移行はだいぶ人を選ぶよ
wsl方式はめんどくさいところはスルー出来るのが楽 mint使ってからゲーム用にcachyos移行したけどAI含めてなんも困ってない
windowsのが楽っていうのは学習資産があるからで
完全新規はコンパネと設定に分散してめちゃくちゃになってるwindowsなんて意味不明だろうな
テレメトリ切ろうと思ったらprivacy.sexyみたいなの使うしかないし 両方あればめんどくさいところを回避できるって話だよ Qwen3-VL-235Bのhereticが最近上がってたから試した
mmprojは共通だけどNSFWの理解は断然こっちのほうがいいな レス数が900を超えています。1000を超えると表示できなくなるよ。
