なんJLLM部 避難所 ★8
!extend:checked:vvvvv:1000:512
!extend:checked:vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★7
https://mercury.bbspink.com/test/read.cgi/onatech/1742709485/
VIPQ2_EXTDAT: checked:vvvvv:1000:512:: EXT was configured なんかこの感じだと来年にはさらにVRAMがたくさん載った製品がどこからか出てきそうではある
でもまぁ来年以降までのつなぎとしてさっさとDGX Spark買って128GBのようなVRAMを使ったLLMに慣れとくって感じかなぁ・・・ エロ用途じゃなくて仕事でも実用的に使えるローカル動かしたいわ 128GB構成だとRyzen AI Max+ 395のノートpcと MacBook proどっちがええんや？ >>173
LLMだけならMacBook proかな
帯域幅(m4 max)がryzenの倍だからLLM推論も倍になる
ネイティブwindows やlinuxに魅力を感じるならryzenもあり M4 Max縺ｮMBP縺ｪ繧峨Γ繝｢繝ｪ蟶ｯ蝓溷ｹ�縺軍yzen縺ｮ蛟阪□縺九ｉLLM縺ｯMac縺ｮ譁ｹ縺梧掠縺繧薙§繧�縺ｪ縺 gemma3-12b-itの調整してみようとcolabでロードしたらgpuメモリバカ食いして
A100でもほぼまともに動かないんだけどgemma3の仕様？
他のモデルの同規模モデルならこんなメモリ使わないんだけどな Berghof-NSFW-7Bでエロエロ小説を生成してるんだけど、このモデルはどんな要求でもこなしてくれるんだけど、コンテキスト長が4096なのだけが唯一の不満点。
こういうほぼなんでもOKのモデルで最大コンテキスト長がもっと大きいモデルってあるんかな ローカルだとqwq 32Bがロングコンテキストのベンチが良かった気がするからqwq系かね 掲示板の書き込みでshift-jisとutf8の変換で文字化けしているようです。
以下のメッセージを、意訳せず論理的に元の日本語に戻して。
前後の話題としては、M4 MaxのMacBookPro(MBP)とRyzenでLLMを動作させる話題があったのでその関係かも。
>>175 を渡す
Qwen3-32b
M4 MaxのMBPではLLMがMacで実行できるが、Ryzen搭載機でもLLMをMac上で動作させる。
c4ai-command-a-03-2025
M4 MaxのMBPはまだ高嶺の花ですが、Ryzenの方がLLMはMacの壁が厚そうですね。
一応 GPT4.1
M4 MaxのMBPで動かすのとRyzenの自作機でLLMを動かすのは、Macの方が有利だったりする？
ちなみに文字化け変換サイトで正解がでるよ。暗号解読が得意なLLMってあるんかな？ llmを解読の補助に使うなら復号までは機械的にやって意味の通る物が吐き出されたかどうかの判定に使うのが良さそう いつの間にかrpcがまともに動くようになってたんで24b級のモデル探してるんだけどRP用途で皆のおすすめのモデルある？ Project Wannabeでロリエロ小説生成に向いたモデルってどのあたりでしょう？
VRAMは16GBx2です。 mistral nemo 12bベースのwanabi mini 12bを公開したぞ 12GBもあれば快適に動くとようになったはずや 24B版も前の宣伝から更新しているので合わせて見てほしいで 量子化の種類も増やしたで
https://huggingface.co/kawaimasa/wanabi_mini_12b_GGUF
特定の形式に特化したFTモデルだからkobold経由の以下のGUI以外では多分まともに動かないので注意や
https://github.com/kawaii-justice/Project-Wannabe
学習時のコンテキスト長は32Kである程度長い文章でも扱える+チャット形式の生成ではないためマルチターンによる性能低下も発生しないから小説生成にはこの方式が最適やと思ってるで
とりあえず試したい人はベンチマーク代わりにお気に入りの小説を本文欄にコピーしてレーティングだけを設定して続きを書かせてみてほしいで結構良い線いってるはずや 自分の所感やが12B版は24B版よりも低い温度にするとちょうど良いで >>185
wanabi 24B v03から初めてみることをおすすめするやで
試してはいないけどデータソースが年齢関係の表現に無頓着だから学習はしているはずや SillyTavernでGoogle APIの時は日本語で会話できるんだけど、LM Studioサーバーに繋いでポート経由でQwen3 30B A3B使ったら全部英語になった…なぜ？ >>189
SillyTavernのSystem Promptに、「日本語でチャットして」みたいなのを入れてもダメなのかい？
Qwen3は、知らんけど Ryzen AI MAXはMACのM1 MAXみたいな性能でもしょうがないけど
Radeon AI PRO R9700は2枚挿したら画像生成能力もRTX 5090に近いものになって欲しいな
今のところは無理そうだけど そもそもAMDのGPGPU環境が糞なのに
今更AI特化ですとか言われてもってなる デカいモデルは自然言語に強いし小さいモデルはアホ
以上 ここで今RDNA4対応のROCm 6.4.1の速度検証中みたいなんで
良い結果が出ればRadeon AI PRO R9700の購入を検討したいところ
https://github.com/ROCm/ROCm/issues/4443 AMDの技術力を信じられないので後数年は待ちたい
長い間WSLでなら動くからwindows対応した！とか言ってた連中やし 今年後半にはWindowsネイティブ対応します(できるとは言ってない)ってgithubのissueのどれかで言ってたような mistralnemoとmistralsmallのロールプレイの指示プロンプトってどういうのが良いんだろ？
ちょっと進めるだけでセリフとか行動が繰り返しの展開になるよね 同じ表現繰り返しがちなのはMistral系の宿命や
Mistral Largeは違うかも知れんけど動かせてないから分からん 一応言っとくと温度を推奨よりちょっと上げてそのままだと支離滅裂になるから代わりにmin_pもちょい上げるとマシにはなる strix halo機（EVO-X2）入手したんでちょっといじってみた
lm studioでrocmランタイム有効化してmagnum-v4-123bのq3klがだいたい2.5tok/s前後でした 乙
こっちは発送が6/6に延びた...はよ触りたいわ >>205
乙やで羨ましい
ワイも再来年にはそっち側にいきたいで
録画サーバーとひとまとめにしたいから
ITXでも出してくれんかなあ lmスタジオ触り始めたワイに最近ホットなエチエチモデルこっそり教えて >>209
ホットやけど個人で使えるレベル超えてないか？ワイの3090tiでも無理そうなんやが magnum-v4-27bとか色々使ってみたけどエロ会話どころか日本語も安定しないな画像生成AIみたいに日本語強いモデルとエロモデルでマージみたいな事は簡単には出来ん感じ? >>210
メモリ積めば動くで
日本語でエチエチ目的なら、今のところこれを超えるモデルはない >>211
gemmaみたいな規制強いモデルにエロファインチューンすると使ってるデータの言語に過剰適合しちゃう感じ
mistral系ならちゃんとした日本語返してくれるよ 色々試してberghof-erp-7bが今ん所エチエチの解像度高く正確にレスポンスしてくれるんやがコレより更にいいモデルってなるとある？ サイズにこだわらなければMistral系列のもうちょい大きめなやつベースのモデルが良いんじゃない？
BerghofもMistralベースだしmagnum-v4-123bもそうだしMistral系列は俺たちみたいな用途の人間にとっては最強なイメージ
日本産モデルでどっかがエロテキストとかフィルタせず食わせまくってるとかあればポテンシャルは高そうだけどないのかな スプレッドシートとか使ってスレ民で寄り合ってチマチマデータセット作るとかも考えたことあるが >>216
やばいの書き込まれてGoogleアカウントBANされそうやなw >>217
それがあるから代替案模索しとるんやけどなかなか
正直文章程度でbanとかふざけんなよって思うけどそもそものLLMのエロ規制も含め世知辛い DeepSeek R1ってまともにローカルで動かせるんけ？ 蒸留してなくてもKTransformersを使うとそこまで難易度高くない
800GBくらいのDRAMとRTX4090が1つあれば動く R2かと思ったら違った
しかしファイルサイズでかいな…… plamo-2-8bをローカルで動作させられた人いますか？ >>205
すいません
購入を考えているのですが
AI最適化済みのWIN11って普通のものと何か違ってましたか
用途によるんでしょうが、radeonで困ることってありますか >>227
きちんと検証した訳じゃないけど多分普通のwin11じゃないかな
radeonで困ることはおそらくあると思う
lm studioでrocmランタイム有効にするのも一手間かかったし
ユーザー増えて対応進むといいなと思ってる（他力本願） Ai(LLM)で人物とかの設定と細かいストーリーラインを指示して小説風に仕上げることを繰り返して物語を作りたいのですが、おすすめありますか？ DeepSeek-R1-0528-Qwen3-8Bがあるらしいけどまだ公開されてないな >>220
デモ試してるが、日本語でthinkするようになってるね >>228
返信ありがとうございます
cudaがないとやはり一手間かかるんだと思いますが
それも楽しそうですね >>231
日本語性能がかなり上がったように見える RADEONてローカルLLMで使えるんでしょうか？
メモリ容量だけ見るとＮＶより有利に見えるけど... >>234
RADEONだとローカルLLMはVulkanを利用する事になるだろうけど、
画像生成までしたいのならZLUDAでCUDA互換環境を作るとか苦労するだろうね RadeonはLinuxかWindowsかでも結構変わってくる
Linuxのほうが開発が進んでいる
Linuxが扱えない人には難易度高い Ryzen AI MAX ならミニPCやろうし
LinuxでLLM動かして
普段はWinのメインPCからリモートで扱う感じになるんかねえ これ誰か量子化してくれないかなぁ？
pfnet/plamo-2-translate ・ Hugging Face
https://huggingface.co/pfnet/plamo-2-translate >>238
そもそもmac以外で動作するの？という話 >>239
Mac関係あるの？ああ、サイズ大きいんじゃないかって？
Model size 9.53B params, Tensor type BF16 でも大きい？ >>240
mamba-ssm問題が解決してなかったと思う >>238
ていうかSambaモデルがMacというかMLXで動くのか
実はApple Silicon Mac持ちなのでMLXで動くなら動かせるんよ
で、中の人がtranslateの方もMLX用の量子化モデルを作ってくれていたので動かせた
(Model treeのリンクが間違っているので量子化モデルの存在に気付けなかった)
https://x.com/mitmul/status/1927960884103762302
https://huggingface.co/mlx-community/plamo-2-translate >>238
これ精度低いよ
bleuも公開できないほど AmazonでRyzen AI Maxの128GBのが22万円のセールやってるな deepseek-R1-0528のIQ2_XXS動かしてるんだけど日本語は自然になってるね
でも小説書かせてみたらmagnum-v4-123bほどではないんだけどそんなもんかな？ >>249
てゆうかエロ小説でこれを超えるモデルそろそろ出て欲しいんだわ 小説性能ってベースモデルの事前学習時点で決まる感じやから当分は来ないやろね
qwenやgemmaは明らかに学習データをフィルタリングしてるしmistralも最近はSTEM重視の姿勢でクリエイティブ性能落ちてる
deepseekはかなり緩めだけどそれで越えれないなら厳しい magnum-v4-123b使うときGPUとRAM何GB消費してる？
RTX3060 12GBと32GBしか積んでなくて、どれくらい増せばよいのか知りたい >>252
メモリは最低でも64Gないと動かん
64GでもIQ3_Mの量子化が限界
96GあればQ5_K_Mが動くが、メモリで動かすと絶望的に遅いからお勧めしない
ワイは64Gで動かしてるが、プロンプト打ち込んだら、別の事して30～40分掛かって512トークン終わる感じだわｗ
3080tiの12GのVRAMは一応使ってるが、あっても無くても変わらんレベル
しかもmagnum123Bは日本語トークン対応してないみたいで、１文字２トークン使うから、対応してる70Ｂの体感３倍遅いｗｗｗ
RTX6000proQ-Maxが欲しいいいいいいい
このグラボでフルスペックの512G mac買えるけど画像ＡＩにも使えるしマジ悩むｗ magnumは最近のモデルで作ってほしいよね
123bってMistral Largeだしちょっともう古いよね
今ならCommand-Aが元からゆるゆるだしよさそうやが >>252
ありがﾄﾝ
じゃあとりあえず32GBx2買うかあ
最低64GB、相性運よけりゃ4枚刺しで96GBで。現代もメモリの相性問題があるのかは知らんけど・・・ Ryzen AI Max期待してたんだけど微妙なの？ 数値あげてくれとるニキおるからそれ参考にしてもろて >>257
70B以上のモデルでも普通のPCのメインメモリに載せて動かすよりは速いのと省電力性が良いって感じかな Ryzen AI Maxは128GBメモリを使えるPCでは一番安いのが強みではある
そこに良さを感じないなら微妙かもね 結局マシンスペックに帰結するんだよな
もっと手軽に高品質な官能小説出したいだけなのに 楽しみながらデータセット無限生成編始まった一粒で6度美味しい
こういうのみんなで出し合ったらデータセット簡単に作れそうやけど情報偏りそう
https://i.imgur.com/AYt6MwY.png >>262
キャラチャット用のFT手順一式が欲しいわ
今はUnslothとかいうのを使うのか？ 最近ローカルでLLM使えるの知って今日始めてSilly Tavernでオリキャラと会話して遊んでるけど
なんか緊張して関係性進展しなくて草
でも昔恋愛シュミレーションゲームやってて選択肢をどっちにするかとか考えて楽しかったけど
こっちは無限にいろんな分岐があるゲームをやってるみたいで更に楽しいね Project-Wannabeの作者様へ
いつも使わせていただいております
ありがとうございます
要望なのですが
・出力されたものは全てパラメータjsonやkcppsと共に
logとして残しておくことはできないでしょうか
・デフォルトの生成パラメータ数値ヘ簡単に戻すことはできないでしょうか
・出力時に1行ずつ空白行を挿入（改行）されてしまうことが多いのですが、
それをさせないようにすることはできないでしょうか >>263
unslothのcolabノートブック使ってみるといいよ
わかりやすいし何より無料 学習データって>>262のように同じテーマで口調を変えただけのものを用意するのと
バラバラなテーマで口調を変えたものを用意するのとどっちが適してるのかな
もちろんトータルのデータセット数は同じだと仮定した場合ね
前者でいいなら楽にデータセット用意できるけど後者だと内容考えるだけでも大変なんだけど 後者のほうが良いよ
基本多様であれば多様なほど良いと思って良い
テーマのリストとか口調のリストとかをGeminiとかで大量に書かせてリスト化してランダムに組み合わせてLLMに合成させる感じとかでそれなりに多様にはできると思う shisa-ai/shisa-v2-llama3.1-405b-GGUF
だれか試せる人おらんかな？
moeじゃない405Gの日本語finetune 