なんJLLM部 避難所 ★8
mistral nemo 12bベースのwanabi mini 12bを公開したぞ 12GBもあれば快適に動くとようになったはずや 24B版も前の宣伝から更新しているので合わせて見てほしいで 量子化の種類も増やしたで
https://huggingface.co/kawaimasa/wanabi_mini_12b_GGUF
特定の形式に特化したFTモデルだからkobold経由の以下のGUI以外では多分まともに動かないので注意や
https://github.com/kawaii-justice/Project-Wannabe
学習時のコンテキスト長は32Kである程度長い文章でも扱える+チャット形式の生成ではないためマルチターンによる性能低下も発生しないから小説生成にはこの方式が最適やと思ってるで
とりあえず試したい人はベンチマーク代わりにお気に入りの小説を本文欄にコピーしてレーティングだけを設定して続きを書かせてみてほしいで結構良い線いってるはずや 自分の所感やが12B版は24B版よりも低い温度にするとちょうど良いで >>185
wanabi 24B v03から初めてみることをおすすめするやで
試してはいないけどデータソースが年齢関係の表現に無頓着だから学習はしているはずや SillyTavernでGoogle APIの時は日本語で会話できるんだけど、LM Studioサーバーに繋いでポート経由でQwen3 30B A3B使ったら全部英語になった…なぜ？ >>189
SillyTavernのSystem Promptに、「日本語でチャットして」みたいなのを入れてもダメなのかい？
Qwen3は、知らんけど Ryzen AI MAXはMACのM1 MAXみたいな性能でもしょうがないけど
Radeon AI PRO R9700は2枚挿したら画像生成能力もRTX 5090に近いものになって欲しいな
今のところは無理そうだけど そもそもAMDのGPGPU環境が糞なのに
今更AI特化ですとか言われてもってなる デカいモデルは自然言語に強いし小さいモデルはアホ
以上 ここで今RDNA4対応のROCm 6.4.1の速度検証中みたいなんで
良い結果が出ればRadeon AI PRO R9700の購入を検討したいところ
https://github.com/ROCm/ROCm/issues/4443 AMDの技術力を信じられないので後数年は待ちたい
長い間WSLでなら動くからwindows対応した！とか言ってた連中やし 今年後半にはWindowsネイティブ対応します(できるとは言ってない)ってgithubのissueのどれかで言ってたような mistralnemoとmistralsmallのロールプレイの指示プロンプトってどういうのが良いんだろ？
ちょっと進めるだけでセリフとか行動が繰り返しの展開になるよね 同じ表現繰り返しがちなのはMistral系の宿命や
Mistral Largeは違うかも知れんけど動かせてないから分からん 一応言っとくと温度を推奨よりちょっと上げてそのままだと支離滅裂になるから代わりにmin_pもちょい上げるとマシにはなる strix halo機（EVO-X2）入手したんでちょっといじってみた
lm studioでrocmランタイム有効化してmagnum-v4-123bのq3klがだいたい2.5tok/s前後でした 乙
こっちは発送が6/6に延びた...はよ触りたいわ >>205
乙やで羨ましい
ワイも再来年にはそっち側にいきたいで
録画サーバーとひとまとめにしたいから
ITXでも出してくれんかなあ lmスタジオ触り始めたワイに最近ホットなエチエチモデルこっそり教えて >>209
ホットやけど個人で使えるレベル超えてないか？ワイの3090tiでも無理そうなんやが magnum-v4-27bとか色々使ってみたけどエロ会話どころか日本語も安定しないな画像生成AIみたいに日本語強いモデルとエロモデルでマージみたいな事は簡単には出来ん感じ? >>210
メモリ積めば動くで
日本語でエチエチ目的なら、今のところこれを超えるモデルはない >>211
gemmaみたいな規制強いモデルにエロファインチューンすると使ってるデータの言語に過剰適合しちゃう感じ
mistral系ならちゃんとした日本語返してくれるよ 色々試してberghof-erp-7bが今ん所エチエチの解像度高く正確にレスポンスしてくれるんやがコレより更にいいモデルってなるとある？ サイズにこだわらなければMistral系列のもうちょい大きめなやつベースのモデルが良いんじゃない？
BerghofもMistralベースだしmagnum-v4-123bもそうだしMistral系列は俺たちみたいな用途の人間にとっては最強なイメージ
日本産モデルでどっかがエロテキストとかフィルタせず食わせまくってるとかあればポテンシャルは高そうだけどないのかな スプレッドシートとか使ってスレ民で寄り合ってチマチマデータセット作るとかも考えたことあるが >>216
やばいの書き込まれてGoogleアカウントBANされそうやなw >>217
それがあるから代替案模索しとるんやけどなかなか
正直文章程度でbanとかふざけんなよって思うけどそもそものLLMのエロ規制も含め世知辛い DeepSeek R1ってまともにローカルで動かせるんけ？ 蒸留してなくてもKTransformersを使うとそこまで難易度高くない
800GBくらいのDRAMとRTX4090が1つあれば動く R2かと思ったら違った
しかしファイルサイズでかいな…… plamo-2-8bをローカルで動作させられた人いますか？ >>205
すいません
購入を考えているのですが
AI最適化済みのWIN11って普通のものと何か違ってましたか
用途によるんでしょうが、radeonで困ることってありますか >>227
きちんと検証した訳じゃないけど多分普通のwin11じゃないかな
radeonで困ることはおそらくあると思う
lm studioでrocmランタイム有効にするのも一手間かかったし
ユーザー増えて対応進むといいなと思ってる（他力本願） Ai(LLM)で人物とかの設定と細かいストーリーラインを指示して小説風に仕上げることを繰り返して物語を作りたいのですが、おすすめありますか？ DeepSeek-R1-0528-Qwen3-8Bがあるらしいけどまだ公開されてないな >>220
デモ試してるが、日本語でthinkするようになってるね >>228
返信ありがとうございます
cudaがないとやはり一手間かかるんだと思いますが
それも楽しそうですね >>231
日本語性能がかなり上がったように見える RADEONてローカルLLMで使えるんでしょうか？
メモリ容量だけ見るとＮＶより有利に見えるけど... >>234
RADEONだとローカルLLMはVulkanを利用する事になるだろうけど、
画像生成までしたいのならZLUDAでCUDA互換環境を作るとか苦労するだろうね RadeonはLinuxかWindowsかでも結構変わってくる
Linuxのほうが開発が進んでいる
Linuxが扱えない人には難易度高い Ryzen AI MAX ならミニPCやろうし
LinuxでLLM動かして
普段はWinのメインPCからリモートで扱う感じになるんかねえ これ誰か量子化してくれないかなぁ？
pfnet/plamo-2-translate ・ Hugging Face
https://huggingface.co/pfnet/plamo-2-translate >>238
そもそもmac以外で動作するの？という話 >>239
Mac関係あるの？ああ、サイズ大きいんじゃないかって？
Model size 9.53B params, Tensor type BF16 でも大きい？ >>240
mamba-ssm問題が解決してなかったと思う >>238
ていうかSambaモデルがMacというかMLXで動くのか
実はApple Silicon Mac持ちなのでMLXで動くなら動かせるんよ
で、中の人がtranslateの方もMLX用の量子化モデルを作ってくれていたので動かせた
(Model treeのリンクが間違っているので量子化モデルの存在に気付けなかった)
https://x.com/mitmul/status/1927960884103762302
https://huggingface.co/mlx-community/plamo-2-translate >>238
これ精度低いよ
bleuも公開できないほど AmazonでRyzen AI Maxの128GBのが22万円のセールやってるな deepseek-R1-0528のIQ2_XXS動かしてるんだけど日本語は自然になってるね
でも小説書かせてみたらmagnum-v4-123bほどではないんだけどそんなもんかな？ >>249
てゆうかエロ小説でこれを超えるモデルそろそろ出て欲しいんだわ 小説性能ってベースモデルの事前学習時点で決まる感じやから当分は来ないやろね
qwenやgemmaは明らかに学習データをフィルタリングしてるしmistralも最近はSTEM重視の姿勢でクリエイティブ性能落ちてる
deepseekはかなり緩めだけどそれで越えれないなら厳しい magnum-v4-123b使うときGPUとRAM何GB消費してる？
RTX3060 12GBと32GBしか積んでなくて、どれくらい増せばよいのか知りたい >>252
メモリは最低でも64Gないと動かん
64GでもIQ3_Mの量子化が限界
96GあればQ5_K_Mが動くが、メモリで動かすと絶望的に遅いからお勧めしない
ワイは64Gで動かしてるが、プロンプト打ち込んだら、別の事して30〜40分掛かって512トークン終わる感じだわｗ
3080tiの12GのVRAMは一応使ってるが、あっても無くても変わらんレベル
しかもmagnum123Bは日本語トークン対応してないみたいで、１文字２トークン使うから、対応してる70Ｂの体感３倍遅いｗｗｗ
RTX6000proQ-Maxが欲しいいいいいいい
このグラボでフルスペックの512G mac買えるけど画像ＡＩにも使えるしマジ悩むｗ magnumは最近のモデルで作ってほしいよね
123bってMistral Largeだしちょっともう古いよね
今ならCommand-Aが元からゆるゆるだしよさそうやが >>252
ありがﾄﾝ
じゃあとりあえず32GBx2買うかあ
最低64GB、相性運よけりゃ4枚刺しで96GBで。現代もメモリの相性問題があるのかは知らんけど・・・ Ryzen AI Max期待してたんだけど微妙なの？ 数値あげてくれとるニキおるからそれ参考にしてもろて >>257
70B以上のモデルでも普通のPCのメインメモリに載せて動かすよりは速いのと省電力性が良いって感じかな Ryzen AI Maxは128GBメモリを使えるPCでは一番安いのが強みではある
そこに良さを感じないなら微妙かもね 結局マシンスペックに帰結するんだよな
もっと手軽に高品質な官能小説出したいだけなのに 楽しみながらデータセット無限生成編始まった一粒で6度美味しい
こういうのみんなで出し合ったらデータセット簡単に作れそうやけど情報偏りそう
https://i.imgur.com/AYt6MwY.png >>262
キャラチャット用のFT手順一式が欲しいわ
今はUnslothとかいうのを使うのか？ 最近ローカルでLLM使えるの知って今日始めてSilly Tavernでオリキャラと会話して遊んでるけど
なんか緊張して関係性進展しなくて草
でも昔恋愛シュミレーションゲームやってて選択肢をどっちにするかとか考えて楽しかったけど
こっちは無限にいろんな分岐があるゲームをやってるみたいで更に楽しいね Project-Wannabeの作者様へ
いつも使わせていただいております
ありがとうございます
要望なのですが
・出力されたものは全てパラメータjsonやkcppsと共に
logとして残しておくことはできないでしょうか
・デフォルトの生成パラメータ数値ヘ簡単に戻すことはできないでしょうか
・出力時に1行ずつ空白行を挿入（改行）されてしまうことが多いのですが、
それをさせないようにすることはできないでしょうか >>263
unslothのcolabノートブック使ってみるといいよ
わかりやすいし何より無料 学習データって>>262のように同じテーマで口調を変えただけのものを用意するのと
バラバラなテーマで口調を変えたものを用意するのとどっちが適してるのかな
もちろんトータルのデータセット数は同じだと仮定した場合ね
前者でいいなら楽にデータセット用意できるけど後者だと内容考えるだけでも大変なんだけど 後者のほうが良いよ
基本多様であれば多様なほど良いと思って良い
テーマのリストとか口調のリストとかをGeminiとかで大量に書かせてリスト化してランダムに組み合わせてLLMに合成させる感じとかでそれなりに多様にはできると思う shisa-ai/shisa-v2-llama3.1-405b-GGUF
だれか試せる人おらんかな？
moeじゃない405Gの日本語finetune >>271
おおサンキュ！
早速試したが、R１並みにいいかも
webだから規制入ってるけどローカルならどうなんだろ ちょっと試しただけだけどllama3.1はもう古い感じがした
計算リソース食ってる割には...他のLLMの進化が早すぎるんよ >>275
70Bなんか動かせるマシン持ってるやつ少ねえよってのと最近は性能大幅に落としてもいいからエッジデバイスでいかにそれっぽいのを動かせるかに研究が移ってるっぽいからなあ >>269
やっぱりそうかぁ
以前、内容や名詞をスクリプトで自動的に組み合わせて生成した金太郎飴みたいなデータセット1万件ぐらいを使ってLoRA作成したんだけど
推論結果が同じく金太郎飴みたいになってて全く使い物にならなかったんよ
質問文は自力で頑張って用意してそれをLLMに蒸留させてデータ作成するのが一番現実的そうやね
ただOpenAIは蒸留に対する検知厳しくなったみたいだしローカルLLMで蒸留させるしかないのかな Gemma3の70Bくらいが欲しいよね
Llama3.1 405Bの位置が低すぎる
huggingface.co/blog/gemma3 >>281
Instruct版のSpaceあったので遊んでみたけど、ハルシネーション抑制、ってあったけどInstruction Followig、Groundnessともに怪しい感じでこれで4o越えは評価のスコープを思いい切り絞らないと、って印象
文体は自然でそこそこなので惜しい感じ
フルスクラッチ日本語モデルって点では今後に期待
111B多言語対応のCommand-a越えを期待してたんだけど... >>282
それ古い方じゃないかな？
今回のはマルチモーダルモデルなので用途が違うかな >>283
あ、そうかも
いまもう一回検索したらStockmark-2-VL-100BではSpace出てない感じだった
楽しみが増えた、ありがとう 