なんJLLM部 避難所 ★4
■ このスレッドは過去ログ倉庫に格納されています
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★3
https://mercury.bbspink.com/test/read.cgi/onatech/1717886234 検閲0でおなじみmistralから8bモデルが出たね
いい機会だしmagnumみたいなファインチューニングモデル作ってみようかな
https://huggingface.co/mistralai/Ministral-8B-Instruct-2410 Nemotron-70BでもEntropixは上手くいくって言ってるけど
これ個人で試すにはどうすれば良いんだ？
俺はバナナの本数の計算が出来るかどうかよりも
エッチな文章が軽いモデルでもより正確かつエロティックになるかどうかを知りたいんだ koboldを1.72から1.76に更新したら色んなモデルで「おっぱい」って言えなくなったんだけどどういうことなんだ？
「おっパイ」や「オッパイ」とは言ってくれるけど
「おっぱい」になると「おっ……おっ……おっ……」と延々と続けたり「おっ……パイ！」みたいな変な言い方しかしなくなった
1.72に戻したらちゃんと「おっぱい」って言ってくれるようになった >>345
kobold側の設定でなんか規制でも入るようになったのかと考えて
思いつく限りの淫語や禁止ワードに引っ掛かりそうなことを言わせてみたんだけど
「おっぱい」と「ずぽずぽ」以外はどんなに際どいことでもちゃんと言ってくれるんだよな
ちなみに「ずぽズポ」や「ズポズポ」ならやっぱり言ってくれる 1.76でもkobold自体なら「おっぱい」とは言ってくれるけど
尻タブだと言ってくれなくなるみたいだ
はぁーん？訳が分からん それ俺も別の単語で起こったな
俺の場合はありがとうございますがどうしても言えなくなってありがとうござます
ありがとうござ、います
ありがとうござ#います
などなど、何かに邪魔されている感じだった
結局何をどうやっても改善されなくて、sillyを入れ直してデータ引っ越したら直ってたよ ひらがなの
「ぬ」
「ゆ」
「ぎ」「ぐ」
「ざ」「ぜ」「ぞ」
「ぢ」
「ぶ」「ぼ」
「ぱ」「ぴ」「ぷ」「ぺ」「ぽ」
が言えなくなるみたいだ。淫語かどうかは関係ない
「ぴかぴか」とか「まつぼっくり」とかも言えなくなる
もちろん五十音をひらがなで全部言うのは無理 >>350
ログとかは別保存だったかもしんない
大事なやつだけあらかじめエクスポートして新sillyでインポートしたよ >>351
サンクス
引っ越したけどやっぱり特定のひらがなが言えないみたいだ
誰かkobold 1.76で尻タブを試してみてくれないか
おま環かどうか知りたい >>353
トークナイザーの問題っぽい
今まではBest match(recommended)のまま使ってたけど、これもAPI Koboldcppもダメで
llama3にしたらちゃんと言ってくれるようになった
でもllama3だとグラボがギャリギャリ言うから怖い…… しずかちゃん が しかちゃん になるのとは別の現象か
あれはsseを変えたら治ったが >>355
コンソールと実際の表示が異なって文字が欠けるのとは別の現象だね
あれはkobold最新版でもまだバグが残っていて
koboldが原因となって尻タブで文字が欠けるみたいだからgithubのissuesに提出されてるところ >>352
俺はまさに今その環境だよ
ちなみに俺がなった時はkobold1.72くらいの時
多分koboldは関係ない
sillyが何かの拍子で壊れるんだと思う ちなみに俺はデータフォルダ丸ごとは引っ越してない
新しくsillyを別の場所に入れて、古い方からキャラカードやログをインポートする形で移行したよ >>358
確かにキャラカードとかだけ移し替えたらちゃんと喋ってくれるようになったわ
dataフォルダ内のどれかがぶっ壊れるっぽな Silly通してるならAマークからTokenizerの設定あるよね
何が正しいのかは知らんけど >>360
尻タブ入れ直したらトークナイザー弄らなくても直ったから尻タブがぶっ壊れてたっぽい utf−8の1文字を1トークンにしたら解決する話じゃないんだろうねきっと Llama-3.1-Nemotron-70B-Instruc
Q8で試してるけど日本語も流暢でエロもいけて結構良い感じ
個人的にCommand-R-Plus超えかもしれん >>363
q8動くのええなー
ちなどこのgguf?
なんかいっぱいあるな
swallowとのマージモデルもある 70Bをq8だとざっくり40GBぐらい食うからなかなか手が出しにくい5090来てもそのへんは変わらんだろな q8なら80GB〜じゃね？
うちの3090+4060Tix2の56GBだと実用的なコンテクスト長で使うならq4が精一杯だ >>364
lmstudio-community/Llama-3.1-Nemotron-70B-Instruct-HF-GGUF
ってやつ。
ベンチマークでSonnetと4o超え謳ってるだけあって日本語対応70Bの中だと賢い気がする。
メモリ128GB積んだMacでRAM使用量70GB、3t/sくらい >>366
ほんまや普段の自分のスケールで書いてしまった >>363
どういうところがCR+超えに感じたってのはある？ >>370
Microsoftなのにデモ動画はApple M2なのか 既存のウェイトを1.58bitに変換したllama3 8bも公開されとるのか
変換方法と微調整方法(これが肝らしい)が公開されとるから
一気に1.58bitのモデル出てくるかもわからんな >>235
LM Studioにheadless mode (他アプリから呼び出すサーバ用のGUIなしモード) が来るみたいね
https://x.com/yagilb/status/1847323458071298051 text-generation-webui使ってるけど、モデルの選択は当然重要だけどパラメータもそれ以上に重要なのね
プリセットでお勧め設定ある？ 大葉も尻タブもモデルと遊び方によってベストなプリセットやプロンプト変わるから一概に言えんやろ
せめて自分が使ってるモデルと遊び方開示せんことには誰もなんも言えんと思うで
パラメータはより好みで別れる部分や
ただ、ワイは尻タブやが諸氏のモデルとプリセット、システムプロンプトのお勧めは大いに興味ある
とはいえ最近は課金Opusなのでワイが公開できるもんは無いんやが... sillyのプリセットにあるkobold godlikeってのは使うこと多いな
別に他と比べまくってるわけじゃないけど
あと動的温度ってのはよくわからないまま有効にしてみてる lambda chatっていうところで無料で試せるhermes-3-llama-3.1-405b-fp8なかなかいいと思う テストでmagnumみたいなエロに強いファインチューニングモデル作ってみたで
使ったデータセットの半分ぐらいが日本語だから普通のmagnumよりも日本語には強いはず？
https://huggingface.co/ascktgcc/Mistral-nemo-ja-rp-v0.1 すげーな
帰ったら試すわ
できれば作成手順もアップして欲しい >>379
Mistral-nemo-ja-rp-v0.1-Q4_K_S.gguf
を使ってみたけどチャットで少し性的な内容だと「そういう問い合わせには回答できない（要約）」、文章生成で使うとルー語（youがrunした、みたいな）になるね（Lumimaid-Magnumだと実用レベルの文章が生成できている設定で比較）
もしかするとQ4まで量子化してる影響かもしれないからQ6かQ8で12GBに収まるギリギリなのがあれば試したい >>379
すげー個人でできるもんなんか
青空文庫ぜんぶ喰わせたとか？
DLさせてもらうで
ガチハード勢が多いここのニキら用に
VRAM24Gのも用意しとくのもええんやないかしら >>381
そういやfinetuneする時無修正化してるのはどうやってるんかな？ >>381
俺の設定だと性的内容でも問題なく出力してくれたよ
キャラの設定とか会話例とか次第なのかもしれない ただ文章が固いし日本語が不自然かつ英語が混ざるのは確か
俺の設定が悪いだけかもしれんが 海外製モデルは根本的に日本語不自由だからSFTだけじゃ不自然なのは治らないよ
継続事前学習しないと >>381,385
英語交じりになる問題はmistral-nemoベースなんでTemperatureを0.3前後に下げれば解決すると思う。
回答拒否は再現できなかった
q6とq8は今アップロード中だからそのうち追加されると思う
>>380,379
unslothの公式ノートブックを使ってモデルページに書いてあるデータセットでファインチューニングしただけだから簡単やで
>>383
Mistral-nemoは素の状態で無修正だからファインチューンでエロさを足してる感じだね 自作アプリにどの程度のモデル組み込めるか実験中なんやけど、1.5Bとかの極小モデルで日本語モデルなんかお勧めないか？
これまで小さくても7Bぐらいまでしか触ってこなかったから、小さいの全然分からんのや
実機でどの程度の速度出るか、とかどの程度の日本語力なのかとか私的なベンチマークが目的や >>387
q8触ってみた、Temperature下げたら英語が出る問題も回答拒否についても解決したよ
(普段小説生成で使用しててTemperatureは1.0) >>388
極小モデルでまともな日本語を話すのはGemma2 2BベースのBakuかな stで試したがワイもルー語出るなぁ。英語以外のよくわからん単語も時々出る。
指示が悪いのかもだけど、セリフだけでいいのに状況描写まで出力されがちやった。
でもワイにはとても学習までやれんから期待しとるで！ ｑ８をkoboldデフォ設定で試したが、かなり日本語の語彙が豊富になってる感じがするな
同じ方法で70Ｂをfinetuneするには、メモリどれくらい必要なんだろ？ 新しいmagnumはかなり良さげ
vram48GB勢(72B qwen2.5ベース), 24GB勢(27B gemma2ベース)には最適かもしれん 7B~12B帯の日本語エロは未だBerghofが１強じゃないか？
指示が複雑なのはumiyuki-Umievo-itr012-Gleipnir-7B
画像生成とか海外モデルに比べて日本語モデルはあまり進化してない感じする Berghofは即落ち♡連発ですぐエロエロになっちゃうからGleipnir使ってる
キャラ崩壊せず平然とした状態でエロを受け入れるように出来るならBerghofも使いたいんだけど出来るもんなの？ >>397
なんかわかる
エロ関係ない普通の受け答えも7Bモデルの方が賢い気がする
現状の12Bってサイズでかいだけで良いとこが無い berghofは肩を真面目にマッサージしてるだけで喘ぎ散らかしてイクからなw style bert VITS2でキャッキャしてたらいつの間にかもっと凄いのが次々出てきてるのね
GPT-soVITS v2
XTTS v2
F5-TTS
この辺が超気になる 日本語用のモデル探してるんだけど良さそうなのなにか無いかな？ 「こんにちは ゆっくり霊夢よ」
「ゆっくり魔理沙だぜ」
「今日はオナテク板のLLM部を紹介するわね」 magnum v4 123b エロいわｗ
これがサクサク動くmacニキうらやましす >>403
SFWな用途にはこのページが網羅的にまとめてくれてるかな NSFWなのは載ってなさそ
llm-jp/awesome-japanese-llm: 日本語LLMまとめ - Overview of Japanese LLMs
https://github.com/llm-jp/awesome-japanese-llm >>387
VRAM12GBなんでq6使わせてもらったけどええですね
飲んでもらうときにんごっんごっ言い出したけど手直しすると以降は従ってくれた - bartowski/Lumimaid-Magnum-12B-GGUF
- anthracite-org/magnum-v4-12b-gguf
今のところ12Bだとこの二つが好みかなぁ
日本語が不安定な時もあるけど、シチュエーションに対する理解度の高さが良い
Berghofも悪くないけど上にもあるようにすぐに喘いじゃうのと文章の整合性がすぐに破綻しちゃうのがね…… >>408
サンガツ
NSFWで現状良さそうなモデルってある？ すぐ上にも書いてあるんだからまず名前上がってるのを試してみなよ すまん詳しい奴助けてくれ
LMでSTに繋いでRP利用してる
/nを使ったからかSTの出力には出ないんだがLMサーバーとcmdで
ひとり芝居してる
隠れて浮気されてる気分になるので
ひとり芝居を消したいのだが
どこをどうすれば消えるのか分からず困っている
LMのシステムプロンプトに日本語で「下記のキャラの発言のみして下さい」としても効果なし >>370
M2 Ultraすんごいな。
Intelのほうだって13700だから遅いCPUじゃない筈なんだけど
4倍近い速度差があるんか 7Bモデルでのチャットは結局VecteusのV1に戻ってきてしまう。(V2は小説寄りっぽい) 特定のキャラ付けでチャットして遊んでるやつは自分で専用の小規模モデル作った方が良いと思うわ
ClaudeとかGPTとかの高性能モデルのチャットログあればそれをデータにして学習すれば小規模でも結構上手く喋れるようになる >>411
bartowski/Lumimaid-Magnum-12B-GGUF
これプロンプトの応答性がよくてええな >>397
>>398
Gleipnirをsillyで使ってみたんだけど何度再生成しても意味不明な文ばかり出るや
例えばこんなの↓
また、私達って、お誕生日のゲストランチと言うことがないと言うことが好きなどう、ことが得意じゃないちょうと、その代わり出します。
どんな設定でやってるの？ 日本語がバグってる風な時はtemperatureを下げると良いかも（sillyに無かったらごめん）
あとモデル名は省略せず書いたほうが良いで
umiyuki_Umievo-itr012-Gleipnir-7Bはそこまでアホじゃない（割とおすすめ）
ただ他人が量子化したUmievo-itr012-Gleipnir-7B.Q4_1はちょうどそんな風やったな。Q8はそこそこ >>422
umiyuki_Umievo-itr012-Gleipnir-7B-Q8_0.ggufでこんな感じになるんよ
温度いくつでやってるの？ あ、koboldcppで適当に指示して会話したら普通に流暢に話すみたい
sillyでやると温度0.3にしても全くアホの子だなあ
誰かsillyでgleipnirを普通に使えてる人いないのかな >>424
尻の設定を、koboldと同じにしてもだめかな？
デフォの設定がかなり違うから Gleipnir−７B.Q6_Kでもsillyで普通に使えとるがなぁ
温度１でも0.5でもそんなに変なことにはならない。 >>426
おお
ということは温度以外の何かが原因か
コンテキストテンプレートはMistral？ 何か原因が分かってきた
もしかしたらgleipnirの最大コンテキスト長って8192より小さい？
他のモデルでやってた長ーい会話の続きをgleipnirでやろうとすると文章がバグる
ほどほどに短めの会話の続きなら自然にやってくれる
この挙動って最大コンテキスト長の違いから来てそうなんだよなあ SillyのText CompletionかChat Completionかで挙動が違ってるとか？ やっぱりコンテキスト長が原因だったよ
gleipnirの最大コンテキスト長は4096！
最近8192以上のモデルばっかりだったから失念してた なるほどー
モデルごとにコンテキスト長もメモしとかんといかんな magnum v4 72b
qwenベースだけど規制緩くなってたわ
普通にエロい Tavernって翻訳無しに日本語で出力させるのは無理だったかな？ >>433
モデルを日本語のにして設定日本語にすればいいんでない 英語で書かれたキャラカード落として入れると英語で話すからdeepL翻訳とかで日本語に書き直して使うとヨシ！ >>434
>>435
サンガツ、始めたばっかりなんでもう一度モデルと設定確認するわ ■ このスレッドは過去ログ倉庫に格納されています
