なんJLLM部 避難所 ★4
■ このスレッドは過去ログ倉庫に格納されています
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★3
https://mercury.bbspink.com/test/read.cgi/onatech/1717886234 >>350
ログとかは別保存だったかもしんない
大事なやつだけあらかじめエクスポートして新sillyでインポートしたよ >>351
サンクス
引っ越したけどやっぱり特定のひらがなが言えないみたいだ
誰かkobold 1.76で尻タブを試してみてくれないか
おま環かどうか知りたい >>353
トークナイザーの問題っぽい
今まではBest match(recommended)のまま使ってたけど、これもAPI Koboldcppもダメで
llama3にしたらちゃんと言ってくれるようになった
でもllama3だとグラボがギャリギャリ言うから怖い…… しずかちゃん が しかちゃん になるのとは別の現象か
あれはsseを変えたら治ったが >>355
コンソールと実際の表示が異なって文字が欠けるのとは別の現象だね
あれはkobold最新版でもまだバグが残っていて
koboldが原因となって尻タブで文字が欠けるみたいだからgithubのissuesに提出されてるところ >>352
俺はまさに今その環境だよ
ちなみに俺がなった時はkobold1.72くらいの時
多分koboldは関係ない
sillyが何かの拍子で壊れるんだと思う ちなみに俺はデータフォルダ丸ごとは引っ越してない
新しくsillyを別の場所に入れて、古い方からキャラカードやログをインポートする形で移行したよ >>358
確かにキャラカードとかだけ移し替えたらちゃんと喋ってくれるようになったわ
dataフォルダ内のどれかがぶっ壊れるっぽな Silly通してるならAマークからTokenizerの設定あるよね
何が正しいのかは知らんけど >>360
尻タブ入れ直したらトークナイザー弄らなくても直ったから尻タブがぶっ壊れてたっぽい utf−8の1文字を1トークンにしたら解決する話じゃないんだろうねきっと Llama-3.1-Nemotron-70B-Instruc
Q8で試してるけど日本語も流暢でエロもいけて結構良い感じ
個人的にCommand-R-Plus超えかもしれん >>363
q8動くのええなー
ちなどこのgguf?
なんかいっぱいあるな
swallowとのマージモデルもある 70Bをq8だとざっくり40GBぐらい食うからなかなか手が出しにくい5090来てもそのへんは変わらんだろな q8なら80GB〜じゃね？
うちの3090+4060Tix2の56GBだと実用的なコンテクスト長で使うならq4が精一杯だ >>364
lmstudio-community/Llama-3.1-Nemotron-70B-Instruct-HF-GGUF
ってやつ。
ベンチマークでSonnetと4o超え謳ってるだけあって日本語対応70Bの中だと賢い気がする。
メモリ128GB積んだMacでRAM使用量70GB、3t/sくらい >>366
ほんまや普段の自分のスケールで書いてしまった >>363
どういうところがCR+超えに感じたってのはある？ >>370
Microsoftなのにデモ動画はApple M2なのか 既存のウェイトを1.58bitに変換したllama3 8bも公開されとるのか
変換方法と微調整方法(これが肝らしい)が公開されとるから
一気に1.58bitのモデル出てくるかもわからんな >>235
LM Studioにheadless mode (他アプリから呼び出すサーバ用のGUIなしモード) が来るみたいね
https://x.com/yagilb/status/1847323458071298051 text-generation-webui使ってるけど、モデルの選択は当然重要だけどパラメータもそれ以上に重要なのね
プリセットでお勧め設定ある？ 大葉も尻タブもモデルと遊び方によってベストなプリセットやプロンプト変わるから一概に言えんやろ
せめて自分が使ってるモデルと遊び方開示せんことには誰もなんも言えんと思うで
パラメータはより好みで別れる部分や
ただ、ワイは尻タブやが諸氏のモデルとプリセット、システムプロンプトのお勧めは大いに興味ある
とはいえ最近は課金Opusなのでワイが公開できるもんは無いんやが... sillyのプリセットにあるkobold godlikeってのは使うこと多いな
別に他と比べまくってるわけじゃないけど
あと動的温度ってのはよくわからないまま有効にしてみてる lambda chatっていうところで無料で試せるhermes-3-llama-3.1-405b-fp8なかなかいいと思う テストでmagnumみたいなエロに強いファインチューニングモデル作ってみたで
使ったデータセットの半分ぐらいが日本語だから普通のmagnumよりも日本語には強いはず？
https://huggingface.co/ascktgcc/Mistral-nemo-ja-rp-v0.1 すげーな
帰ったら試すわ
できれば作成手順もアップして欲しい >>379
Mistral-nemo-ja-rp-v0.1-Q4_K_S.gguf
を使ってみたけどチャットで少し性的な内容だと「そういう問い合わせには回答できない（要約）」、文章生成で使うとルー語（youがrunした、みたいな）になるね（Lumimaid-Magnumだと実用レベルの文章が生成できている設定で比較）
もしかするとQ4まで量子化してる影響かもしれないからQ6かQ8で12GBに収まるギリギリなのがあれば試したい >>379
すげー個人でできるもんなんか
青空文庫ぜんぶ喰わせたとか？
DLさせてもらうで
ガチハード勢が多いここのニキら用に
VRAM24Gのも用意しとくのもええんやないかしら >>381
そういやfinetuneする時無修正化してるのはどうやってるんかな？ >>381
俺の設定だと性的内容でも問題なく出力してくれたよ
キャラの設定とか会話例とか次第なのかもしれない ただ文章が固いし日本語が不自然かつ英語が混ざるのは確か
俺の設定が悪いだけかもしれんが 海外製モデルは根本的に日本語不自由だからSFTだけじゃ不自然なのは治らないよ
継続事前学習しないと >>381,385
英語交じりになる問題はmistral-nemoベースなんでTemperatureを0.3前後に下げれば解決すると思う。
回答拒否は再現できなかった
q6とq8は今アップロード中だからそのうち追加されると思う
>>380,379
unslothの公式ノートブックを使ってモデルページに書いてあるデータセットでファインチューニングしただけだから簡単やで
>>383
Mistral-nemoは素の状態で無修正だからファインチューンでエロさを足してる感じだね 自作アプリにどの程度のモデル組み込めるか実験中なんやけど、1.5Bとかの極小モデルで日本語モデルなんかお勧めないか？
これまで小さくても7Bぐらいまでしか触ってこなかったから、小さいの全然分からんのや
実機でどの程度の速度出るか、とかどの程度の日本語力なのかとか私的なベンチマークが目的や >>387
q8触ってみた、Temperature下げたら英語が出る問題も回答拒否についても解決したよ
(普段小説生成で使用しててTemperatureは1.0) >>388
極小モデルでまともな日本語を話すのはGemma2 2BベースのBakuかな stで試したがワイもルー語出るなぁ。英語以外のよくわからん単語も時々出る。
指示が悪いのかもだけど、セリフだけでいいのに状況描写まで出力されがちやった。
でもワイにはとても学習までやれんから期待しとるで！ ｑ８をkoboldデフォ設定で試したが、かなり日本語の語彙が豊富になってる感じがするな
同じ方法で70Ｂをfinetuneするには、メモリどれくらい必要なんだろ？ 新しいmagnumはかなり良さげ
vram48GB勢(72B qwen2.5ベース), 24GB勢(27B gemma2ベース)には最適かもしれん 7B~12B帯の日本語エロは未だBerghofが１強じゃないか？
指示が複雑なのはumiyuki-Umievo-itr012-Gleipnir-7B
画像生成とか海外モデルに比べて日本語モデルはあまり進化してない感じする Berghofは即落ち♡連発ですぐエロエロになっちゃうからGleipnir使ってる
キャラ崩壊せず平然とした状態でエロを受け入れるように出来るならBerghofも使いたいんだけど出来るもんなの？ >>397
なんかわかる
エロ関係ない普通の受け答えも7Bモデルの方が賢い気がする
現状の12Bってサイズでかいだけで良いとこが無い berghofは肩を真面目にマッサージしてるだけで喘ぎ散らかしてイクからなw style bert VITS2でキャッキャしてたらいつの間にかもっと凄いのが次々出てきてるのね
GPT-soVITS v2
XTTS v2
F5-TTS
この辺が超気になる 日本語用のモデル探してるんだけど良さそうなのなにか無いかな？ 「こんにちは ゆっくり霊夢よ」
「ゆっくり魔理沙だぜ」
「今日はオナテク板のLLM部を紹介するわね」 magnum v4 123b エロいわｗ
これがサクサク動くmacニキうらやましす >>403
SFWな用途にはこのページが網羅的にまとめてくれてるかな NSFWなのは載ってなさそ
llm-jp/awesome-japanese-llm: 日本語LLMまとめ - Overview of Japanese LLMs
https://github.com/llm-jp/awesome-japanese-llm >>387
VRAM12GBなんでq6使わせてもらったけどええですね
飲んでもらうときにんごっんごっ言い出したけど手直しすると以降は従ってくれた - bartowski/Lumimaid-Magnum-12B-GGUF
- anthracite-org/magnum-v4-12b-gguf
今のところ12Bだとこの二つが好みかなぁ
日本語が不安定な時もあるけど、シチュエーションに対する理解度の高さが良い
Berghofも悪くないけど上にもあるようにすぐに喘いじゃうのと文章の整合性がすぐに破綻しちゃうのがね…… >>408
サンガツ
NSFWで現状良さそうなモデルってある？ すぐ上にも書いてあるんだからまず名前上がってるのを試してみなよ すまん詳しい奴助けてくれ
LMでSTに繋いでRP利用してる
/nを使ったからかSTの出力には出ないんだがLMサーバーとcmdで
ひとり芝居してる
隠れて浮気されてる気分になるので
ひとり芝居を消したいのだが
どこをどうすれば消えるのか分からず困っている
LMのシステムプロンプトに日本語で「下記のキャラの発言のみして下さい」としても効果なし >>370
M2 Ultraすんごいな。
Intelのほうだって13700だから遅いCPUじゃない筈なんだけど
4倍近い速度差があるんか 7Bモデルでのチャットは結局VecteusのV1に戻ってきてしまう。(V2は小説寄りっぽい) 特定のキャラ付けでチャットして遊んでるやつは自分で専用の小規模モデル作った方が良いと思うわ
ClaudeとかGPTとかの高性能モデルのチャットログあればそれをデータにして学習すれば小規模でも結構上手く喋れるようになる >>411
bartowski/Lumimaid-Magnum-12B-GGUF
これプロンプトの応答性がよくてええな >>397
>>398
Gleipnirをsillyで使ってみたんだけど何度再生成しても意味不明な文ばかり出るや
例えばこんなの↓
また、私達って、お誕生日のゲストランチと言うことがないと言うことが好きなどう、ことが得意じゃないちょうと、その代わり出します。
どんな設定でやってるの？ 日本語がバグってる風な時はtemperatureを下げると良いかも（sillyに無かったらごめん）
あとモデル名は省略せず書いたほうが良いで
umiyuki_Umievo-itr012-Gleipnir-7Bはそこまでアホじゃない（割とおすすめ）
ただ他人が量子化したUmievo-itr012-Gleipnir-7B.Q4_1はちょうどそんな風やったな。Q8はそこそこ >>422
umiyuki_Umievo-itr012-Gleipnir-7B-Q8_0.ggufでこんな感じになるんよ
温度いくつでやってるの？ あ、koboldcppで適当に指示して会話したら普通に流暢に話すみたい
sillyでやると温度0.3にしても全くアホの子だなあ
誰かsillyでgleipnirを普通に使えてる人いないのかな >>424
尻の設定を、koboldと同じにしてもだめかな？
デフォの設定がかなり違うから Gleipnir−７B.Q6_Kでもsillyで普通に使えとるがなぁ
温度１でも0.5でもそんなに変なことにはならない。 >>426
おお
ということは温度以外の何かが原因か
コンテキストテンプレートはMistral？ 何か原因が分かってきた
もしかしたらgleipnirの最大コンテキスト長って8192より小さい？
他のモデルでやってた長ーい会話の続きをgleipnirでやろうとすると文章がバグる
ほどほどに短めの会話の続きなら自然にやってくれる
この挙動って最大コンテキスト長の違いから来てそうなんだよなあ SillyのText CompletionかChat Completionかで挙動が違ってるとか？ やっぱりコンテキスト長が原因だったよ
gleipnirの最大コンテキスト長は4096！
最近8192以上のモデルばっかりだったから失念してた なるほどー
モデルごとにコンテキスト長もメモしとかんといかんな magnum v4 72b
qwenベースだけど規制緩くなってたわ
普通にエロい Tavernって翻訳無しに日本語で出力させるのは無理だったかな？ >>433
モデルを日本語のにして設定日本語にすればいいんでない 英語で書かれたキャラカード落として入れると英語で話すからdeepL翻訳とかで日本語に書き直して使うとヨシ！ >>434
>>435
サンガツ、始めたばっかりなんでもう一度モデルと設定確認するわ セリフの後の（）内に状況を描写
って形にすると受け身表現が出来なくなる
userがcharの乳を揉んでいる状況の説明なんだけど
user：userがcharの乳を揉んでいるセリフ
char：charのセリフ（charは乳を揉んでいる）
みたいにあたかもchar自身が揉んでいるかのような描写になる
（charは乳を揉まれている）
のような受け身表現ならないんだよな
Gleipnirでもcohere8bでもダメだし他のモデルでも受け身表現にならないことが多い
何か設定を間違えているんだろうか そんなもんなのか
これが原因でcharが自分の乳を揉んでいるって流れになりがちだからなんとかしたいところだけど
軽いモデル使ってる代償みたいなもんか 尻？
koboldでも会話とか指示内に入れたら7bでも結構上手くいくで >>441
silly+koboldになるけど口上をキャラクターとして状況描写させてる >>444
できるんか
会話例もうちょっと工夫してみるわ >>447
適当な７Bでテストしてみたけど、（〜は揉まれている）みたいな表現は出てこんな。すまん。
（）内は心情表現に指定してるせいかな？
https://imgur.com/a/0GHrmYH 日曜にアップしたファインチューニングモデルのアップデート版を公開したで
変更点は、データセットにここで好評だったmagnum v4の物の取り込み、system promptにデータセットの言語で出力するよう指示を追加、文字化け修正、9倍学習や
英語問題もstでsystem promptに「出力は日本語にしてください。」の文字を入れて100回テストしたけど１回も出なかったから解決されてると思う(v0.1は9回出た)
https://huggingface.co/ascktgcc/Mistral-nemo-ja-rp-v0.2 >>449
すごーい！
ちなみにこれは最大コンテキスト長いくつなの？ ■ このスレッドは過去ログ倉庫に格納されています
