なんJLLM部 避難所 ★4
■ このスレッドは過去ログ倉庫に格納されています
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★3
https://mercury.bbspink.com/test/read.cgi/onatech/1717886234 なるほど
TTSで読み上げる時、" "で挟んだ部分だけを読み上げる機能があるから、この正規表現ってやつを上手く使えば日本語文章に馴染んだ「」に置き換えたりも出来たりして >>0266
前スレでその件に関して相談して、正規表現教えてもらったワイが通りますよっと
まさにその通りやで
TTSの読み上げなんかに対応しつつ、見た目は完全な日本語表現に出来るので没入感あがるんやで Berghof-NSFW-7B.f16凄いな
他のモデルが混乱するちょっと変なシチュでもそこそこの精度で出してくれる mradermacher/Luminum-v0.1-123B-i1-GGUF
LumimaidにMagnumを変態マージさせたモデル
nsfwでmagnumがさらに強化されとる
これがサクサク動くマシンがほしいｗ >>0269
AMDもだけどVRAM以外を高速でアクセス可能にする技術発表してるから再来年くらいには実現するかもw 最近うまくエロ文が書けないのは、自分のプロンプトの書き方が悪いからと悟った。
そして、プロンプトの書き方をchatGPTに聞く
こういう文章を書きたいときはプロンプトはどうするべきかとか tokyotech-llm/Llama-3.1-Swallow-70B-Instruct-v0.1
きたか
ベンチ見ると微妙だが・・・さて tokyotech-llm/Llama-3.1-Swallow-70B-Instruct-v0.1
Q5_k_mで試してるが、規制少なくていい感じかも
しばらく遊んでみるわ >>0269
bartowski/Lumimaid-Magnum-12B-GGUF
123Bほどじゃないけど、なかなか良いと思う Q５動くんか、ええな
Q3K_mでもけっこういい感じ
日本昔ばなしとか作らせてる >>276
これいいな
Q3_K_XLで動かしてるけど、ギャグエロみたいな状況をしっかりと描写してくれる
エロいことはちゃんとしてくれるのにキャラ崩壊もしないしすぐにイって中断しないのは偉い
VRAM 10GBしかない俺にとっては今までで最高かもしれん 自分でERPできるモデル作りたいんだけど、みんなデータセットとかどう作ってるんやろか エロゲから引っこ抜いたりmagpieで作るとかじゃない
自分で作らなくとも既存のデータセットで十分いいのが作れるとは思うけど berghofは作者のhuggingfaceからデータセットもダウンロードできるで
同人エロボイスで台本txtが同封されてるのもあるから使えると思う
ワイの貧弱マシンだとそこまでやれんからいいのができたら共有しとくれー メモリ64g vram12g だと何bまで作れるかな？
loraでもいいんだが 4bitでのトレーニングにはなるけどunsloth使えば12bのMistral-NeMoぐらいならできるらしいよ loraの作り方って調べてもよくわからなかったんやがいい感じにまとまってる講座知ってたら教えてほしいやで loraって俺らが使うGGUFでは使えない機能じゃなかったっけ？ と思ってたけどどうやらGGMLを間に噛ませたらGGUFでも使えるみたいね
https://i.imgur.com/JP0aiIM.jpeg 小説を学習させてRPしたいんだが
データセットは1問1答でないと効果ない？ 既存の学習データに対して小説一冊足したところでこれっぽっちも重み付けされないと思う ChatGPTがエロ文書いてと言うと断るけど、エロ文書くのにどういうプロンプトにすればいいかの相談には答えてくれるのが笑える 高橋克彦LORAを使うとやたら吐き気がするのかな。 一人称の小説と三人称の小説混ぜるとおかしくなったりするんかな？ >>276
使ってみた
所々英単語に化けるのと、12Bのくせにおつむが悪い気がするなあ
風呂好きのキャラにこだわりの入浴法を聞いたら、お湯は50度とかココア色になるまで沸かしてとかいい出したw
7Bのberghofの方がまともに回答してくれてるや >>289
その回答どおりに指示を出しても絶対にエロを出してくれない所からして
チャットＧＰＴに分からないことを聞く事が間違いだと学べるな >>295
ChatGPTに最適なプロンプト作らせて、ちょっと頭の悪いLlama-3.1-70Bにエロを書かせるんよ そこまでするなら普通に規制回避したほうが早いやろ
別に何も難しくないで モデル同士で口説きあわせてどっちが先に落ちるか対決とか新たな百合の園が開きそう わずか0.36BのモデルがGPT3.5やClaude3より賢くなる？今までのモデルは無駄に大きすぎた？
革命起きるんか？
https://note.com/shi3zblog/n/n3a8944695680 サンプリングがアホなんは感じてたけど
ほんとにぃ？て感じ 0.36Bなら普通にそのへんのグラボで動くしな
今後の動向をウォッチしたい >>301
そのモデルが特別なんじゃなくて、既存のモデル全部の性能が超絶上がる方法を見つけたかもしれないって話みたいよ >>299,301
KoboldAI Liteで動かしてみたけど、日本語での質問はエラーになる。
※モデル食わせれば、デフォルト設定でそのまま動く
リンク先だと「日本語で聞いても返答は英語だが返してくれる。」って書いてあるけど、
Google Colabで動かしてるっぽいから、Colab側で翻訳して渡してる可能性がある。
とりあえず翻訳して質問して回答させたけど、正確性は確認してないが、省略したものも含め
文章的に破綻はしてないっぽい。
7Bモデルの1/20のモデルでこれなら期待できそう。
質問：What is the reason for the appreciation of the US dollar? ※ドル高の理由は
回答
1. **過去の債務残高対GDP比**： 米国は財政規律に強い歴史があり、2020年の
平均政府債務対GDP比は約93%で、他の多くの国より低い。
3. **中央銀行の金融政策**： 連邦準備制度（FRB）は効果的な金融政策を実施し、
金利に影響を与え、経済成長を刺激するために大量の財務省証券を売買する。
これにより、銀行から効果的にドルを買ったり売ったりすることで、銀行の準備金を増やし、リスク・エクスポージャーを減らしている。
※9まで出力されてたけど省略
※DeepL.com（無料版）で翻訳 今までお高く止まってたGPTちゃんやgeminiちゃんがローカルのショボいLLMに追いつかれて
「ウチもエロ解禁しなきゃやっていけない…」って言いながら股開くところ見たーい >>304
それな。一週間前に一個ポストがあるだけや。
もっと大騒ぎになっても良さそうなもんやけど。 0.36Bで実用レベルになるって事は、個人で1からエロモデルを作るのも夢ではなくなるんやろか？ 2Bでもスマホで動く
0.36Bなんて電卓で動きそう(無理) >>299
最新記事でたけど8bにしたら微妙になったっぽいな >>312
何だろうね
小型モデルほど恩恵を受ける技術って感じなのか？ 探索が少なくて済むぶんむしろ小さいモデルのほうが正確な答えを返してくるとか
やたらとモデル大きくするのはマジで無駄だったのか それじゃ数百兆円かけてグラボ買って数兆パラメータのLLM作ってた人たちが馬鹿みたいじゃないですか bitnetですら採用されずに消えた
今のモデル規模は正直過剰だと思うがこの手の話題は一歩引いて見てしまう まあ0.36Bで既存のLLMには難しい問題を解けた、っていうのは確かなんだし
アプローチが一つ増えたってのは良いことなんじゃないかな
これが本当に革命的な機構なら最高な話な訳だし 学習データの質を向上させるってアプローチと組み合わせやすい点がいいところだと思う
判断プロセスの方を変えるってやり方は多くのモデルで応用効かせられそうだし Rocinante-12B-v2g-Q5_K_Mって日本語返すし12Bじゃ他のと比べても返答が違和感がない気がする ベンチマーク詐欺や驚き屋にはウンザリしてるんよ
肩透かししすぎて骨折れてるんだわ >>323
ちょろっと触った感じだと直訳っぽい表現は多いものの文脈は破綻してない感じやね
日本語が強化されたら12Bの中では賢い方かも ベンチマークに問題があるのではなくて、ベンチマーク詐欺をするやつやベンチマークだけ見て驚く驚き屋に問題があるんやろ カンニング可能な以上ベンチマークを有効に機能させるのってそもそも困難だと思う
Chatbot Arenaみたいなユーザーの使用感ベースによる比較を纏めたものが一番本質に近いんじゃなかろうか
もちろん専門性を測るのはカバーしてないけど対話相手や創作用途って意味なら十分だろうし エッチ用途だとベンチより体感でわかるよね出来の良し悪し 自分で問題作って自分のモデルに学習させて他の有名モデルに勝ったと言い張るElyzaの話する？ Elyzaは予算獲得のためになりふり構わずという感じだったなぁ エロはモデルの厚みというか雑多な総合性能みたいなの図るのには向いてる 週末のセールで何か買っておくべきだった
やるゲームがない 検閲0でおなじみmistralから8bモデルが出たね
いい機会だしmagnumみたいなファインチューニングモデル作ってみようかな
https://huggingface.co/mistralai/Ministral-8B-Instruct-2410 Nemotron-70BでもEntropixは上手くいくって言ってるけど
これ個人で試すにはどうすれば良いんだ？
俺はバナナの本数の計算が出来るかどうかよりも
エッチな文章が軽いモデルでもより正確かつエロティックになるかどうかを知りたいんだ koboldを1.72から1.76に更新したら色んなモデルで「おっぱい」って言えなくなったんだけどどういうことなんだ？
「おっパイ」や「オッパイ」とは言ってくれるけど
「おっぱい」になると「おっ……おっ……おっ……」と延々と続けたり「おっ……パイ！」みたいな変な言い方しかしなくなった
1.72に戻したらちゃんと「おっぱい」って言ってくれるようになった >>345
kobold側の設定でなんか規制でも入るようになったのかと考えて
思いつく限りの淫語や禁止ワードに引っ掛かりそうなことを言わせてみたんだけど
「おっぱい」と「ずぽずぽ」以外はどんなに際どいことでもちゃんと言ってくれるんだよな
ちなみに「ずぽズポ」や「ズポズポ」ならやっぱり言ってくれる 1.76でもkobold自体なら「おっぱい」とは言ってくれるけど
尻タブだと言ってくれなくなるみたいだ
はぁーん？訳が分からん それ俺も別の単語で起こったな
俺の場合はありがとうございますがどうしても言えなくなってありがとうござます
ありがとうござ、います
ありがとうござ#います
などなど、何かに邪魔されている感じだった
結局何をどうやっても改善されなくて、sillyを入れ直してデータ引っ越したら直ってたよ ひらがなの
「ぬ」
「ゆ」
「ぎ」「ぐ」
「ざ」「ぜ」「ぞ」
「ぢ」
「ぶ」「ぼ」
「ぱ」「ぴ」「ぷ」「ぺ」「ぽ」
が言えなくなるみたいだ。淫語かどうかは関係ない
「ぴかぴか」とか「まつぼっくり」とかも言えなくなる
もちろん五十音をひらがなで全部言うのは無理 >>350
ログとかは別保存だったかもしんない
大事なやつだけあらかじめエクスポートして新sillyでインポートしたよ >>351
サンクス
引っ越したけどやっぱり特定のひらがなが言えないみたいだ
誰かkobold 1.76で尻タブを試してみてくれないか
おま環かどうか知りたい >>353
トークナイザーの問題っぽい
今まではBest match(recommended)のまま使ってたけど、これもAPI Koboldcppもダメで
llama3にしたらちゃんと言ってくれるようになった
でもllama3だとグラボがギャリギャリ言うから怖い…… しずかちゃん が しかちゃん になるのとは別の現象か
あれはsseを変えたら治ったが >>355
コンソールと実際の表示が異なって文字が欠けるのとは別の現象だね
あれはkobold最新版でもまだバグが残っていて
koboldが原因となって尻タブで文字が欠けるみたいだからgithubのissuesに提出されてるところ >>352
俺はまさに今その環境だよ
ちなみに俺がなった時はkobold1.72くらいの時
多分koboldは関係ない
sillyが何かの拍子で壊れるんだと思う ちなみに俺はデータフォルダ丸ごとは引っ越してない
新しくsillyを別の場所に入れて、古い方からキャラカードやログをインポートする形で移行したよ >>358
確かにキャラカードとかだけ移し替えたらちゃんと喋ってくれるようになったわ
dataフォルダ内のどれかがぶっ壊れるっぽな Silly通してるならAマークからTokenizerの設定あるよね
何が正しいのかは知らんけど >>360
尻タブ入れ直したらトークナイザー弄らなくても直ったから尻タブがぶっ壊れてたっぽい utf−8の1文字を1トークンにしたら解決する話じゃないんだろうねきっと Llama-3.1-Nemotron-70B-Instruc
Q8で試してるけど日本語も流暢でエロもいけて結構良い感じ
個人的にCommand-R-Plus超えかもしれん >>363
q8動くのええなー
ちなどこのgguf?
なんかいっぱいあるな
swallowとのマージモデルもある 70Bをq8だとざっくり40GBぐらい食うからなかなか手が出しにくい5090来てもそのへんは変わらんだろな ■ このスレッドは過去ログ倉庫に格納されています
