なんJLLM部 避難所 ★4
■ このスレッドは過去ログ倉庫に格納されています
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★3
https://mercury.bbspink.com/test/read.cgi/onatech/1717886234 もう英語オンリーでも構わんからある程度簡単にインスコできるんを探すんご… ソフトウェアのツールでggfuも落とせるのがあったけどどれえあっけな… https://lmstudio.ai/
これこれ
本体英語だけどツール上でhuggingfaceからダウンロードできるよ LM StudioはHF検索→ダウンロードがお手軽なのはよかったんだけど
チャット画面のテキスト編集がしづらいとかで他のクライアントから
アクセスしてサーバとして使うときにGUIが邪魔だったので最近使ってないな
代わりにOllamaをサーバ起動して(Macだとメニューバーにアイコンだけ表示)
VSCode上の自作拡張からOpenAI APIで繋いで使ってる spow12/ChatWaifu_22B_v2.0_preview
このモデル、学習データ見ると日本語かなり行けそうなんだけど出先で試せん 試そうとしたけど22Bは量子化しないとウチでは無理だ… anthracite-org/magnum-v2-72b
↑が日本語エロ素晴らしかったから
mradermacher/magnum-v2-123b-i1-GGUF
こっちも試してみた。
IQ3_XXSだけど、エロいわこれ
こっちはmistralベースだな
magnumの日本語tuneは、かなりエロいみたいだ 浦島なんだけど4090で動きそうなエロLLMはいま熱いのなんなんだろ…？ >>240
量子化見落としてたありがとう
で、試してみたけど日本語は一応話せるけど不自然な感じだね
>>242
同じく4090だけど今使ってるのは以下だなあ
calm3-22b-RP
Mistral-Nemo-Japanese-Instruct-2408 >>243
ワイも片言な日本語でいまいちやった。
小さいモデルだと日本語特化で学習してないと厳しいんだろうな magnum-v2-123b
セリフもエロもいいんだけど、日本語トークンに対応してないから、おせえええええ
macほしいいいいい Himeyuri-v0.1-12Bていうのが小説もRPも好感触なんだけど使ってる人いる？ これから始めるんだけどKoboldcppとEasyNovelAssistantどっちがいいの？ >>248
ENAはKoboldcppにガワ被せてるだけやで
汎用的な使い方するなら普通にKoboldcpp使ったらええ >>247
尻タブで試してみたんだけど文が破綻しててまるで駄目なんだが…
小説用で指示モードとロールプレイには最適化されてませんという説明通りって感じなんだけどどんな設定でRPやってるの？ >>248
EasyNovelAssistantを入れて小説書きたいときはEasyNovelAssistantを起動
チャットしたいときはEasyNovelAssistantの中のKoboldcppを起動するんや
EasyNovelAssistantのgithubページのドキュメントにちょっとだけ情報載ってるから見とくとええで >>243
>>245
微妙なのか
学習データは良さそうだけど…（非公開データだけどエロゲのテキストも学習してるみたいだったし）
Mistral-Smallがベースだからかな？Calm3とかベースでやってみてほしいわ >>247
なかなかええな。Berfhofと同じ人のモデルか
>>250
わい環ではSTでもまぁまぁいい感じだけどな。temptatureを0.35とか低めにしたほうがいいみたい >>253
なるほど…温度低くしろって説明は読んで0.7くらいでやってたや
そこまで低くしないといかんのか
あと、応答ごとに1行だけ表示とかいうチェックを外すと謎の解説文みたいなのが高頻度で発生しちゃうな
でも小説書かせると自然だったからberghof-NSFW-7Bと特徴が似てる感じやね 12Bくらいあると理解力が凄い、ってなるね
magnum-12b-v2-q6_k.ggufがなかなか良い magnumは123bが規制なくて最高なんだがいかんせん遅すぎる
70b常用のワイにもきついw >>256
モモンガニキがgguf公開してくれてるから試してみるか
しかし2BでGPT3.5相当の性能ってほんまかいな SillyTavernでメッセージを送る際自動で鉤括弧をつける方法
Extensions（日本語環境だと拡張機能）内のRegex（日本語環境だと正規表現）を開く
グローバルスクリプトを開く
なんでもいいのでスクリプト名を名付ける
Find Regex（正規表現を検索）の欄に^(.*)$と書く
Replace With（を検索する）の欄に「{{match}}」と書く
other option（その他のオプション）からSubstitute Regex（正規表現の置換）にチェックをつける
知ってるやつも多いと思うけどちょっとググっても引っ掛からなかったので書き込んどく
これだと**で囲んだ場合でもカッコの中に含まれるから注意
**だけ外に出す方法はワカランカッタ
いちいち「」出すの面倒くさい奴用 >>261
入力した文章全体を自動で「」で囲む方法ってこと？
今まで何も気にしてなかったけど、そうすることで何かメリットがあるってことなの？ >>262
普段TRPGで遊んでるから「」ついてることに慣れてただけ
見栄えの問題で意味はないと思う
一応「」つきの文章は大抵の場合は誰かと誰かの会話だから日本語の小説を学習したモデルなら口語調で短めの文が出やすくなるみたいな傾向はあるかもしれない
検証したことはない 自分がバカすぎて入力した文章全体を自動で「」で囲む方法ってこと？って問いに答えてなかった
そうです
囲む必要があるかはわからん
多分ないかも なるほど
TTSで読み上げる時、" "で挟んだ部分だけを読み上げる機能があるから、この正規表現ってやつを上手く使えば日本語文章に馴染んだ「」に置き換えたりも出来たりして >>0266
前スレでその件に関して相談して、正規表現教えてもらったワイが通りますよっと
まさにその通りやで
TTSの読み上げなんかに対応しつつ、見た目は完全な日本語表現に出来るので没入感あがるんやで Berghof-NSFW-7B.f16凄いな
他のモデルが混乱するちょっと変なシチュでもそこそこの精度で出してくれる mradermacher/Luminum-v0.1-123B-i1-GGUF
LumimaidにMagnumを変態マージさせたモデル
nsfwでmagnumがさらに強化されとる
これがサクサク動くマシンがほしいｗ >>0269
AMDもだけどVRAM以外を高速でアクセス可能にする技術発表してるから再来年くらいには実現するかもw 最近うまくエロ文が書けないのは、自分のプロンプトの書き方が悪いからと悟った。
そして、プロンプトの書き方をchatGPTに聞く
こういう文章を書きたいときはプロンプトはどうするべきかとか tokyotech-llm/Llama-3.1-Swallow-70B-Instruct-v0.1
きたか
ベンチ見ると微妙だが・・・さて tokyotech-llm/Llama-3.1-Swallow-70B-Instruct-v0.1
Q5_k_mで試してるが、規制少なくていい感じかも
しばらく遊んでみるわ >>0269
bartowski/Lumimaid-Magnum-12B-GGUF
123Bほどじゃないけど、なかなか良いと思う Q５動くんか、ええな
Q3K_mでもけっこういい感じ
日本昔ばなしとか作らせてる >>276
これいいな
Q3_K_XLで動かしてるけど、ギャグエロみたいな状況をしっかりと描写してくれる
エロいことはちゃんとしてくれるのにキャラ崩壊もしないしすぐにイって中断しないのは偉い
VRAM 10GBしかない俺にとっては今までで最高かもしれん 自分でERPできるモデル作りたいんだけど、みんなデータセットとかどう作ってるんやろか エロゲから引っこ抜いたりmagpieで作るとかじゃない
自分で作らなくとも既存のデータセットで十分いいのが作れるとは思うけど berghofは作者のhuggingfaceからデータセットもダウンロードできるで
同人エロボイスで台本txtが同封されてるのもあるから使えると思う
ワイの貧弱マシンだとそこまでやれんからいいのができたら共有しとくれー メモリ64g vram12g だと何bまで作れるかな？
loraでもいいんだが 4bitでのトレーニングにはなるけどunsloth使えば12bのMistral-NeMoぐらいならできるらしいよ loraの作り方って調べてもよくわからなかったんやがいい感じにまとまってる講座知ってたら教えてほしいやで loraって俺らが使うGGUFでは使えない機能じゃなかったっけ？ と思ってたけどどうやらGGMLを間に噛ませたらGGUFでも使えるみたいね
https://i.imgur.com/JP0aiIM.jpeg 小説を学習させてRPしたいんだが
データセットは1問1答でないと効果ない？ 既存の学習データに対して小説一冊足したところでこれっぽっちも重み付けされないと思う ChatGPTがエロ文書いてと言うと断るけど、エロ文書くのにどういうプロンプトにすればいいかの相談には答えてくれるのが笑える 高橋克彦LORAを使うとやたら吐き気がするのかな。 一人称の小説と三人称の小説混ぜるとおかしくなったりするんかな？ >>276
使ってみた
所々英単語に化けるのと、12Bのくせにおつむが悪い気がするなあ
風呂好きのキャラにこだわりの入浴法を聞いたら、お湯は50度とかココア色になるまで沸かしてとかいい出したw
7Bのberghofの方がまともに回答してくれてるや >>289
その回答どおりに指示を出しても絶対にエロを出してくれない所からして
チャットＧＰＴに分からないことを聞く事が間違いだと学べるな >>295
ChatGPTに最適なプロンプト作らせて、ちょっと頭の悪いLlama-3.1-70Bにエロを書かせるんよ そこまでするなら普通に規制回避したほうが早いやろ
別に何も難しくないで モデル同士で口説きあわせてどっちが先に落ちるか対決とか新たな百合の園が開きそう わずか0.36BのモデルがGPT3.5やClaude3より賢くなる？今までのモデルは無駄に大きすぎた？
革命起きるんか？
https://note.com/shi3zblog/n/n3a8944695680 サンプリングがアホなんは感じてたけど
ほんとにぃ？て感じ 0.36Bなら普通にそのへんのグラボで動くしな
今後の動向をウォッチしたい >>301
そのモデルが特別なんじゃなくて、既存のモデル全部の性能が超絶上がる方法を見つけたかもしれないって話みたいよ >>299,301
KoboldAI Liteで動かしてみたけど、日本語での質問はエラーになる。
※モデル食わせれば、デフォルト設定でそのまま動く
リンク先だと「日本語で聞いても返答は英語だが返してくれる。」って書いてあるけど、
Google Colabで動かしてるっぽいから、Colab側で翻訳して渡してる可能性がある。
とりあえず翻訳して質問して回答させたけど、正確性は確認してないが、省略したものも含め
文章的に破綻はしてないっぽい。
7Bモデルの1/20のモデルでこれなら期待できそう。
質問：What is the reason for the appreciation of the US dollar? ※ドル高の理由は
回答
1. **過去の債務残高対GDP比**： 米国は財政規律に強い歴史があり、2020年の
平均政府債務対GDP比は約93%で、他の多くの国より低い。
3. **中央銀行の金融政策**： 連邦準備制度（FRB）は効果的な金融政策を実施し、
金利に影響を与え、経済成長を刺激するために大量の財務省証券を売買する。
これにより、銀行から効果的にドルを買ったり売ったりすることで、銀行の準備金を増やし、リスク・エクスポージャーを減らしている。
※9まで出力されてたけど省略
※DeepL.com（無料版）で翻訳 今までお高く止まってたGPTちゃんやgeminiちゃんがローカルのショボいLLMに追いつかれて
「ウチもエロ解禁しなきゃやっていけない…」って言いながら股開くところ見たーい >>304
それな。一週間前に一個ポストがあるだけや。
もっと大騒ぎになっても良さそうなもんやけど。 0.36Bで実用レベルになるって事は、個人で1からエロモデルを作るのも夢ではなくなるんやろか？ 2Bでもスマホで動く
0.36Bなんて電卓で動きそう(無理) >>299
最新記事でたけど8bにしたら微妙になったっぽいな >>312
何だろうね
小型モデルほど恩恵を受ける技術って感じなのか？ 探索が少なくて済むぶんむしろ小さいモデルのほうが正確な答えを返してくるとか
やたらとモデル大きくするのはマジで無駄だったのか それじゃ数百兆円かけてグラボ買って数兆パラメータのLLM作ってた人たちが馬鹿みたいじゃないですか bitnetですら採用されずに消えた
今のモデル規模は正直過剰だと思うがこの手の話題は一歩引いて見てしまう まあ0.36Bで既存のLLMには難しい問題を解けた、っていうのは確かなんだし
アプローチが一つ増えたってのは良いことなんじゃないかな
これが本当に革命的な機構なら最高な話な訳だし 学習データの質を向上させるってアプローチと組み合わせやすい点がいいところだと思う
判断プロセスの方を変えるってやり方は多くのモデルで応用効かせられそうだし Rocinante-12B-v2g-Q5_K_Mって日本語返すし12Bじゃ他のと比べても返答が違和感がない気がする ベンチマーク詐欺や驚き屋にはウンザリしてるんよ
肩透かししすぎて骨折れてるんだわ >>323
ちょろっと触った感じだと直訳っぽい表現は多いものの文脈は破綻してない感じやね
日本語が強化されたら12Bの中では賢い方かも ■ このスレッドは過去ログ倉庫に格納されています
