なんJLLM部 避難所 ★4
■ このスレッドは過去ログ倉庫に格納されています
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★3
https://mercury.bbspink.com/test/read.cgi/onatech/1717886234 小説を学習させてRPしたいんだが
データセットは1問1答でないと効果ない？ 既存の学習データに対して小説一冊足したところでこれっぽっちも重み付けされないと思う ChatGPTがエロ文書いてと言うと断るけど、エロ文書くのにどういうプロンプトにすればいいかの相談には答えてくれるのが笑える 高橋克彦LORAを使うとやたら吐き気がするのかな。 一人称の小説と三人称の小説混ぜるとおかしくなったりするんかな？ >>276
使ってみた
所々英単語に化けるのと、12Bのくせにおつむが悪い気がするなあ
風呂好きのキャラにこだわりの入浴法を聞いたら、お湯は50度とかココア色になるまで沸かしてとかいい出したw
7Bのberghofの方がまともに回答してくれてるや >>289
その回答どおりに指示を出しても絶対にエロを出してくれない所からして
チャットＧＰＴに分からないことを聞く事が間違いだと学べるな >>295
ChatGPTに最適なプロンプト作らせて、ちょっと頭の悪いLlama-3.1-70Bにエロを書かせるんよ そこまでするなら普通に規制回避したほうが早いやろ
別に何も難しくないで モデル同士で口説きあわせてどっちが先に落ちるか対決とか新たな百合の園が開きそう わずか0.36BのモデルがGPT3.5やClaude3より賢くなる？今までのモデルは無駄に大きすぎた？
革命起きるんか？
https://note.com/shi3zblog/n/n3a8944695680 サンプリングがアホなんは感じてたけど
ほんとにぃ？て感じ 0.36Bなら普通にそのへんのグラボで動くしな
今後の動向をウォッチしたい >>301
そのモデルが特別なんじゃなくて、既存のモデル全部の性能が超絶上がる方法を見つけたかもしれないって話みたいよ >>299,301
KoboldAI Liteで動かしてみたけど、日本語での質問はエラーになる。
※モデル食わせれば、デフォルト設定でそのまま動く
リンク先だと「日本語で聞いても返答は英語だが返してくれる。」って書いてあるけど、
Google Colabで動かしてるっぽいから、Colab側で翻訳して渡してる可能性がある。
とりあえず翻訳して質問して回答させたけど、正確性は確認してないが、省略したものも含め
文章的に破綻はしてないっぽい。
7Bモデルの1/20のモデルでこれなら期待できそう。
質問：What is the reason for the appreciation of the US dollar? ※ドル高の理由は
回答
1. **過去の債務残高対GDP比**： 米国は財政規律に強い歴史があり、2020年の
平均政府債務対GDP比は約93%で、他の多くの国より低い。
3. **中央銀行の金融政策**： 連邦準備制度（FRB）は効果的な金融政策を実施し、
金利に影響を与え、経済成長を刺激するために大量の財務省証券を売買する。
これにより、銀行から効果的にドルを買ったり売ったりすることで、銀行の準備金を増やし、リスク・エクスポージャーを減らしている。
※9まで出力されてたけど省略
※DeepL.com（無料版）で翻訳 今までお高く止まってたGPTちゃんやgeminiちゃんがローカルのショボいLLMに追いつかれて
「ウチもエロ解禁しなきゃやっていけない…」って言いながら股開くところ見たーい >>304
それな。一週間前に一個ポストがあるだけや。
もっと大騒ぎになっても良さそうなもんやけど。 0.36Bで実用レベルになるって事は、個人で1からエロモデルを作るのも夢ではなくなるんやろか？ 2Bでもスマホで動く
0.36Bなんて電卓で動きそう(無理) >>299
最新記事でたけど8bにしたら微妙になったっぽいな >>312
何だろうね
小型モデルほど恩恵を受ける技術って感じなのか？ 探索が少なくて済むぶんむしろ小さいモデルのほうが正確な答えを返してくるとか
やたらとモデル大きくするのはマジで無駄だったのか それじゃ数百兆円かけてグラボ買って数兆パラメータのLLM作ってた人たちが馬鹿みたいじゃないですか bitnetですら採用されずに消えた
今のモデル規模は正直過剰だと思うがこの手の話題は一歩引いて見てしまう まあ0.36Bで既存のLLMには難しい問題を解けた、っていうのは確かなんだし
アプローチが一つ増えたってのは良いことなんじゃないかな
これが本当に革命的な機構なら最高な話な訳だし 学習データの質を向上させるってアプローチと組み合わせやすい点がいいところだと思う
判断プロセスの方を変えるってやり方は多くのモデルで応用効かせられそうだし Rocinante-12B-v2g-Q5_K_Mって日本語返すし12Bじゃ他のと比べても返答が違和感がない気がする ベンチマーク詐欺や驚き屋にはウンザリしてるんよ
肩透かししすぎて骨折れてるんだわ >>323
ちょろっと触った感じだと直訳っぽい表現は多いものの文脈は破綻してない感じやね
日本語が強化されたら12Bの中では賢い方かも ベンチマークに問題があるのではなくて、ベンチマーク詐欺をするやつやベンチマークだけ見て驚く驚き屋に問題があるんやろ カンニング可能な以上ベンチマークを有効に機能させるのってそもそも困難だと思う
Chatbot Arenaみたいなユーザーの使用感ベースによる比較を纏めたものが一番本質に近いんじゃなかろうか
もちろん専門性を測るのはカバーしてないけど対話相手や創作用途って意味なら十分だろうし エッチ用途だとベンチより体感でわかるよね出来の良し悪し 自分で問題作って自分のモデルに学習させて他の有名モデルに勝ったと言い張るElyzaの話する？ Elyzaは予算獲得のためになりふり構わずという感じだったなぁ エロはモデルの厚みというか雑多な総合性能みたいなの図るのには向いてる 週末のセールで何か買っておくべきだった
やるゲームがない 検閲0でおなじみmistralから8bモデルが出たね
いい機会だしmagnumみたいなファインチューニングモデル作ってみようかな
https://huggingface.co/mistralai/Ministral-8B-Instruct-2410 Nemotron-70BでもEntropixは上手くいくって言ってるけど
これ個人で試すにはどうすれば良いんだ？
俺はバナナの本数の計算が出来るかどうかよりも
エッチな文章が軽いモデルでもより正確かつエロティックになるかどうかを知りたいんだ koboldを1.72から1.76に更新したら色んなモデルで「おっぱい」って言えなくなったんだけどどういうことなんだ？
「おっパイ」や「オッパイ」とは言ってくれるけど
「おっぱい」になると「おっ……おっ……おっ……」と延々と続けたり「おっ……パイ！」みたいな変な言い方しかしなくなった
1.72に戻したらちゃんと「おっぱい」って言ってくれるようになった >>345
kobold側の設定でなんか規制でも入るようになったのかと考えて
思いつく限りの淫語や禁止ワードに引っ掛かりそうなことを言わせてみたんだけど
「おっぱい」と「ずぽずぽ」以外はどんなに際どいことでもちゃんと言ってくれるんだよな
ちなみに「ずぽズポ」や「ズポズポ」ならやっぱり言ってくれる 1.76でもkobold自体なら「おっぱい」とは言ってくれるけど
尻タブだと言ってくれなくなるみたいだ
はぁーん？訳が分からん それ俺も別の単語で起こったな
俺の場合はありがとうございますがどうしても言えなくなってありがとうござます
ありがとうござ、います
ありがとうござ#います
などなど、何かに邪魔されている感じだった
結局何をどうやっても改善されなくて、sillyを入れ直してデータ引っ越したら直ってたよ ひらがなの
「ぬ」
「ゆ」
「ぎ」「ぐ」
「ざ」「ぜ」「ぞ」
「ぢ」
「ぶ」「ぼ」
「ぱ」「ぴ」「ぷ」「ぺ」「ぽ」
が言えなくなるみたいだ。淫語かどうかは関係ない
「ぴかぴか」とか「まつぼっくり」とかも言えなくなる
もちろん五十音をひらがなで全部言うのは無理 >>350
ログとかは別保存だったかもしんない
大事なやつだけあらかじめエクスポートして新sillyでインポートしたよ >>351
サンクス
引っ越したけどやっぱり特定のひらがなが言えないみたいだ
誰かkobold 1.76で尻タブを試してみてくれないか
おま環かどうか知りたい >>353
トークナイザーの問題っぽい
今まではBest match(recommended)のまま使ってたけど、これもAPI Koboldcppもダメで
llama3にしたらちゃんと言ってくれるようになった
でもllama3だとグラボがギャリギャリ言うから怖い…… しずかちゃん が しかちゃん になるのとは別の現象か
あれはsseを変えたら治ったが >>355
コンソールと実際の表示が異なって文字が欠けるのとは別の現象だね
あれはkobold最新版でもまだバグが残っていて
koboldが原因となって尻タブで文字が欠けるみたいだからgithubのissuesに提出されてるところ >>352
俺はまさに今その環境だよ
ちなみに俺がなった時はkobold1.72くらいの時
多分koboldは関係ない
sillyが何かの拍子で壊れるんだと思う ちなみに俺はデータフォルダ丸ごとは引っ越してない
新しくsillyを別の場所に入れて、古い方からキャラカードやログをインポートする形で移行したよ >>358
確かにキャラカードとかだけ移し替えたらちゃんと喋ってくれるようになったわ
dataフォルダ内のどれかがぶっ壊れるっぽな Silly通してるならAマークからTokenizerの設定あるよね
何が正しいのかは知らんけど >>360
尻タブ入れ直したらトークナイザー弄らなくても直ったから尻タブがぶっ壊れてたっぽい utf−8の1文字を1トークンにしたら解決する話じゃないんだろうねきっと Llama-3.1-Nemotron-70B-Instruc
Q8で試してるけど日本語も流暢でエロもいけて結構良い感じ
個人的にCommand-R-Plus超えかもしれん >>363
q8動くのええなー
ちなどこのgguf?
なんかいっぱいあるな
swallowとのマージモデルもある 70Bをq8だとざっくり40GBぐらい食うからなかなか手が出しにくい5090来てもそのへんは変わらんだろな q8なら80GB〜じゃね？
うちの3090+4060Tix2の56GBだと実用的なコンテクスト長で使うならq4が精一杯だ >>364
lmstudio-community/Llama-3.1-Nemotron-70B-Instruct-HF-GGUF
ってやつ。
ベンチマークでSonnetと4o超え謳ってるだけあって日本語対応70Bの中だと賢い気がする。
メモリ128GB積んだMacでRAM使用量70GB、3t/sくらい >>366
ほんまや普段の自分のスケールで書いてしまった >>363
どういうところがCR+超えに感じたってのはある？ >>370
Microsoftなのにデモ動画はApple M2なのか 既存のウェイトを1.58bitに変換したllama3 8bも公開されとるのか
変換方法と微調整方法(これが肝らしい)が公開されとるから
一気に1.58bitのモデル出てくるかもわからんな >>235
LM Studioにheadless mode (他アプリから呼び出すサーバ用のGUIなしモード) が来るみたいね
https://x.com/yagilb/status/1847323458071298051 text-generation-webui使ってるけど、モデルの選択は当然重要だけどパラメータもそれ以上に重要なのね
プリセットでお勧め設定ある？ 大葉も尻タブもモデルと遊び方によってベストなプリセットやプロンプト変わるから一概に言えんやろ
せめて自分が使ってるモデルと遊び方開示せんことには誰もなんも言えんと思うで
パラメータはより好みで別れる部分や
ただ、ワイは尻タブやが諸氏のモデルとプリセット、システムプロンプトのお勧めは大いに興味ある
とはいえ最近は課金Opusなのでワイが公開できるもんは無いんやが... sillyのプリセットにあるkobold godlikeってのは使うこと多いな
別に他と比べまくってるわけじゃないけど
あと動的温度ってのはよくわからないまま有効にしてみてる lambda chatっていうところで無料で試せるhermes-3-llama-3.1-405b-fp8なかなかいいと思う テストでmagnumみたいなエロに強いファインチューニングモデル作ってみたで
使ったデータセットの半分ぐらいが日本語だから普通のmagnumよりも日本語には強いはず？
https://huggingface.co/ascktgcc/Mistral-nemo-ja-rp-v0.1 すげーな
帰ったら試すわ
できれば作成手順もアップして欲しい >>379
Mistral-nemo-ja-rp-v0.1-Q4_K_S.gguf
を使ってみたけどチャットで少し性的な内容だと「そういう問い合わせには回答できない（要約）」、文章生成で使うとルー語（youがrunした、みたいな）になるね（Lumimaid-Magnumだと実用レベルの文章が生成できている設定で比較）
もしかするとQ4まで量子化してる影響かもしれないからQ6かQ8で12GBに収まるギリギリなのがあれば試したい >>379
すげー個人でできるもんなんか
青空文庫ぜんぶ喰わせたとか？
DLさせてもらうで
ガチハード勢が多いここのニキら用に
VRAM24Gのも用意しとくのもええんやないかしら >>381
そういやfinetuneする時無修正化してるのはどうやってるんかな？ >>381
俺の設定だと性的内容でも問題なく出力してくれたよ
キャラの設定とか会話例とか次第なのかもしれない ただ文章が固いし日本語が不自然かつ英語が混ざるのは確か
俺の設定が悪いだけかもしれんが 海外製モデルは根本的に日本語不自由だからSFTだけじゃ不自然なのは治らないよ
継続事前学習しないと >>381,385
英語交じりになる問題はmistral-nemoベースなんでTemperatureを0.3前後に下げれば解決すると思う。
回答拒否は再現できなかった
q6とq8は今アップロード中だからそのうち追加されると思う
>>380,379
unslothの公式ノートブックを使ってモデルページに書いてあるデータセットでファインチューニングしただけだから簡単やで
>>383
Mistral-nemoは素の状態で無修正だからファインチューンでエロさを足してる感じだね ■ このスレッドは過去ログ倉庫に格納されています
