なんJLLM部 避難所
■ このスレッドは過去ログ倉庫に格納されています
!extend::vvvvv:1000:512
!extend::vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ
なんJLLM部 ★6
https://fate.5ch.net/test/read.cgi/liveuranus/1701542705/
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured >>132
何度も失敗して挫折した上に金欠で遊んでいる場合じゃないでござる・・・ >>89
別のスレでエロチャットの学習用データ集めようとして頓挫してたけどこっちのスレで再挑戦するの？ まあすんなり上手くいくかは別にして旗艦になりそうなモデルが
5chの人間から出てきたのは大きいんちゃうかなって
暇つぶしでデータ作成に協力くらいはしようかなと思ってるわ
匿名性維持しつつ削除されないためにはrentryが一番ええんかなあ >>135
まさしくそっちのスレの住人で現時点でローカルに手を出してないしなんJも行かんからROM専やってるのよ
データの正規化とか音頭を取れるほど詳しくもないから何かやるなら協力できることがあるならその範囲で何かやりたいなってだけかな
将来的にはローカルに移行したいけどみんなの開拓の成果タダ乗りってのはちょっと気が引けるじゃん？ >>120
どのエキスパートを使うかに影響する
例えばコード特化、数学特化、ロールプレイ特化、小説特化の4つでMoEする場合はそれぞれのPositive Promptに
「プログラムを書いてください」
「次の計算問題を解いてください」みたいに各モデルの得意なタスクとかを書くと、推論時の入力の意味をある程度解釈して適切にgatingしようとする
だけど、mergekitで2モデルでMoEする場合はデフォルトだと常に2モデル使うような設定で出力されるから、どんなgate_modeでも理論上変わらん…はず >>80
今更だがベースモデルの片方のNTQAI/chatntq-ja-7b-v1.0はすでにInstruction Tuning済みなのか
Instruction Tuning済みのモデルにMistral-instructのベクトル足して上手くいくってのも割とわけわからんな
NTQAI/chatntq-ja-7b-v1.0はそのまま、Antler-7BはChat Vector足してMoEとかも試した感じ？ 先週マイニング用の4分岐のライザーカードasm1184を用意した
最初のモデルのロードは遅い、busロード80%(おそらく分岐チップの制約でマックス速度)
初期プロンプト流し込み、ジェネレート中はbusロード20%は超えなかった
これの意味するところはマイニングライザーでグラボ増やす形でもあまり問題はなさそう LLM用のデータセットの話題があったみたいだけど、npakaさんの昔のデータセットっていうか会話集みたいだったけど、
（スマホアプリの中で使った会話っぽかった）あれ改造１回試みたんだけど頓挫してるんだよね。
昔の女子高生の会話みたいなやつ。データ使ったの前過ぎてどこにあるか忘れた。多分削除してしまったと思う。
まだネットに落ちてるかな。全部読んでみたんだけど肝心の所が削除されてたんだけどね。 使えるか使えないかは別として、まだあった。npakaさんの あかねとーくっていう携帯アプリ？で使った会話。
https://github.com/npaka3/akane-talk >>139
その組合せは試してない。理由としては以下のように進行したからです。
素のchatntq-ja-7bを試したが、こちらの指示通りに書かないことがある
→ChatVector適用するとどうなる？出力がおかしくなるか？求めるものに近づくか？
→ChatVector適用済モデル(MoE化前)で実験、好みの動作に近づいたと判断
なので適用済をMoEの素材にした。Antler-7Bも同様
今回の処理について自分が期待していたことは、
ChatVector: Instruct強化をすると、ユーザーの指示に従いやすくなったり、話を理解しやすくなるのではないか
MoE化: パラメータ数の増加による基本能力の向上と、7Bモデル同士の短所の補強及び長所の相乗効果(言葉合ってる？)
いろいろなモデルでマージしてしばらく遊んだ個人的経験から、上記2点の可能性を見たので試して、偶然できたのが今回のモデルです
LLMはkarakuriが公開されたころ(今年2月？)に触れたばかりで、理論的なことは正直さっぱりだったりする ローカル勢でllama.cpp + LibreChat 勢をみたことないな。存在しないのか... >>146
chatntqはMistral-instruct派生じゃなくてMistral-baseから改めてインストラクションチューニングされてるモデルだから加算しても上手く行ってる感じかな、面白い llama.cppを最新版にしたらMoEしてMixtralになったものをquantizeしたモデルをKoboldcppでロードできなくなったんだがこれって対処法ある？
Koboldは最新のものにしたけどダメだった
経験者いたら教えてくれ
どうやらconvertするときの重みの名前の付け方が変わったっぽいが >>148
あ、確かに自社のデータセットでファインチューニングしたって書いてある
なるほどそれで二重にならなくて上手くいったのか…
そういやChatVectorしたかった理由で一番重要だった「Context32k対応」を忘れていたので、追加で
素のMistral系日本語モデルたちは32kまでじゃないんよ
これをしたかったからMistral系を漁っていたんだった
>>149
過去のバージョンにロールバックできれば…
git cloneで過去バージョンでコピーできないかな
しかしそんなことがあるのか。迂闊に最新にできないなあ 4090が一個あれば、AIで遊ぶのにどれぐらいのことができますか?教えてください先輩 4090だけだと画像生成で無双できるやろけどLLMだとなあ……
>>80ニキのモデル動かすだけなら爆速やろから、それが進化して
13Bモデルとかになっても爆速にはなりそう >>152
やっべ かなりいいなこれ
IQ3XXSで量子化すればなんとか 動かせたニキがおったら環境教えてほしいわね
基本的にはMacじゃないと快適じゃなさそうやが・・・ >>153
33Bくらいのモデルなら必要メモリ量が20GB前後なので、それだとちょうど4090にフルロードできて恩恵を実感できると思うが…
実際に話題になるモデルの多くは70Bクラスが中心なので、それだと4090といえどもフルロードはできない
溢れた分はCPU+RAMで動かすことになるので、そこが速度上のボトルネックになって、正直1070だろうが3060だろうが4090だろうがそれほど速度は変わらない(多少は変わるが劇遅→爆速で快適！とはならない)
勘違いしないで欲しいのは「4090程度じゃダメ」と否定しているのではなく、十分遊べるしそれなりの恩恵もある
ただ画像生成のような劇的な恩恵は無く、下位グラボじゃできなくて4090ならできるという場面はあまり無いよということ
現状はCPUとRAM側が重要 >>150
>>80のモデルを普通にQ6とかで量子化したけどダメだった
>>149
gitで過去バージョンに戻して再ビルドすれば良さそうだね 流石にエロ小説をいきなり出すのは厳しいか……
何らかのキャラクターになり切って応答させる
とかの方が敷居は低い感じで良い？ すごいなこいつ
うちのMac 64GBだと相当縮めないとダメだろうが・・・
そもそも小さい方のやつもめちゃくちゃ性能いいけど、日本語だけ学習させるより、多言語で学習させた方が能力落ちにくいとかあるのかな 全般の能力に関しては納得できるんだけど、日本語単体の能力でみても日本語特化モデルより能力高い感じしない？ ああ、でもそもそも世の中の日本語モデルは事前学習自体はほぼ英語ってのも影響してるか くそっ、2年前の俺。
なぜあのとき3060tiの8Gを買ってしまったのか！
12Gのモデル買っておけば…悔やんでも悔やみきれないw 7Bモデルなら別にCPUで動かしてもそれまでちゃうかな
全然速度的に不満ないし command-r+はまだllama.cppに完全対応してないっぽいね
通常の量子化もだけど、imatrixにしたいから、こっちの問題も解決してほしい（command-rでもまだ無理だったし） そういえばデータセットはcommand r+とかに出力してもらえばいいのか。 動かせる環境がある奴ならな・・・
M2Macの奴がバンバン動かしてくれたらデータセットすごい速度でできるかも？ 4bqのCMDR+がこのスピード、M2 Ultra欲しくなりますなぁ……。
https://twitter.com/awnihannun/status/1776081238467768493
しかし唐突なグリーンってのは何なんだw 3bqならうちのmacでもギリギリ動かせそうだが、劣化が気になる >>162
WEB UIのキャラクター設定に学校の委員長入れたら頑なにエロ拒絶された
学校の部分消したらうまくいったので設定にもよるみたい そういや>>80の手法、0.8掛けて重み足してるけどそのままでいいのかな
直感的には1.8で割って元の分布に近づけたほうが良さそうな気がするんだが >>80のモデルの名前が長い、というのをいくつか見かけたのでもっと短い名前を付けようと思います
LightChatAssistant(LCA)って変更したので、今後huggingfaceを見る方は以下のリポジトリをご参照ください
Sdff-Ltba/LightChatAssistant-2x7B
Sdff-Ltba/LightChatAssistant-2x7B-GGUF
それと量子化版にもっと大きいbit数のものを随時上げていく予定です
手始めにQ6_K版を上げました。非iMatrixです
もっと精度劣化してないの欲しい！という方はこちらをどうぞー >>179
乙です
時に、そちらの環境では70Bの差分マージは可能でしょうか？
karakuri=miqumaid-llama を試しましたが、64Gでは無理でした メインメモリ128GB自体はまだ現実的
問題はその時の速度
Mac最強かな >>180
ChatVectorですかね？やってみた…らブルースクリーンになったｗ久しぶりに見たｗ
メモリ96GBでは到底足りないようだ
1モデルだけで128GBあるからやはりきついみたい >>184
やはり、無理ですかー
mergekitだと、70Ｂモデルのマージも64Ｇで余裕だから、そこらへん上手く処理してくれるのかな
Task Arithmeticを使ってできないだろうか やるとしたらRunpodとかのサービスでクソデカサーバ借りてマージするとかかな
ダウンロードとかアップロードの時は小さいインスタンスにするようにすれば5ドルくらいでいけそう >>179
久々にローカルやってみようと思い、oobaでq6_kを試してみた
メインメモリ32Gの3060環境だけど、この精度でサクサクなのは、とても進化を感じたよ 避難所これどこの板なんやろ防弾とかなんかな？と思ったらPINKで hentaiスレ一覧の中にポツンとあんの笑う 女になりきってオナニーするスレ ★2
なんJLLM部 避難所
男の射精見て興奮する奴 6 しかもこのスレが一番勢いあるという
もう終わりだよこの板 本スレの方はどうすんだ？ スクリプトが埋めると思うけど次スレはなしかね 誰か立てたら残る
そうじゃなきゃこのまま
今の5ch/pinkbbsは割と成り行き任せよ
このスレが日本のLLM知見の最先端になってもそれはそれで・・・ >>178
64GだとQ3までしか無理だなぁ
IQ3なら劣化も少なくすむのに
Aratako/c4ai-command-r-v01-japanese-instruct
こっちは、前モデルにファインチューンしたバージョン
スコア見る限り、かなり期待できそう
ダウンロード終わったら、Q6_kに量子化してkoboldで試してみるわ。
しかし、自前でファインチューンできる時代になったんだな
エロ特化にできんかな？ｗ light chat assistantでいつもの嫁を設定。エロ可能嫁完成。 >RunpodでGPUサーバを借り、A6000x4で学習を行いました。
RunpodのOn-Demandで$4.56/hrか…
データセットさえあればワンチャンありそう >>195
iq2上げてる人見つけたから、iq3お願いしてみた >>195
まともなデータセットで追加でファインチューニングすると逆にエロ悪化したりするからなぁ、どうだろう
試してみないと分からんが
>>199
俺もRAM64GB勢だからIQ3楽しみ Aratako/c4ai-command-r-v01-japanese-instruct
だめだ。エラーが解消できん。元のcommand-rは上手くできたのに
とりあえず作者様に量子化をお願いしてみた
>>199
見たら上がってた
早速落としてみる 残念
command-rが動いた自前ビルドのkoboldでもplusは動かんかった ああ、ていうかアーキテクチャが違うのか
llama.cppが落ち着くまで待つか・・・ llama.cpp server叩いたけどunknown architectureだね Add Command R Plus supportっていうPRが進行中だからもう少し待ちだね latest releaseが1時間前とかだからいけるかと思ったけどダメという
お預けですな >>80
長文(1万トークンぐらい)の最初と真ん中に書いた事を質問したら、ちゃんと答えてきた。なんかすごい。 KoboldcppのビルドがWindowsで上手くいかん
makeでやってもcmakeでやってもエラーになるわ
もっと頻繁にビルド済みの配ってくれねえかな OPENBLASならビルドできたからこれで一旦満足するか… LLMじゃなくて画像生成(SD)のほうだけどRunpodでA100 80gb使ったことある
24時間ぐらい回すぐらいなら5000円くらいで使えるので個人でもわりとイケる
が、ワイ的な問題としてはSDは実質的にsd-scriptsというリポジトリのが学習環境の定番になってるんだがLLMの定番がわからん点や
karakuriはmegatoron deepspeedなるものを使ったということはわかる >>149
これはどうやら↓の変更が原因みたい
https://github.com/ggerganov/llama.cpp/pull/6387
↓のコマンドでその手前に戻したら直ったわ
git reset —hard 52604860f93063ef98863921da697576af1c7665 >>80
めっちゃ楽しんでます、サンガツ！
chatntq_chatvector-MoE-Antler_chatvector-2x7B-GGUF+Kobold.cpp+SillyTavernで遊びたいんやが、SillyTavernの方の設定＆キャラカードのプロンプトがイマイチわからん
この組み合わせで遊んでる民、どんな風に設定してるかおしえて >>214
まずstの設定をkoboldと同じ設定に変更
キャラ設定はオナニースレのシルヴィを参考に入れ込んで自分好みにカスタマイズした
(小説機能とか省いて 口調のサンプルを追加とか) >>215
サンガツ
チャット楽しみたいんやが、なんかプレイヤー乗っ取られたり、余計なプロンプトが最後にぶら下がったりで置いてけぼりくらうんやけど、その辺はどうやって制御したらええんかな？ 2x7Bだからその辺りはある程度割り切るしかない気がする
ガッツリ設定入れ込んでちゃんとしたロールプレイするにはモデルサイズ的に厳しい >>216
会話は◯◯のみ行う とか 1センテンス以内にしろとか指示に入れてるが初手でダメならガチャしてる
あと指示はxml文で入れた方が理解度があがる 気がする ここら辺はワイもまだ試行錯誤だわ ローカルの最大の強みは返信を書き換えられることや
どんどん書き換えていけ >>208
なんかkoboldの人は4/7まで休暇みたい
もうすぐビッグウェーブが来るでw >>215
オナニースレのシルヴィ探してるんやが見つからん
【Claude3】ChatGPTでオナニー ★29とかのテンプレ見るんじゃあかんのか？
>>217-219
ありがとな
修正出来るのは強みは活用せんとな
せっかく日本語で遊べるローカル出てきたからには尻タブ用の使い勝手のいい日本語テンプレプロンプト作らんとな 避難所に案内されたわけですが、軽量でいいのがあるとのことですがどれのことなんだろう… >>225
ありがとうございます
これいくつか種類がありますけど何が違うんでしょうか…？ ここのニキらには不要っぽくはあるんやが
LightChatAssistantをKoboldCppで簡単にお試しする環境と解説を用意してみたで
https://github.com/Zuntan03/EasyLightChatAssistant >>228
ooba以外での動かし方も知りたかったので助かりますぜ…！ 最初q8のものを落として使ってみましたがVRAM15gb使ってたのでQ4kmってやつにしてみますね。
ただ日本語モデルということで日本語で入力してるんですが返答は英語で帰ってくるのはどうすればいいんでしょうか >>230
まずは
>>228 を試してみるとええかもしらんで 全部消して228のを入れようとしたらこういわれました
https://files.catbox.moe/vr2l4z.png
koboldcppだけ先に落としておいたら進んで、できたbatを実行したらまた証明書が〜と出るのでこっちは起動までたどり着けないです…
comfyuiの時もこんなの出たことあったなぁ… ■ このスレッドは過去ログ倉庫に格納されています
