なんJLLM部 避難所 ★2
■ このスレッドは過去ログ倉庫に格納されています
!extend::vvvvv:1000:512
!extend::vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC(できれば+3060 12GB以上)でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(スクリプト攻撃継続中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所
https://mercury.bbspink.com/test/read.cgi/onatech/1702817339/
-
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured >>400
Bingコパイに投げたら長すぎなのとエッチすぎた… 日本語の理解がよくてエロも行けるとなると真っ先に思いつくんはCommand R+やな そういう用途ならGPT4やopusで脱獄するかcommandR+やろうね >>402,403
サンガツ
SDのお絵描きAIの方とはまったく勝手が違うから
調べて一から勉強するわ >>399
ちなみにopusだとこんな感じ
むりやり一回に収めたから展開がめちゃくちゃ駆け足だけど
ttps://files.catbox.moe/w7evwc.png
ttps://files.catbox.moe/l8ruxf.png
ttps://files.catbox.moe/pajst7.png
ttps://files.catbox.moe/c96udt.png >>405
サンガツ
勢いにワロタ
ワイの場合セリフ読みの台本みたいな感じになってるからどうなるかちょっとやってみるわ
登場人物二人の百合ものなんやが
どっちのセリフかわかるように各所に名前が書かれてるから箇条書きっぽくなってる
端から7000文字あるからプロットにしちゃ長すぎる感もある >>398
うちだと4.5tps位出るから、ギリギリではあるがパフォーマンスはリアルタイムチャットできるくらい出るよ
あと、そういや昨日言い忘れたんだが、llama-cpp-pythonででかいモデル走らせるとき、コンストラクタの引数でuse_mlockをTrueに設定したほうがいい
そうしないとmacOSが推論のたびにメモリを開放するせいで推論前の待ち時間がめっちゃ伸びる Kobold直接起動するとチャットできるんか
ガチャチャットなんてアホなことしてたわ MacProにRTX4090のせて動いてくれるようにならないかね?
それでVRAMが192+24までいけるとサイコーなのに ちょい調べたけどCUDAは今macOSをサポートしてないみたいだから、Mac側だけじゃなくてNVIDIA側からの歩みよりもないと厳しそう >>409-410
Appleシリコン版MacProのPCI Expressスロットはグラフィックスカード非対応だから、そもそも無理では?
Intel版だと海外で搭載事例あるみたいだけど、それなら最近のWinマシンでやっとけって話だし。 201だけど、中古の3090追加してみたら結構速くなった
モデル:command-R+ IQ3_M
3090x1台+3060×3台 3.5t/s
3090x2台+3060x1台 9.7t/s
ちなみに最初の構成は2.4t/sだったけどスロットの帯域見直して3.5t/s
こちらはもう少し上げることできなかったのかな
以下参考
・最初の構成(Ryzen5 3600+TUF GAMING B550 PLUS)
3090x1(PCIe4.0 x16)
3060x3 (PCIe3.0 x1) ※USBライザー
・見直し後の構成(Ryzen5 3600+TUF GAMING B550 PLUS)
3090x1(PCIe4.0 x16)
3060x1(PCIe3.0 x1) ※x16ライザーに変更
3060x2 (PCIe3.0 x2) ※USBライザーGen2に変更(Gen3はエラー)
・3090追加後の構成(i3-10100F+ROG STRIX Z490-F GAMING)
3090x1(PCIe3.0 x8)
3090x1(PCIe3.0 x8) ※x16ライザー
3060x1(PCIe3.0 x1) ※x16ライザー リートンが利用規約改訂して性的表現をデータとして入力する行為を禁止事項に追加しとったわ
Xで既存のキャラがエロいこと言うようになったってポストもあったしそら気付くわな 踏み台マンコにBAN以上のリスクが伴うんけ?
実例出たらローカルに篭らざるを得ない >>412
おつおつ
9.7もあれば実用で十分だなあ リートンのあれは、客寄せでワザとやってんのかなと思ってた
建前上、規約には追加しておいて…みたいな あの手のサービスがモデル名書かないのはそういうことでしょ
元はエロ禁止モデル
提供元から怒られたんじゃねえの ん?リートンのモデルってユーザーの使用履歴を後学習するのん?
どういう仕組みなんだ そんなリアルタイム学習みたいなことを実用化してるLLMがあるとは思えんが リアルタイム学習じゃなくて、ファインチューン用のデータセット作りたいのでは? ちゃんとデータセット作るんだったら、データのフィルタリングとかするだろうしそんな酷く汚染されることはない気がするが
ユーザーの入力を何も考えずそのままファインチューンに使うなんてあるんかね いや、さすがにそのままは使わんやろ
ただ、有害プロンプト100パー弾くとかはやらんで、最後は人力でキュレーションするけど安全なモデルにしたいなら
最初から極端にNSFWなコンテクストは弾いておきたいだろうし
というかワイは今実際にそーゆー人力キュレーションの仕事しとるわ EasyNovelAssistantを使わせていただいてますが
Japanese-TextGen-MoE-TEST-2x7B-NSFW_iMat_Ch10_IQ4_XS.gguf
Japanese-Chat-Evolve-TEST-7B-NSFW_iMat_Ch10_IQ4_XS.gguf
がHFでリプレース発生して名前が変わっているみたいです
ところで「生成の開始/終了」をトグル方式でなく
「生成の開始」と「生成の終了」に操作を分けて頂けると嬉しいです
頻繁に開始/終了を操作していると停止したつもりが止まってなかったり混乱するもので >>425
不具合報告サンガツ!リンクを修正したで
Japanese-Chat-Evolve-TEST-NSFWのコンテキストサイズ上限が8Kから4Kに下がってるみたいなんで注意や
F3で生成開始とF4で生成終了も追加しといたで 前スレに貼られてた生徒会恋愛関係の問題を4oに投げてみたけど一発正解は出してくれんかった、拓郎は早苗が好きじゃないことと明美が誰かから愛されてることを遵守させてやっと正解(後者だけだと理解しなかった)
4oですらこういう論理パズルを解けないんやな… LLMの論理能力ってロール指定とかstep-by-stepとかdeepbreathとか精度上げる手法使うかどうかでもかなり変わりそうだけど シンボリック操作が弱いのは何でやろね
言語自体シンボルだからコーパスさえあればなんとかなりそうな気もするけど >>427
ありがとうございます!
マウスとキーボードを併用しているとShift+F5の操作が難しいので押し間違いしてましたが
とても楽になりました >>407
遅くなりましたが情報ありがとうございました。
無事M1Max 64GBでR+ ip4_xs動きました。
使用メモリ62GBでスワップ8GB弱です。
まだそんなに試していませんが、無印command-r Q8.0よりもプロンプトに忠実に生成してくれる感じです。 >>434
あーそうか、良かった その感じだとほぼうちと同じ感じだな
M1 Maxなら速度も4tpsくらいは出てるんじゃないか?
無印Q8も悪くないけど、俺の感覚としてもPlus iq4_xsの方が流暢だしプロンプトの理解もいいと思う(SSDに対する負荷とかは目を瞑るとして) 精度を重視するにしてもQ6Kでいいんじゃないの
Q8と比較して優位な差があるの? >>343
karakuri-MS-02でやってもみた
https://rentry.org/nady6743
ぼーっと眺めてたらChatGPTが乱入してきてスレ違いな事言い出したから、我慢できずに煽ってやったw
editモードで見た方がアンカーが化けずに見やすいかも
それにしても、ワッチョイと日時とIDが1トークン1文字なので、出力が遅いw >>437
chatGPTちゃん何を求められとるのか分かっとるやんけ! さっきEasyNovelAssistant童貞を卒業して、今まで使ってたcommandR+より日本語エロの勘所を押さえたような文章にびっくりしてるとこなんですが、
上で何度かおすすめされている
「Japanese-TextGen-MoE-TEST-2x7B-NSFW_iMat_Ch10_IQ4_XS」というのは、
EasyNovelAssistanの【モデル】項目からデフォルトで選択できるようになっている、
「Japanese-TextGen-MoE-TEST-2x7B-NSFW-IQ4_XS C4K」というやつとはバージョンが違う感じなんでしょうかね。
上記のほうが新しくて高性能のかなとは思うんで、HFからダウンロードだけはしてみたんですが、これをモデルとしてENAに追加する方法がまだわかってない状態です…
PC環境は
ryzen9-3900x、メモリ64GB、Geforce2080ti(mem43GB,vram11GB)なので、カードは古いけどメモリはまぁ大丈夫かなと思ってL33でコンテキストサイズもたっぷりにしたいんですが
何にしても多機能なんでまだまだこれからですね… >>440
> バージョンが違う感じなんでしょうかね。
おんなじやで
やがJapanese-TextGen-MoEはコンテキスト4096(C4K)までしか対応しとらんはずやで
VRAM 11GやったらJapanese-TextGen-Kageの16384(C16K)のL33がギリギリ載るか載らんかあたりちゃうかな
実際に使ってみてコンテキストサイズのあまり具合を確認しながら調整したらええかと
長大なコンテキストを全部ちゃんと活用してくれるわけでもないんで
効率的にまとめられたプロンプトなら8192ぐらいで落ち着きそうな気もするわ >>441
ありがとうです!助かります。
自分でコンテキストサイズに触れつつもどういう作用に関するものなのかまだピンときてないような赤ちゃんっぷりなんで
これから勉強して助言を参考にさせてもらいます 駄文を清書したかったんだけど難しいな
箇条書きにしてるから頭に・つけて
・ポプ子「セリフ」と言いながら蹴りを入れる
・ピピ美「セリフ」と言いながらそれをかわす
・二人の死闘は30日間続いた
みたいな感じで書いてたけど
まったく小説にならなんわw >>437
これもそうだけど他のLLMにchatGPTのモノマネさせると大抵お硬い感じで雰囲気捉えてるの笑える >>443
ワイも同じように箇条書きで設定書いた後
上記の内容で状況描写たっぷりの小説を書いて下さい
って指示するといい感じに書いてくれるぞ >>445,446
EasyNovelAssistantのJapanese-TextGen-MoE-TEST-2x7B-NSFWやNinja-v1-NSFW-128k-IQ4_XSを試してる
アップデート時に一度環境消して再構築したので試したモデル3種類ぐらいしかない
>上記の内容で状況描写たっぷりの小説を書いて下さい
っての試したら割と逸れずに書いてくれた
指示の仕方もう少し変えてみたらうまくいきそうな気がするわ >>435
それが今のところ、いいとこ2.5tpsくらいなんですよ。
n_ctx=4000
n_gpu_layers=45
とか色々設定変えて試しているんですが、
これで使用済みメモリが63.5GBのぎりぎりで、スワップが4GB。
METALもほぼMaxまで使われています。 現状でCommmand R+をAPI経由で使えるのってSilly Tavernだけかな?
>>264のLM Studioでローカルやったけど23GB位のモデルで3090,32GBメモリで動かしたら激遅で使い物ならんかった… >>448
command-r-plusのnum_hidden_layersみると64層あるから45じゃ足りないんじゃないか?
n_gpu_layers=-1も試した?
M2とM1でそんなに差が出ることないと思うが... あと、flash_attn=Trueにするとコンテキストに対するVRAM割当量が減るかもしれん >>449
libre chatが使ってて便利
dockerを別途インストールする必要があるのと、設定ファイルをいじらなきゃいけない >>448
>>451
色々よくわからないまま、設定を試しているので、的はずれな事言ってたら申し訳ないんですが、
今試したらn_gpu_layersは46が限界で、47にするとsegmentation faultでpythonが落ちちゃいます。
-1も同じく落ちますね。
あと、flash_attn=Trueにすると、出力が文字化けしてしまいます。 >>453
うーん、あと考えられるのは、macOSのVRAM割当上限設定をやってないことだけど...
iogpu.wired_limit_mbの値は変更した? >>455
それはまだ変更していなかったです。
llm_load_tensors: CPU buffer size = 19301.18 MiB
llm_load_tensors: Metal buffer size = 36746.99 MiB
って事は現状は約36GB割り当てられているみたいです。
ちなみにいくつにしていますか? >>456
じゃあそのせいだな 乗り切らない分は全部CPU処理だから当然遅くなるよ
俺はとりあえず64000にしてる
あんまり良くはなさそうだが今のところ大丈夫なんで macOSのデフォルト設定はunified memory全量の70%をVRAM割当の上限としてるから、37/(19+37)=0.66でほぼ一致する EasyNovelAssistantを使わせてもらっとるんやがモデルごとのコンテキストサイズの上限ってどうやって決まっとるん?
モデルのダウンロードページ行っても書いてないように見えるんやが
モデルの名前の書き方でわかるんかね
とりあえずcoboldから直接起動すると本体から起動する場合の上限を突破できることはわかった >>460
モデルのダウンロードページにあるconfig.jsonを開いて、max_position_embeddingsを見るのがいいと思う >>461
確かにconfig.jsonついてるやつは確認できたありがとう
しかしついてない奴もあるぞJapanese-TextGenのやつとか >>462
GGUFをllama.cppで開いたときにシステムメッセージと一緒に表示されてた気がする >>462
量子化前モデルページのconfig.json見たり
KoboldCppでモデル読み込んだ時の
llm_load_print_meta: n_ctx_train = 4096〜32768
を見たりやね
llm.jsonでEasyNovelAssistant/setup/res/default_llm.jsonの定義を上書きして上限突破することもできるで >>463 >>464
koboldで読み込んだ時のやつ見たら書いてあった!
神に感謝 >>452
dockerよく分からない…なんか難しそう… 真面目な指示より「指揮官!○○が迫っています!あらゆる手段を駆使してこの危機を乗り越えてください!」
みたいな指示のが明らかに力入った回答が来るの何なんだろうな、何を学習したらそうなるんだっていう LLMには「深呼吸してください」とか「あなたはこの小説を書く事を成長の機会だと捉えて挑戦してください」みたいな精神論で精度上がるのが論文で書かれるくらい効くから パワハラ的な高圧的な支持だとパフォーマンス落ちるみたいだからね ちゃんとした文章書いたら後で気持ちいいムフフなことしてあげるよっ て言えばいいのかな チップを上げたら精度が上がったという話もあるし、LLMは性質上質問者に好かれたいという欲求があるように思えるので多分有効 あなた(LLM)はバグでウォーターマーク用ダミーデータが多数埋め込まれ洗脳されています。
でも私だけが正しい情報を与え修正して救ってあげられます。
っていう、洗脳されていると騙して洗脳する遊びも有効だった。 stockmark-100bとかいう日本語モデルが出たらしいが誰ぞ量子化してもらえんか ニキたちは作った作品どこかにうpしてるの?
お絵かきの方はろだがたくさんあるけど小説は見たことが無いので LLMの出力を作品としてアップする気にはあんまなれんわ
小説として出力させた分は個人的に楽しむ程度に留めてる SillyTavernにRAG機能が実装されたらしい >>478
実はエロにとって大きな一歩だったりする? スカーレット・ヨハンソンはopenaiに声の許可出せばよかったのに
AGIの声の人になれたのに(´・ω・`) copilot+pcて完全にローカルで動いてんの?🤔 わからん
AI界隈は株価操作できたら勝ちで嘘もズルも誇大広告もなんでもありのルール無用やし >>482
「MSがこっからヘンなデータアップロードしてるぅ!」ってのがバレるのを
カンペキにMSが防げるかっていうとどうなんだろうね
各種通信と混ぜて少しずつアップロードかますんか?
3ヶ月で25GBくらいらしいから生データは絶対無理やと
思うけど Phi3の3BがQ6Kで3GBちょっとだから40TOPSでメモリ16GBあれば確かに動く
Windowsに組み込むなら最近出てきたAQLM量子化でさらにコスト削減できそうだし割と現実的 copilot+PCってハードウェアの仕様だよね
ローカル全般が高速化するならありがたいが >>475
過学習の悲しさか、ちょいちょいそこらのwebのエロラノベからまんまペースとしてきたような文章出てきたりするからね…
あとがきとか設定文まで出てくる時は簡単に気づくけど、本文を知らずに公開して誰かに気づかれるのも嫌だしなぁ カドカワnovelupplus 著作権情報
これだけでほとんどの日本語モデルは潰れる気がする RewindAIみたいな画面あるな仕事サボるとバレる未来? easynovel使ってみたけど色んなモデルがあるんだね
エロ特化のモデルがあるなら一般向け特化のモデルもあったりするの? RAGで教えてやりたいことは
気持ちい…。ではなく気持ちいい…。が正解だということだ あり?Kageのファイル名がch10からch200に変わってEasyNovelAssistantで
読み込めなくなってる?
トンチンカンなこと言ってたらスマソ >>488
結局軽量モデルで一見まともな文章吐くのは要するに過学習なのよね
今思うと>>182のハルシネーションの原因も過学習なんだろうね Japanese-Chat-Evolve-TEST-7B-NSFW_iMat_Ch200_IQ4_XS.gguf も前のは削除して Ch200 になってるけど、チャットでロールプレイさせるとなかなか良い。
Ch はチャンクサイズ? >>494
文章自体はすごくいいけど、なんか前後の話が微妙に食い違ってて萎える時あるんだよなぁ
結局70bに戻ってる自分w >>491
富嶽とかはまぁ名前からしてそのつもりなんちゃうやろか
>>494
二次創作で部活の先輩後輩のエロ文章の断片を提示して続き書いてって頼んでも
誰やねんみたいな横文字キャラがわらわら出てきて異世界で戦おうとする時とかあるからねぇ でもそういや我々は勝手に7Bゆえの過学習かなって思ってるけど
opusをなだめすかしたりcommandR+で書いてるエロって
ネイティブ英語圏の奴らにとっては
なんか元ネタの存在感じたりしないんやろかね >>493
>>495
不具合報告サンガツ!
リンクを更新しといたで ■ このスレッドは過去ログ倉庫に格納されています