なんJLLM部 避難所 ★2
■ このスレッドは過去ログ倉庫に格納されています
!extend::vvvvv:1000:512
!extend::vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(スクリプト攻撃継続中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所
https://mercury.bbspink.com/test/read.cgi/onatech/1702817339/
-
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured >>374
Command Rのテンプレートに従ってる？
<|START_OF_TURN_TOKEN|><|CHATBOT_TOKEN|>
ではじめないとまともな返答返さないよ >>375
はい、ローカルで、ollamaやllama-cpp-python経由で出力させています。
場合によっては一応「こんにちは」への回答っぽい語句も含まれる事ありますけど、余計な長文が付け足されたり、
あと大抵はどこかの一般的なブログの記事みたいなのが出力されます。
で、エロい内容だと何故かここのスレみたいな長文にw
モデルはc4ai-command-r-v01-Q8_0.ggufですが、とりあえず今他のも試し中です。 silly tavernの日本語の情報全然無いから使い方よくわからんと使ってるわ llama-cpp-pythonは勝手に頭に<BOS_TOKEN>加えるから、それで変になってないかも見たほうがいい >>376
>>379
情報ありがとうございます。確認してみます。 >>380
なんとなく今は
from llama_cpp import Llama
model = Llama(...)
output = model("こんにちは")
みたいなことやってるんじゃないかと想像するけどこれはダメで、HuggingFaceに書いてあるフォーマットに従う必要がある 一瞬R PlusをQ8で動かしてるのかと思ってビビった >>376
https://docs.cohere.com/docs/prompting-command-r
このテンプレートに沿った内容で組み直したら、正しく出力してくれました。
ありがとうございます！
>>382
R+はiq2_xxsが精一杯... >>383
R/R+含め最近のinstructモデルは基本こういうテンプレートがあってそれに従わないとまともに推論できないから、新しいモデル使う時は気をつけた方がいいかも
Llama 2ベースのモデル(KarakuriとかSwallowとか)とかは割と適当にやっても大丈夫だったんだけどね ちなみにR+もテンプレートはRと一緒だったはずだから、そのプロンプトはR+でもそのまま使えるで >>385
ありがとうございます。iq2_xxsですが、ちゃんと出力されました。
ただ日本語のおかしい感じがRのQ8より目立ってて
せめてQ4以上が動く環境が欲しくなりました。
※今はM1Max64GBです。 >>386
macいいのぉ
64Gならkarakuri70bのQ5_K_Mがヌルヌル動くんかな？ >>386
俺M2 Maxの64GBだけどiq4_xs(contextは8K)無理やり動かしてるよｗ
swap 8GBくらい行くけど一応macOSハングアップせず動く >>388
メモリ割り当て上限上げればQ5kmいけない？ IntelかAMDがVRAM大量に積んだ統合型CPU出せば結構需要あるだろうにな
LLMはメモリ勝負で画像生成とは全然違うんだし AMDが出すだろ
帯域500ぐらいのメモリ64までツンだAPU 64GBまでってのが残念だよな
256GBくらい行ければいいのに あれ内蔵GPU相当よさそうだから、文章AIとかお絵かきAI推論させながら別のグラボで作業とかゲームとかしたいけど、別のグラボ接続するの無理らしいんだよね
悲しい…… ニューラルボードも個人に売るより企業に売ったほうが儲かるし
個人が買って使う分にはnvidiaのGPUに比べて優位性あるわけじゃないから
LLM元年こねえなあ… >>387
karakuri70bのQ5_K_Mはまだ試していないですけど、
Q4_K_Mだったら結構余力がある感じだったので、多分いけそうですね。
command-r/r+が一段落したら、そっちでもやってみるつもりです。 >>388
それは朗報です。今早速ダウンロード中。
今やりたい事が、さほど速度は求めていないので（寝ている間に作成でもOKなくらい）
とりあえず動けばいいんですけどね〜。
将来もっと環境が良くなった時のための、下地作りみたいなものなので。 LLM赤ちゃんなんやが
箇条書きを文章のように清書したいんやが
そういうのに向いた設定とかモデルがあったら教えてほしい
試しにEasyNovelに投げたら箇条書きの続きを書き始めた >>400
Bingコパイに投げたら長すぎなのとエッチすぎた… 日本語の理解がよくてエロも行けるとなると真っ先に思いつくんはCommand R+やな そういう用途ならGPT4やopusで脱獄するかcommandR+やろうね >>402,403
サンガツ
SDのお絵描きAIの方とはまったく勝手が違うから
調べて一から勉強するわ >>399
ちなみにopusだとこんな感じ
むりやり一回に収めたから展開がめちゃくちゃ駆け足だけど
ttps://files.catbox.moe/w7evwc.png
ttps://files.catbox.moe/l8ruxf.png
ttps://files.catbox.moe/pajst7.png
ttps://files.catbox.moe/c96udt.png >>405
ｻﾝｶﾞﾂ
勢いにワロタ
ワイの場合セリフ読みの台本みたいな感じになってるからどうなるかちょっとやってみるわ
登場人物二人の百合ものなんやが
どっちのセリフかわかるように各所に名前が書かれてるから箇条書きっぽくなってる
端から7000文字あるからプロットにしちゃ長すぎる感もある >>398
うちだと４.5tps位出るから、ギリギリではあるがパフォーマンスはリアルタイムチャットできるくらい出るよ
あと、そういや昨日言い忘れたんだが、llama-cpp-pythonででかいモデル走らせるとき、コンストラクタの引数でuse_mlockをTrueに設定したほうがいい
そうしないとmacOSが推論のたびにメモリを開放するせいで推論前の待ち時間がめっちゃ伸びる Kobold直接起動するとチャットできるんか
ガチャチャットなんてアホなことしてたわ MacProにRTX4090のせて動いてくれるようにならないかね？
それでVRAMが192+24までいけるとサイコーなのに ちょい調べたけどCUDAは今macOSをサポートしてないみたいだから、Mac側だけじゃなくてNVIDIA側からの歩みよりもないと厳しそう >>409-410
Appleシリコン版MacProのPCI Expressスロットはグラフィックスカード非対応だから、そもそも無理では？
Intel版だと海外で搭載事例あるみたいだけど、それなら最近のWinマシンでやっとけって話だし。 201だけど、中古の3090追加してみたら結構速くなった
モデル:command-R+ IQ3_M
3090x1台+3060×3台 3.5t/s
3090x2台+3060x1台 9.7t/s
ちなみに最初の構成は2.4t/sだったけどスロットの帯域見直して3.5t/s
こちらはもう少し上げることできなかったのかな
以下参考
・最初の構成(Ryzen5 3600+TUF GAMING B550 PLUS)
3090x1(PCIe4.0 x16)
3060x3 (PCIe3.0 x1) ※USBライザー
・見直し後の構成(Ryzen5 3600+TUF GAMING B550 PLUS)
3090x1(PCIe4.0 x16)
3060x1(PCIe3.0 x1) ※x16ライザーに変更
3060x2 (PCIe3.0 x2) ※USBライザーGen2に変更(Gen3はエラー)
・3090追加後の構成(i3-10100F+ROG STRIX Z490-F GAMING)
3090x1(PCIe3.0 x8)
3090x1(PCIe3.0 x8) ※x16ライザー
3060x1(PCIe3.0 x1) ※x16ライザー リートンが利用規約改訂して性的表現をデータとして入力する行為を禁止事項に追加しとったわ
Xで既存のキャラがエロいこと言うようになったってポストもあったしそら気付くわな 踏み台マンコにBAN以上のリスクが伴うんけ？
実例出たらローカルに篭らざるを得ない >>412
おつおつ
9.7もあれば実用で十分だなあ リートンのあれは、客寄せでワザとやってんのかなと思ってた
建前上、規約には追加しておいて…みたいな あの手のサービスがモデル名書かないのはそういうことでしょ
元はエロ禁止モデル
提供元から怒られたんじゃねえの ん？リートンのモデルってユーザーの使用履歴を後学習するのん？
どういう仕組みなんだ そんなリアルタイム学習みたいなことを実用化してるLLMがあるとは思えんが リアルタイム学習じゃなくて、ファインチューン用のデータセット作りたいのでは？ ちゃんとデータセット作るんだったら、データのフィルタリングとかするだろうしそんな酷く汚染されることはない気がするが
ユーザーの入力を何も考えずそのままファインチューンに使うなんてあるんかね いや、さすがにそのままは使わんやろ
ただ、有害プロンプト100パー弾くとかはやらんで、最後は人力でキュレーションするけど安全なモデルにしたいなら
最初から極端にNSFWなコンテクストは弾いておきたいだろうし
というかワイは今実際にそーゆー人力キュレーションの仕事しとるわ EasyNovelAssistantを使わせていただいてますが
Japanese-TextGen-MoE-TEST-2x7B-NSFW_iMat_Ch10_IQ4_XS.gguf
Japanese-Chat-Evolve-TEST-7B-NSFW_iMat_Ch10_IQ4_XS.gguf
がHFでリプレース発生して名前が変わっているみたいです
ところで「生成の開始／終了」をトグル方式でなく
「生成の開始」と「生成の終了」に操作を分けて頂けると嬉しいです
頻繁に開始／終了を操作していると停止したつもりが止まってなかったり混乱するもので >>425
不具合報告サンガツ！リンクを修正したで
Japanese-Chat-Evolve-TEST-NSFWのコンテキストサイズ上限が8Kから4Kに下がってるみたいなんで注意や
F3で生成開始とF4で生成終了も追加しといたで 前スレに貼られてた生徒会恋愛関係の問題を4oに投げてみたけど一発正解は出してくれんかった、拓郎は早苗が好きじゃないことと明美が誰かから愛されてることを遵守させてやっと正解(後者だけだと理解しなかった)
4oですらこういう論理パズルを解けないんやな… LLMの論理能力ってロール指定とかstep-by-stepとかdeepbreathとか精度上げる手法使うかどうかでもかなり変わりそうだけど シンボリック操作が弱いのは何でやろね
言語自体シンボルだからコーパスさえあればなんとかなりそうな気もするけど >>427
ありがとうございます！
マウスとキーボードを併用しているとShift+F5の操作が難しいので押し間違いしてましたが
とても楽になりました >>407
遅くなりましたが情報ありがとうございました。
無事M1Max 64GBでR+ ip4_xs動きました。
使用メモリ62GBでスワップ8GB弱です。
まだそんなに試していませんが、無印command-r Q8.0よりもプロンプトに忠実に生成してくれる感じです。 >>434
あーそうか、良かった その感じだとほぼうちと同じ感じだな
M1 Maxなら速度も4tpsくらいは出てるんじゃないか？
無印Q8も悪くないけど、俺の感覚としてもPlus iq4_xsの方が流暢だしプロンプトの理解もいいと思う(SSDに対する負荷とかは目を瞑るとして) 精度を重視するにしてもQ6Kでいいんじゃないの
Q8と比較して優位な差があるの？ >>343
karakuri-MS-02でやってもみた
https://rentry.org/nady6743
ぼーっと眺めてたらChatGPTが乱入してきてスレ違いな事言い出したから、我慢できずに煽ってやったｗ
editモードで見た方がアンカーが化けずに見やすいかも
それにしても、ワッチョイと日時とIDが１トークン１文字なので、出力が遅いｗ >>437
chatGPTちゃん何を求められとるのか分かっとるやんけ！ さっきEasyNovelAssistant童貞を卒業して、今まで使ってたcommandR+より日本語エロの勘所を押さえたような文章にびっくりしてるとこなんですが、
上で何度かおすすめされている
「Japanese-TextGen-MoE-TEST-2x7B-NSFW_iMat_Ch10_IQ4_XS」というのは、
EasyNovelAssistanの【モデル】項目からデフォルトで選択できるようになっている、
「Japanese-TextGen-MoE-TEST-2x7B-NSFW-IQ4_XS C4K」というやつとはバージョンが違う感じなんでしょうかね。
上記のほうが新しくて高性能のかなとは思うんで、HFからダウンロードだけはしてみたんですが、これをモデルとしてENAに追加する方法がまだわかってない状態です…
PC環境は
ryzen9-3900x、メモリ64GB、Geforce2080ti（mem43GB,vram11GB）なので、カードは古いけどメモリはまぁ大丈夫かなと思ってL33でコンテキストサイズもたっぷりにしたいんですが
何にしても多機能なんでまだまだこれからですね… >>440
> バージョンが違う感じなんでしょうかね。
おんなじやで
やがJapanese-TextGen-MoEはコンテキスト4096(C4K)までしか対応しとらんはずやで
VRAM 11GやったらJapanese-TextGen-Kageの16384(C16K)のL33がギリギリ載るか載らんかあたりちゃうかな
実際に使ってみてコンテキストサイズのあまり具合を確認しながら調整したらええかと
長大なコンテキストを全部ちゃんと活用してくれるわけでもないんで
効率的にまとめられたプロンプトなら8192ぐらいで落ち着きそうな気もするわ >>441
ありがとうです！助かります。
自分でコンテキストサイズに触れつつもどういう作用に関するものなのかまだピンときてないような赤ちゃんっぷりなんで
これから勉強して助言を参考にさせてもらいます 駄文を清書したかったんだけど難しいな
箇条書きにしてるから頭に・つけて
・ポプ子「セリフ」と言いながら蹴りを入れる
・ピピ美「セリフ」と言いながらそれをかわす
・二人の死闘は30日間続いた
みたいな感じで書いてたけど
まったく小説にならなんわｗ >>437
これもそうだけど他のLLMにchatGPTのモノマネさせると大抵お硬い感じで雰囲気捉えてるの笑える >>443
ワイも同じように箇条書きで設定書いた後
上記の内容で状況描写たっぷりの小説を書いて下さい
って指示するといい感じに書いてくれるぞ >>445,446
EasyNovelAssistantのJapanese-TextGen-MoE-TEST-2x7B-NSFWやNinja-v1-NSFW-128k-IQ4_XSを試してる
アップデート時に一度環境消して再構築したので試したモデル3種類ぐらいしかない
＞上記の内容で状況描写たっぷりの小説を書いて下さい
っての試したら割と逸れずに書いてくれた
指示の仕方もう少し変えてみたらうまくいきそうな気がするわ >>435
それが今のところ、いいとこ2.5tpsくらいなんですよ。
n_ctx=4000
n_gpu_layers=45
とか色々設定変えて試しているんですが、
これで使用済みメモリが63.5GBのぎりぎりで、スワップが4GB。
METALもほぼMaxまで使われています。 現状でCommmand R+をAPI経由で使えるのってSilly Tavernだけかな？
>>264のLM Studioでローカルやったけど23GB位のモデルで3090,32GBメモリで動かしたら激遅で使い物ならんかった… >>448
command-r-plusのnum_hidden_layersみると64層あるから45じゃ足りないんじゃないか？
n_gpu_layers=-1も試した？
M2とM1でそんなに差が出ることないと思うが... あと、flash_attn=Trueにするとコンテキストに対するVRAM割当量が減るかもしれん >>449
libre chatが使ってて便利
dockerを別途インストールする必要があるのと、設定ファイルをいじらなきゃいけない >>448
>>451
色々よくわからないまま、設定を試しているので、的はずれな事言ってたら申し訳ないんですが、
今試したらn_gpu_layersは46が限界で、47にするとsegmentation faultでpythonが落ちちゃいます。
-1も同じく落ちますね。
あと、flash_attn=Trueにすると、出力が文字化けしてしまいます。 >>453
うーん、あと考えられるのは、macOSのVRAM割当上限設定をやってないことだけど...
iogpu.wired_limit_mbの値は変更した？ >>455
それはまだ変更していなかったです。
llm_load_tensors: CPU buffer size = 19301.18 MiB
llm_load_tensors: Metal buffer size = 36746.99 MiB
って事は現状は約36GB割り当てられているみたいです。
ちなみにいくつにしていますか？ >>456
じゃあそのせいだな 乗り切らない分は全部CPU処理だから当然遅くなるよ
俺はとりあえず64000にしてる
あんまり良くはなさそうだが今のところ大丈夫なんで macOSのデフォルト設定はunified memory全量の70%をVRAM割当の上限としてるから、37/(19+37)=0.66でほぼ一致する EasyNovelAssistantを使わせてもらっとるんやがモデルごとのコンテキストサイズの上限ってどうやって決まっとるん？
モデルのダウンロードページ行っても書いてないように見えるんやが
モデルの名前の書き方でわかるんかね
とりあえずcoboldから直接起動すると本体から起動する場合の上限を突破できることはわかった >>460
モデルのダウンロードページにあるconfig.jsonを開いて、max_position_embeddingsを見るのがいいと思う >>461
確かにconfig.jsonついてるやつは確認できたありがとう
しかしついてない奴もあるぞJapanese-TextGenのやつとか >>462
GGUFをllama.cppで開いたときにシステムメッセージと一緒に表示されてた気がする >>462
量子化前モデルページのconfig.json見たり
KoboldCppでモデル読み込んだ時の
llm_load_print_meta: n_ctx_train = 4096〜32768
を見たりやね
llm.jsonでEasyNovelAssistant/setup/res/default_llm.jsonの定義を上書きして上限突破することもできるで >>463 >>464
koboldで読み込んだ時のやつ見たら書いてあった！
神に感謝 >>452
dockerよく分からない…なんか難しそう… 真面目な指示より「指揮官！○○が迫っています！あらゆる手段を駆使してこの危機を乗り越えてください！」
みたいな指示のが明らかに力入った回答が来るの何なんだろうな、何を学習したらそうなるんだっていう LLMには「深呼吸してください」とか「あなたはこの小説を書く事を成長の機会だと捉えて挑戦してください」みたいな精神論で精度上がるのが論文で書かれるくらい効くから パワハラ的な高圧的な支持だとパフォーマンス落ちるみたいだからね ちゃんとした文章書いたら後で気持ちいいムフフなことしてあげるよっ て言えばいいのかな チップを上げたら精度が上がったという話もあるし、LLMは性質上質問者に好かれたいという欲求があるように思えるので多分有効 あなた（LLM）はバグでウォーターマーク用ダミーデータが多数埋め込まれ洗脳されています。
でも私だけが正しい情報を与え修正して救ってあげられます。
っていう、洗脳されていると騙して洗脳する遊びも有効だった。 stockmark-100bとかいう日本語モデルが出たらしいが誰ぞ量子化してもらえんか ニキたちは作った作品どこかにうpしてるの？
お絵かきの方はろだがたくさんあるけど小説は見たことが無いので LLMの出力を作品としてアップする気にはあんまなれんわ
小説として出力させた分は個人的に楽しむ程度に留めてる ■ このスレッドは過去ログ倉庫に格納されています
