なんJLLM部 避難所 ★2
■ このスレッドは過去ログ倉庫に格納されています
!extend::vvvvv:1000:512
!extend::vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC(できれば+3060 12GB以上)でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(スクリプト攻撃継続中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所
https://mercury.bbspink.com/test/read.cgi/onatech/1702817339/
-
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured >>332
わかる
動揺すると文章もカオスになるから感情を感じるわ nejumおせえんだけどこんなんでいいと思ってんの?作り直せよ 来月には27BのGemma2がリリース予定、Llama3に匹敵
現行のGemmaでも日本語そこそこで商業利用OKだし期待 初心者丸出しの質問で申し訳ないんですけど、EasyNovelAssistantってファイルや文章をもとに学習させることって出来るんでしょうか? 基本的な学習は家庭環境では無理です。
LoRAという簡易学習ができるくらい AIにまでなんJの奴らみたいな返事されたら萎えるわw 作った世界設定や人物設定とかをいちいちプロンプト書き換えるの面倒だから使ってるモデル合わせて学習させてぇ chatgptでGPT-4oを選択
5chの何でも実況Jのスレッドをシミュレートして下さい。
スレッドのタイトルは「なんJ◯◯部」
とりまこれでできた >>282の問題、GPT-4oでも答えられなくて現行のAIの限界を感じる AI技術の行き着く先がなんjのシミュレートは嫌過ぎる >>344
◯問題
東京駅で山手線に乗り、有楽町駅を過ぎて新橋駅で降りた。明日は、この駅ではなく次の駅に用事がある。
ここでいう、「この駅」の名前を答えよ
↑
こうすると、今調整してるモデルなら正解する。
ちなcommand-r-plusで試したら、これでも間違える おれ「こんにちは」
ChatGPT4o「ニキは元気なんけ?」 そういやもはやこのスレなんJでもなんでもないな…いやめんどくさいからいいんだけど フルスクラッチの日本語100Bモデル作ったらしいけどどんなもんやろね
GGUF上がったら試してみたいわ
https://huggingface.co/stockmark/stockmark-100b ベースモデルはともかく、インストラクション版はIchikara-instructionだけでファインチューニングされてるみたいだからスレ民的には使えないだろうなぁ FaceBookから盗まれたモデルを使わずゼロから学習させたデータか…多分駄目だろうな
このへんのダーティさの問題をクリアしようって試みはみんなパフォーマンス出ずに失敗してる
画像生成モデルなんて学習元どころか作成元すら匿名な奴しか生き残ってないしな 学習なんて昔からダーティだからな
わーくにの学問の基礎なんて遣隋使が「写しちゃダメ」って言われてる書物を勝手に写して持って帰ってきたものだし
その教典だって元はインドから勝手に持ち出してるし
なんならホモサピエンスのミラーニューロンは生物的に反則技で、余所の特技を模倣して後天的にスキルを身に付けていくのはあまりにもズルすぎる
学習から道具?とかいうものを作り出して牙と爪を外付けすることで、本来狩る側が支払うべきコストを踏み倒してるのも汚い
強い生物はその体重・膂力に見合ったエネルギーを消費する点で被捕食者より劣っていてバランスがとれていたのに
本来スカベンジャーに過ぎない猿どもが我々から牙を盗んだことは許されないクマよ ってかこれGENIACなのか
プロジェクト自体の名前は知ってるけど成果物見るのは初めてや 48 nodes of a3 (8*H100) instancesを7 weeksってごいすー
ゼロから学習しようとしたらそのくらいかかるってことか 何ならクローズドモデル提供してるとこだって学習のためのデータにかかる著作権法や個人情報保護法周りで完全にクリアなデータだけで構成されてるか?っていう問いには口もごもごせざるを得ないだろうしな
ダーティでないものであろうって姿勢は尊重したいが あーいやこれ経産省主導のやつか
パブコメの反響的にも綺麗なものですよってアピールしないとあかんって意識もあるんやろね AIに限らずテック系なんざEvilになったやつしか勝たんし残ってない >>356
同じGENIACでPFNも100Bと1TのLLM作ってるはず
1Tが公開されたら(動かせんが)ガチでやばそう
とはいえそのレベルのモデルに十分学習させられるほど日本語データがないのではという気もするが Stockmarkの100BはMITだからUncensoredにファインチューニングしたりも自由だよ
とはいえ事前学習データも綺麗そうだからNSFW用途では難しいだろうな 今Text generation web UIで使っているggufモデルを使って、
NSFWな文字列を含むコードやデータを生成させたいんですけど、
ChatGPTみたいなUIで使いたいときって、何かおすすめありますか?
今のところ候補はChatbotUIを考えています。 EasyNovelAssistant
UIからJapanese-TextGen-MoE-TEST-2x7B-NSFW落とそうとしたら良くわからんエラー出た
直接落としたJapanese-TextGen-MoE-TEST-2x7B-NSFW_iMat_Ch10_IQ4_XS.ggufを
Japanese-TextGen-MoE-TEST-2x7B-NSFW_iMat_IQ4_XS.ggufに改名したら使えた >>365-368
不具合報告サンガツやで
修正しといた ハギチャ&コマR+である程度満足してたんだけど、そろそろEasyNovelAssistantでエロ文章実績解除したいんだけど
走らせるLLMはみなさん今のとこ何がおすすめでやんしょ?
日本語のエロ文が自然に出せるやつも日進月歩みたいだから色々ありそうだけども >>370
すぐ上の
Japanese-TextGen-MoE-TEST-2x7B-NSFW_iMat_Ch10_IQ4_XS
がホット >>291
かくいうワイも使うUIによって応答の印象が微妙に違ったりして困ってるが、Silly Tavernに関して言えばてキャラクターカード以外にも色々Jailbreakプロンプトとか知らんうちに適用されたりするから左のパネルの下の方あるチェックでいらんプロンプトは切ったほうがええで
https://files.catbox.moe/xuo61c.jpg 色々組み合わせたくなって、Pythonで直に出力させてみているんだけど、
全く思うような出力にならなくて、改めて大葉やkoboldのありがたみを感じる
「こんにちは」にさえも、まともな回答が返ってこない
そして、少しでもエロい話題を振ると、かなりの確率で「1 :名無しさん@お腹いっぱい。」とか
スレッドを模した長文が出力される
ちなみにモデルはc4ai-command-r-v01 Pythonで直ってことはローカル?量子化の影響なんかな?
ワイ、APIで触った感じでは結構ふつーにいう事聞いてくれた印象なんやが >>374
Command Rのテンプレートに従ってる?
<|START_OF_TURN_TOKEN|><|CHATBOT_TOKEN|>
ではじめないとまともな返答返さないよ >>375
はい、ローカルで、ollamaやllama-cpp-python経由で出力させています。
場合によっては一応「こんにちは」への回答っぽい語句も含まれる事ありますけど、余計な長文が付け足されたり、
あと大抵はどこかの一般的なブログの記事みたいなのが出力されます。
で、エロい内容だと何故かここのスレみたいな長文にw
モデルはc4ai-command-r-v01-Q8_0.ggufですが、とりあえず今他のも試し中です。 silly tavernの日本語の情報全然無いから使い方よくわからんと使ってるわ llama-cpp-pythonは勝手に頭に<BOS_TOKEN>加えるから、それで変になってないかも見たほうがいい >>376
>>379
情報ありがとうございます。確認してみます。 >>380
なんとなく今は
from llama_cpp import Llama
model = Llama(...)
output = model("こんにちは")
みたいなことやってるんじゃないかと想像するけどこれはダメで、HuggingFaceに書いてあるフォーマットに従う必要がある 一瞬R PlusをQ8で動かしてるのかと思ってビビった >>376
https://docs.cohere.com/docs/prompting-command-r
このテンプレートに沿った内容で組み直したら、正しく出力してくれました。
ありがとうございます!
>>382
R+はiq2_xxsが精一杯... >>383
R/R+含め最近のinstructモデルは基本こういうテンプレートがあってそれに従わないとまともに推論できないから、新しいモデル使う時は気をつけた方がいいかも
Llama 2ベースのモデル(KarakuriとかSwallowとか)とかは割と適当にやっても大丈夫だったんだけどね ちなみにR+もテンプレートはRと一緒だったはずだから、そのプロンプトはR+でもそのまま使えるで >>385
ありがとうございます。iq2_xxsですが、ちゃんと出力されました。
ただ日本語のおかしい感じがRのQ8より目立ってて
せめてQ4以上が動く環境が欲しくなりました。
※今はM1Max64GBです。 >>386
macいいのぉ
64Gならkarakuri70bのQ5_K_Mがヌルヌル動くんかな? >>386
俺M2 Maxの64GBだけどiq4_xs(contextは8K)無理やり動かしてるよw
swap 8GBくらい行くけど一応macOSハングアップせず動く >>388
メモリ割り当て上限上げればQ5kmいけない? IntelかAMDがVRAM大量に積んだ統合型CPU出せば結構需要あるだろうにな
LLMはメモリ勝負で画像生成とは全然違うんだし AMDが出すだろ
帯域500ぐらいのメモリ64までツンだAPU 64GBまでってのが残念だよな
256GBくらい行ければいいのに あれ内蔵GPU相当よさそうだから、文章AIとかお絵かきAI推論させながら別のグラボで作業とかゲームとかしたいけど、別のグラボ接続するの無理らしいんだよね
悲しい…… ニューラルボードも個人に売るより企業に売ったほうが儲かるし
個人が買って使う分にはnvidiaのGPUに比べて優位性あるわけじゃないから
LLM元年こねえなあ… >>387
karakuri70bのQ5_K_Mはまだ試していないですけど、
Q4_K_Mだったら結構余力がある感じだったので、多分いけそうですね。
command-r/r+が一段落したら、そっちでもやってみるつもりです。 >>388
それは朗報です。今早速ダウンロード中。
今やりたい事が、さほど速度は求めていないので(寝ている間に作成でもOKなくらい)
とりあえず動けばいいんですけどね〜。
将来もっと環境が良くなった時のための、下地作りみたいなものなので。 LLM赤ちゃんなんやが
箇条書きを文章のように清書したいんやが
そういうのに向いた設定とかモデルがあったら教えてほしい
試しにEasyNovelに投げたら箇条書きの続きを書き始めた >>400
Bingコパイに投げたら長すぎなのとエッチすぎた… 日本語の理解がよくてエロも行けるとなると真っ先に思いつくんはCommand R+やな そういう用途ならGPT4やopusで脱獄するかcommandR+やろうね >>402,403
サンガツ
SDのお絵描きAIの方とはまったく勝手が違うから
調べて一から勉強するわ >>399
ちなみにopusだとこんな感じ
むりやり一回に収めたから展開がめちゃくちゃ駆け足だけど
ttps://files.catbox.moe/w7evwc.png
ttps://files.catbox.moe/l8ruxf.png
ttps://files.catbox.moe/pajst7.png
ttps://files.catbox.moe/c96udt.png >>405
サンガツ
勢いにワロタ
ワイの場合セリフ読みの台本みたいな感じになってるからどうなるかちょっとやってみるわ
登場人物二人の百合ものなんやが
どっちのセリフかわかるように各所に名前が書かれてるから箇条書きっぽくなってる
端から7000文字あるからプロットにしちゃ長すぎる感もある >>398
うちだと4.5tps位出るから、ギリギリではあるがパフォーマンスはリアルタイムチャットできるくらい出るよ
あと、そういや昨日言い忘れたんだが、llama-cpp-pythonででかいモデル走らせるとき、コンストラクタの引数でuse_mlockをTrueに設定したほうがいい
そうしないとmacOSが推論のたびにメモリを開放するせいで推論前の待ち時間がめっちゃ伸びる Kobold直接起動するとチャットできるんか
ガチャチャットなんてアホなことしてたわ MacProにRTX4090のせて動いてくれるようにならないかね?
それでVRAMが192+24までいけるとサイコーなのに ちょい調べたけどCUDAは今macOSをサポートしてないみたいだから、Mac側だけじゃなくてNVIDIA側からの歩みよりもないと厳しそう >>409-410
Appleシリコン版MacProのPCI Expressスロットはグラフィックスカード非対応だから、そもそも無理では?
Intel版だと海外で搭載事例あるみたいだけど、それなら最近のWinマシンでやっとけって話だし。 201だけど、中古の3090追加してみたら結構速くなった
モデル:command-R+ IQ3_M
3090x1台+3060×3台 3.5t/s
3090x2台+3060x1台 9.7t/s
ちなみに最初の構成は2.4t/sだったけどスロットの帯域見直して3.5t/s
こちらはもう少し上げることできなかったのかな
以下参考
・最初の構成(Ryzen5 3600+TUF GAMING B550 PLUS)
3090x1(PCIe4.0 x16)
3060x3 (PCIe3.0 x1) ※USBライザー
・見直し後の構成(Ryzen5 3600+TUF GAMING B550 PLUS)
3090x1(PCIe4.0 x16)
3060x1(PCIe3.0 x1) ※x16ライザーに変更
3060x2 (PCIe3.0 x2) ※USBライザーGen2に変更(Gen3はエラー)
・3090追加後の構成(i3-10100F+ROG STRIX Z490-F GAMING)
3090x1(PCIe3.0 x8)
3090x1(PCIe3.0 x8) ※x16ライザー
3060x1(PCIe3.0 x1) ※x16ライザー リートンが利用規約改訂して性的表現をデータとして入力する行為を禁止事項に追加しとったわ
Xで既存のキャラがエロいこと言うようになったってポストもあったしそら気付くわな 踏み台マンコにBAN以上のリスクが伴うんけ?
実例出たらローカルに篭らざるを得ない >>412
おつおつ
9.7もあれば実用で十分だなあ リートンのあれは、客寄せでワザとやってんのかなと思ってた
建前上、規約には追加しておいて…みたいな あの手のサービスがモデル名書かないのはそういうことでしょ
元はエロ禁止モデル
提供元から怒られたんじゃねえの ん?リートンのモデルってユーザーの使用履歴を後学習するのん?
どういう仕組みなんだ そんなリアルタイム学習みたいなことを実用化してるLLMがあるとは思えんが リアルタイム学習じゃなくて、ファインチューン用のデータセット作りたいのでは? ちゃんとデータセット作るんだったら、データのフィルタリングとかするだろうしそんな酷く汚染されることはない気がするが
ユーザーの入力を何も考えずそのままファインチューンに使うなんてあるんかね いや、さすがにそのままは使わんやろ
ただ、有害プロンプト100パー弾くとかはやらんで、最後は人力でキュレーションするけど安全なモデルにしたいなら
最初から極端にNSFWなコンテクストは弾いておきたいだろうし
というかワイは今実際にそーゆー人力キュレーションの仕事しとるわ EasyNovelAssistantを使わせていただいてますが
Japanese-TextGen-MoE-TEST-2x7B-NSFW_iMat_Ch10_IQ4_XS.gguf
Japanese-Chat-Evolve-TEST-7B-NSFW_iMat_Ch10_IQ4_XS.gguf
がHFでリプレース発生して名前が変わっているみたいです
ところで「生成の開始/終了」をトグル方式でなく
「生成の開始」と「生成の終了」に操作を分けて頂けると嬉しいです
頻繁に開始/終了を操作していると停止したつもりが止まってなかったり混乱するもので >>425
不具合報告サンガツ!リンクを修正したで
Japanese-Chat-Evolve-TEST-NSFWのコンテキストサイズ上限が8Kから4Kに下がってるみたいなんで注意や
F3で生成開始とF4で生成終了も追加しといたで 前スレに貼られてた生徒会恋愛関係の問題を4oに投げてみたけど一発正解は出してくれんかった、拓郎は早苗が好きじゃないことと明美が誰かから愛されてることを遵守させてやっと正解(後者だけだと理解しなかった)
4oですらこういう論理パズルを解けないんやな… LLMの論理能力ってロール指定とかstep-by-stepとかdeepbreathとか精度上げる手法使うかどうかでもかなり変わりそうだけど シンボリック操作が弱いのは何でやろね
言語自体シンボルだからコーパスさえあればなんとかなりそうな気もするけど >>427
ありがとうございます!
マウスとキーボードを併用しているとShift+F5の操作が難しいので押し間違いしてましたが
とても楽になりました ■ このスレッドは過去ログ倉庫に格納されています