なんJLLM部 避難所 ★2
■ このスレッドは過去ログ倉庫に格納されています
0001名無しさん＠ピンキー 転載ダメ (ﾜｯﾁｮｲ 63c0-joKd)2024/05/02(木) 18:27:25.10ID:???0
!extend::vvvvv:1000:512
!extend::vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降

本スレ(スクリプト攻撃継続中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所
https://mercury.bbspink.com/test/read.cgi/onatech/1702817339/

-
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured
0311名無しさん＠ピンキー (ﾜｯﾁｮｲ 9b32-vfni)2024/05/14(火) 23:45:27.65ID:???0
ちょっと聞きたいんだが、koboldとか使ってて、起動直後は思った通り動かないけど
ある程度推論させたら、ちゃんと動いてくれる（リセットしても）事ってあるかな？
以前、どこかで「このモデルは暖気が必要」って記事見た事あるけど、この事かな？
0316名無しさん＠ピンキー (ﾜｯﾁｮｲ 4fba-5B/7)2024/05/15(水) 04:19:21.80ID:nwbA/qMz0
今の手探りな状態でのAI遊びは、長い人類史の中でもこの瞬間でしか味わえないと思うと
すごい時代に立ち会えたなと思う
0319名無しさん＠ピンキー (ﾜｯﾁｮｲ 1bbe-JZQp)2024/05/15(水) 08:35:37.67ID:???0
>>282
CommandR+でもこChatGPTでもこの問題は余裕で間違うから本当に思考してる訳じゃないってことだよね
逆に何も考えてないのに統計とベクトル圧縮だけでここまで自然な文章を出してくるAIにも恐ろしいものを感じるけど
0322名無しさん＠ピンキー (ﾃﾃﾝﾃﾝﾃﾝ MMff-XTDy)2024/05/15(水) 09:01:45.75ID:PJ/DD1KrM
俺はGPT4All派
0327名無しさん＠ピンキー (ﾜｯﾁｮｲ cb11-+EhW)2024/05/15(水) 14:48:24.47ID:nyS08PcY0
あーそれか
気になってはいるけど流石に動かせんわ
A100とかでq4がギリ乗るかって感じで厳しそうだしレビューもあんまり聞いたことない
0329名無しさん＠ピンキー (ﾜｯﾁｮｲ 0f7a-vfni)2024/05/15(水) 15:25:54.14ID:???0
いっそpoeとかみたいなネットサービスのほうが採用してくれないかね
でもpoeの独自規制に引っかかってCommandR+のフリーダムな良さが
消えちゃうやろか
0330名無しさん＠ピンキー (ﾜｯﾁｮｲ cb11-+EhW)2024/05/15(水) 15:35:47.61ID:nyS08PcY0
そもそもCommand R Plusの重みデータは商用利用不可だから、サブスク機能があるpoeでは採用できない
0331名無しさん＠ピンキー (ﾜｯﾁｮｲ cb11-+EhW)2024/05/15(水) 15:36:50.52ID:nyS08PcY0
今あるやつはAPI経由だからOKなんだと思う
0338名無しさん＠ピンキー (ﾜｯﾁｮｲ 5f82-JZQp)2024/05/15(水) 22:48:33.94ID:Q+EZVuAM0
初心者丸出しの質問で申し訳ないんですけど、EasyNovelAssistantってファイルや文章をもとに学習させることって出来るんでしょうか？
0348名無しさん＠ピンキー (ﾜｯﾁｮｲ 9b32-vfni)2024/05/16(木) 07:21:01.24ID:???0
>>344
◯問題
東京駅で山手線に乗り、有楽町駅を過ぎて新橋駅で降りた。明日は、この駅ではなく次の駅に用事がある。
ここでいう、「この駅」の名前を答えよ


↑
こうすると、今調整してるモデルなら正解する。
ちなcommand-r-plusで試したら、これでも間違える
0352名無しさん＠ピンキー (ﾜｯﾁｮｲ 4b21-iBKv)2024/05/16(木) 16:09:49.03ID:4moxrP400
フルスクラッチの日本語100Bモデル作ったらしいけどどんなもんやろね
GGUF上がったら試してみたいわ
https://huggingface.co/stockmark/stockmark-100b
0353名無しさん＠ピンキー (ﾜｯﾁｮｲ 2bb3-CDIS)2024/05/16(木) 16:26:06.14ID:???0
ベースモデルはともかく、インストラクション版はIchikara-instructionだけでファインチューニングされてるみたいだからスレ民的には使えないだろうなぁ
0354名無しさん＠ピンキー (ﾜｯﾁｮｲ 1bbe-JZQp)2024/05/16(木) 16:32:36.70ID:???0
FaceBookから盗まれたモデルを使わずゼロから学習させたデータか…多分駄目だろうな
このへんのダーティさの問題をクリアしようって試みはみんなパフォーマンス出ずに失敗してる
画像生成モデルなんて学習元どころか作成元すら匿名な奴しか生き残ってないしな
0355名無しさん＠ピンキー (ﾜｯﾁｮｲ 4f70-5B/7)2024/05/16(木) 16:51:49.07ID:IWtMJ9ws0
学習なんて昔からダーティだからな
わーくにの学問の基礎なんて遣隋使が「写しちゃダメ」って言われてる書物を勝手に写して持って帰ってきたものだし
その教典だって元はインドから勝手に持ち出してるし
なんならホモサピエンスのミラーニューロンは生物的に反則技で、余所の特技を模倣して後天的にスキルを身に付けていくのはあまりにもズルすぎる
学習から道具？とかいうものを作り出して牙と爪を外付けすることで、本来狩る側が支払うべきコストを踏み倒してるのも汚い
強い生物はその体重・膂力に見合ったエネルギーを消費する点で被捕食者より劣っていてバランスがとれていたのに
本来スカベンジャーに過ぎない猿どもが我々から牙を盗んだことは許されないクマよ
0358名無しさん＠ピンキー (ﾌﾞｰｲﾓ MMff-C9Al)2024/05/16(木) 18:09:55.06ID:???M
何ならクローズドモデル提供してるとこだって学習のためのデータにかかる著作権法や個人情報保護法周りで完全にクリアなデータだけで構成されてるか？っていう問いには口もごもごせざるを得ないだろうしな
ダーティでないものであろうって姿勢は尊重したいが
0361名無しさん＠ピンキー (ﾜｯﾁｮｲ 2bb3-CDIS)2024/05/16(木) 18:29:33.92ID:???0
>>356
同じGENIACでPFNも100Bと1TのLLM作ってるはず
1Tが公開されたら（動かせんが）ガチでやばそう
とはいえそのレベルのモデルに十分学習させられるほど日本語データがないのではという気もするが
0363名無しさん＠ピンキー (ﾜｯﾁｮｲ 2bb3-CDIS)2024/05/16(木) 18:31:09.83ID:???0
Stockmarkの100BはMITだからUncensoredにファインチューニングしたりも自由だよ
とはいえ事前学習データも綺麗そうだからNSFW用途では難しいだろうな
0364名無しさん＠ピンキー (ﾜｯﾁｮｲ 5f23-mzba)2024/05/16(木) 19:58:40.58ID:???0
今Text generation web UIで使っているggufモデルを使って、
NSFWな文字列を含むコードやデータを生成させたいんですけど、
ChatGPTみたいなUIで使いたいときって、何かおすすめありますか？
今のところ候補はChatbotUIを考えています。
0365名無しさん＠ピンキー (ﾜｯﾁｮｲ bb9f-AdtJ)2024/05/17(金) 03:17:09.58ID:D6edv+6v0
EasyNovelAssistant
UIからJapanese-TextGen-MoE-TEST-2x7B-NSFW落とそうとしたら良くわからんエラー出た
直接落としたJapanese-TextGen-MoE-TEST-2x7B-NSFW_iMat_Ch10_IQ4_XS.ggufを
Japanese-TextGen-MoE-TEST-2x7B-NSFW_iMat_IQ4_XS.ggufに改名したら使えた
0370名無しさん＠ピンキー (ﾜｯﾁｮｲ 0f7a-Mwej)2024/05/17(金) 10:54:32.87ID:???0
ﾊｷﾞﾁｬ＆コマR+である程度満足してたんだけど、そろそろEasyNovelAssistantでエロ文章実績解除したいんだけど
走らせるLLMはみなさん今のとこ何がおすすめでやんしょ？
日本語のエロ文が自然に出せるやつも日進月歩みたいだから色々ありそうだけども
0373名無しさん＠ピンキー (ﾜｯﾁｮｲ 0bc0-Ag1v)2024/05/17(金) 12:54:44.40ID:???0
>>291
かくいうワイも使うUIによって応答の印象が微妙に違ったりして困ってるが、Silly Tavernに関して言えばてキャラクターカード以外にも色々Jailbreakプロンプトとか知らんうちに適用されたりするから左のパネルの下の方あるチェックでいらんプロンプトは切ったほうがええで
https://files.catbox.moe/xuo61c.jpg
0374名無しさん＠ピンキー (ﾜｯﾁｮｲ 4b52-mzba)2024/05/17(金) 16:45:33.36ID:???0
色々組み合わせたくなって、Pythonで直に出力させてみているんだけど、
全く思うような出力にならなくて、改めて大葉やkoboldのありがたみを感じる
「こんにちは」にさえも、まともな回答が返ってこない
そして、少しでもエロい話題を振ると、かなりの確率で「1 :名無しさん@お腹いっぱい。」とか
スレッドを模した長文が出力される
ちなみにモデルはc4ai-command-r-v01
0375名無しさん＠ピンキー (ﾜｯﾁｮｲ 5bd8-JZQp)2024/05/17(金) 16:54:31.27ID:nQBmVgaP0
Pythonで直ってことはローカル？量子化の影響なんかな？
ワイ、APIで触った感じでは結構ふつーにいう事聞いてくれた印象なんやが
0377名無しさん＠ピンキー (ﾜｯﾁｮｲ 4b52-mzba)2024/05/17(金) 17:06:38.13ID:???0
>>375
はい、ローカルで、ollamaやllama-cpp-python経由で出力させています。
場合によっては一応「こんにちは」への回答っぽい語句も含まれる事ありますけど、余計な長文が付け足されたり、
あと大抵はどこかの一般的なブログの記事みたいなのが出力されます。
で、エロい内容だと何故かここのスレみたいな長文にw
モデルはc4ai-command-r-v01-Q8_0.ggufですが、とりあえず今他のも試し中です。
0380名無しさん＠ピンキー (ﾜｯﾁｮｲ 4b52-mzba)2024/05/17(金) 17:16:19.44ID:bDW/lnbV0
>>376
>>379
情報ありがとうございます。確認してみます。
0381名無しさん＠ピンキー (ﾜｯﾁｮｲ 6fbf-PuMj)2024/05/17(金) 17:50:24.21ID:???0
>>380
なんとなく今は
from llama_cpp import Llama
model = Llama(...)
output = model("こんにちは")
みたいなことやってるんじゃないかと想像するけどこれはダメで、HuggingFaceに書いてあるフォーマットに従う必要がある
0382名無しさん＠ピンキー (ｵｲｺﾗﾐﾈｵ MMdf-bNnz)2024/05/17(金) 19:15:14.00ID:eLiIPOkOM
一瞬R PlusをQ8で動かしてるのかと思ってビビった
0384名無しさん＠ピンキー (ﾜｯﾁｮｲ cb11-+EhW)2024/05/17(金) 20:24:00.27ID:zuYrt3Vi0
>>383
R/R+含め最近のinstructモデルは基本こういうテンプレートがあってそれに従わないとまともに推論できないから、新しいモデル使う時は気をつけた方がいいかも
Llama 2ベースのモデル(KarakuriとかSwallowとか)とかは割と適当にやっても大丈夫だったんだけどね
0385名無しさん＠ピンキー (ﾜｯﾁｮｲ cb11-+EhW)2024/05/17(金) 20:25:19.57ID:zuYrt3Vi0
ちなみにR+もテンプレートはRと一緒だったはずだから、そのプロンプトはR+でもそのまま使えるで
0386名無しさん＠ピンキー (ﾜｯﾁｮｲ 0a5c-Pd4t)2024/05/18(土) 05:40:26.72ID:???0
>>385
ありがとうございます。iq2_xxsですが、ちゃんと出力されました。
ただ日本語のおかしい感じがRのQ8より目立ってて
せめてQ4以上が動く環境が欲しくなりました。
※今はM1Max64GBです。
0388名無しさん＠ピンキー (ﾜｯﾁｮｲ 1f11-y1Cx)2024/05/18(土) 08:22:48.53ID:pfpFpeeW0
>>386
俺M2 Maxの64GBだけどiq4_xs(contextは8K)無理やり動かしてるよｗ
swap 8GBくらい行くけど一応macOSハングアップせず動く
0394名無しさん＠ピンキー (ﾜｯﾁｮｲ 3bf9-dsTG)2024/05/18(土) 10:24:29.90ID:???0
あれ内蔵GPU相当よさそうだから、文章AIとかお絵かきAI推論させながら別のグラボで作業とかゲームとかしたいけど、別のグラボ接続するの無理らしいんだよね
悲しい……
0395名無しさん＠ピンキー (ﾜｯﾁｮｲ e326-ErG6)2024/05/18(土) 11:07:05.15ID:???0
ニューラルボードも個人に売るより企業に売ったほうが儲かるし
個人が買って使う分にはnvidiaのGPUに比べて優位性あるわけじゃないから
LLM元年こねえなあ…
0397名無しさん＠ピンキー (ﾜｯﾁｮｲ 4677-Fooe)2024/05/18(土) 14:22:21.03ID:???0
>>387
karakuri70bのQ5_K_Mはまだ試していないですけど、
Q4_K_Mだったら結構余力がある感じだったので、多分いけそうですね。
command-r/r+が一段落したら、そっちでもやってみるつもりです。
0398名無しさん＠ピンキー (ﾜｯﾁｮｲ 4677-Fooe)2024/05/18(土) 14:26:41.20ID:???0
>>388
それは朗報です。今早速ダウンロード中。
今やりたい事が、さほど速度は求めていないので（寝ている間に作成でもOKなくらい）
とりあえず動けばいいんですけどね〜。
将来もっと環境が良くなった時のための、下地作りみたいなものなので。
0399名無しさん＠ピンキー (ﾜｯﾁｮｲ fa09-8DGq)2024/05/18(土) 15:25:00.73ID:???0
LLM赤ちゃんなんやが
箇条書きを文章のように清書したいんやが
そういうのに向いた設定とかモデルがあったら教えてほしい
試しにEasyNovelに投げたら箇条書きの続きを書き始めた
0405名無しさん＠ピンキー (ﾜｯﾁｮｲ e312-HkKw)2024/05/18(土) 15:57:44.40ID:???0
>>399
ちなみにopusだとこんな感じ
むりやり一回に収めたから展開がめちゃくちゃ駆け足だけど

ttps://files.catbox.moe/w7evwc.png
ttps://files.catbox.moe/l8ruxf.png
ttps://files.catbox.moe/pajst7.png
ttps://files.catbox.moe/c96udt.png
0406名無しさん＠ピンキー (ﾜｯﾁｮｲ fa09-8DGq)2024/05/18(土) 16:17:25.84ID:???0
>>405
ｻﾝｶﾞﾂ
勢いにワロタ
ワイの場合セリフ読みの台本みたいな感じになってるからどうなるかちょっとやってみるわ
登場人物二人の百合ものなんやが
どっちのセリフかわかるように各所に名前が書かれてるから箇条書きっぽくなってる
端から7000文字あるからプロットにしちゃ長すぎる感もある
0407名無しさん＠ピンキー (ﾜｯﾁｮｲ 2ba1-PoTj)2024/05/18(土) 17:18:06.10ID:???0
>>398
うちだと４.5tps位出るから、ギリギリではあるがパフォーマンスはリアルタイムチャットできるくらい出るよ

あと、そういや昨日言い忘れたんだが、llama-cpp-pythonででかいモデル走らせるとき、コンストラクタの引数でuse_mlockをTrueに設定したほうがいい
そうしないとmacOSが推論のたびにメモリを開放するせいで推論前の待ち時間がめっちゃ伸びる
0408名無しさん＠ピンキー (ﾜｯﾁｮｲ 239f-s06i)2024/05/18(土) 18:06:52.75ID:ldYAm+3u0
Kobold直接起動するとチャットできるんか
ガチャチャットなんてアホなことしてたわ
■ このスレッドは過去ログ倉庫に格納されています
ニューススポーツなんでも実況