なんJLLM部 避難所 ★4
■ このスレッドは過去ログ倉庫に格納されています
0001名無しさん@ピンキー2024/09/10(火) 10:19:11.43ID:Z1PzH55u
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC(できれば+3060 12GB以上)でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降

本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★3
https://mercury.bbspink.com/test/read.cgi/onatech/1717886234
0096名無しさん@ピンキー2024/09/17(火) 15:45:36.94ID:np/V5bHE
このスレで先日知ったPerplexityさんに教えてもらいながら、ComfyUI導入して、>>82御謹製ワークフローで画像出せるようになったんやが、
ぱっとノードや説明見たところ、28個キュー入れるってなってるから、右上のQueue Promptクリックしたら表情差分が28枚ぶわーって出力されてくのかと思ったんやが違うんか?
実際にQueue Promptクリックすると、一枚画像でて止まってまうんや
Queue PromptをクリックするたびにText Line Loaderの方のSeedが一づつ増えながら新たに画像が生成される
STexpression.csvはComfyUIフォルダに置いたので読み込めてると思うが、なにか間違っとるんやろうか?
0097名無しさん@ピンキー2024/09/17(火) 15:54:41.41ID:???
>>87
例えば@日本一高い山の名前も知らないやつと、A一般的な日本人と、B全世界を旅して各国の言語や風土やらを把握している人、話してて一番楽しいのは誰かという感じやな
ただ、地元の山について知りたいだけなら@で十分ということもよくある
というわけで特定用途ならファインチューンした小サイズで十分で、議論とか小説・ロールプレイなどのクリエイティブライティングなら大きければ大きいほうが良いという感じやな
0098名無しさん@ピンキー2024/09/17(火) 16:00:32.30ID:np/V5bHE
自己レスや
ターミナルの方に”WAS Node Suite Error: The path `.\STexpression.csv` specified cannot be found.”って出てたわ
もうちょっと弄ってみるで
0099名無しさん@ピンキー2024/09/17(火) 16:28:23.43ID:???
>>79
22bだから流石に頭は良いな、ちょっと複雑なプロンプトでも理解してる感ある
ただ、22bだと手元で動かすには少し大きすぎるんだよなー
0100名無しさん@ピンキー2024/09/17(火) 16:30:50.58ID:np/V5bHE
あー、分かったわ、Extra OptionsのAuto Queueにチェック入れるかBatch Count増やせば複数枚出せるんやな!
ログ見てると一差分ごとにモデルを読み込みなおしてるのが気になるが、まあえーやろの心で見なかったことにするで!
ありものの画像に差分追加も出来るようになったし、ホンマありがたいツールの公開感謝やで!
0101名無しさん@ピンキー2024/09/17(火) 17:59:45.09ID:9Au7P9rf
モデルの説明やおすすめサイトの情報ありがとうございました!
ローカルでChatGPTごっこできる!NSFWの話もできる!ってキャッキャしてる段階なので、色々見たり触ったりしてもっと勉強します
0103名無しさん@ピンキー2024/09/17(火) 21:51:29.92ID:???
llm-jp/llm-jp-3-172b-beta1-instruct
なんか出た。
試用できる所ないかな?
0104名無しさん@ピンキー2024/09/17(火) 22:26:42.33ID:???
berghof-ERP
設定見直したが女役特化型か?
男役は無理っぽいな
0105名無しさん@ピンキー2024/09/17(火) 23:14:02.54ID:???
>>104
男騎士がすぐアヘアヘしちゃうから
「騎士として、ふさわしい言動を心がけるように!」って言ったら
どうかお慈悲を……♡今後は慎ましく振る舞いますので、どうかお許しください……♡ って♡まみれの返答された
0106名無しさん@ピンキー2024/09/17(火) 23:18:57.25ID:???
正直ローカルで動かすとなるとMistral-Nemoの12Bまでが良いな…
まぁ俺のGPUがしょぼいからなんだが、実際ボリュームゾーンはこんなもんだと思ってる
0107名無しさん@ピンキー2024/09/18(水) 01:57:13.80ID:sAQDzHo8
おまえらVRAM何GB?
0108名無しさん@ピンキー2024/09/18(水) 04:48:59.80ID:???
>>104
そういえばS女CharがM男Userをペニバンで掘ろうとしてくるのは良いんだけどオマンコに入れようとしてきたわ
あとペニバンが射精する
0109名無しさん@ピンキー2024/09/18(水) 06:31:16.57ID:???
すぐエロくなりすぎてもいけない、ガード硬すぎてもいけない
AVインタビューシーンが必要な理由が分かった気がする

mistralaiが新しいの出してるね。量子化はまだ上がってないけど。pixtralはマルチモーダルだって
0110名無しさん@ピンキー2024/09/18(水) 08:14:45.71ID:???
>>105
ERPの方は「♡」が過剰なくらい付くからな。やめさせる方法は見つからない。
割り切って、いっぱい「♡」が付いて欲しいシナリオでこのモデルを利用すればいいかなと思ってる。
0111名無しさん@ピンキー2024/09/18(水) 13:02:16.25ID:???
もしかしてそういう時にsillyのCFGスケール機能を使えばテンションを少し抑えさせたり出来るんだろうか
CFG使ってる人いるのかな?あれ説明読んでも全然分からん
0112名無しさん@ピンキー2024/09/18(水) 18:52:07.79ID:???
画像生成だとCFG低い方がプロンプトの効きが悪くなる(ネガティブプロンプトが顕著)
その代わりに推論は早くなったけどLLMで同じかどb、かは分からん
0113名無しさん@ピンキー2024/09/19(木) 00:45:02.20ID:???
前に特定の単語がどうしても文字欠けするって言ってた人いたけど、急に俺もsillyでなった
ありがとうございます、がどうしても言えなくなってありがとうござます、になっちゃう
アーニャかよ
何をどうやっても駄目で、結局sillyを新しく入れて引っ越したら直ってた
同じ現象で困ってる人はもしかしたらsillyがぶっ壊れてるのかもしんない
0114名無しさん@ピンキー2024/09/19(木) 02:04:04.23ID:???
qwen2.5がリリースされたね
lmarenaのテストでは論理感高めって言われてたけどそこはどうなんだろう
朝起きてテストするのが楽しみや
0115名無しさん@ピンキー2024/09/19(木) 05:01:42.43ID:fCthORNj
https://huggingface.co/EndouMadoka/AITuberStudio
AITuber Studioというものが出てきたが、KoboldCppでのローカル環境でAIとチャットできないのかな?

Silly tavernでええやんって言われたらそれまでなんだが、日本人が作ったUIを使ってみたい気持ちもある。
0116名無しさん@ピンキー2024/09/19(木) 05:01:58.69ID:???
ある程度の性格は設定しないとな
ギャル口調からいきなり姫騎士口調とかめちゃくちゃされたらあかん
0122名無しさん@ピンキー2024/09/19(木) 15:01:50.29ID:???
>>121
マルチリンガルスコアのJAって日本語のことじゃないよな?
異様に数値高いんだが
0124名無しさん@ピンキー2024/09/19(木) 15:40:32.62ID:???
qwen2.5 72b試したけど今までとはなんか格が違うぞ
すでにggmlも出てる
でもなんであんな分割してんだq5kmなら1ファイルにしてくれ〜
0125名無しさん@ピンキー2024/09/19(木) 15:55:36.11ID:???
Qwen2.5は32Bが日本語性能も十分高くて使いやすいサイズで個人的に使うにはバランスが良かった
0126名無しさん@ピンキー2024/09/19(木) 16:04:06.39ID:???
qwen2.5-72B試してみたが自分の経験では大したことなかった
自分のことを語らせたら中国産だからプライバシーには気を付けないとねとか言ってて笑ったが
0127名無しさん@ピンキー2024/09/19(木) 16:55:12.65ID:8jPxLUqF
大して試せてないけどQwen2.5の7BQ6でも日本語上手で大きな破綻もなく好印象
0129名無しさん@ピンキー2024/09/19(木) 17:26:52.96ID:???
Qwen2は日本語めっちゃ破綻した記憶しかないが2.5はそんな良いのか?
2も巷では日本語安定するって持ち上げられてたけど手元で触って失望した記憶
0130名無しさん@ピンキー2024/09/19(木) 17:54:56.61ID:8jPxLUqF
けど未成年近親エッチは寸前で断られたわ
途中まで付き合ってくれたのに
0132名無しさん@ピンキー2024/09/19(木) 18:41:27.55ID:???
更新しても
他のモデル入れても訛るから
尻を入れ直したらちゃんと日本語になった
0135名無しさん@ピンキー2024/09/19(木) 20:07:45.39ID:???
すまん、動いたわ
なぜか公式のggufファイルが起動せんかった
0136名無しさん@ピンキー2024/09/20(金) 00:11:59.43ID:???
M1のMacで動かしたいんだけどおすすめのソフトってある?
WindowsもあるにはあるけどMacよりずっとスペック低い
0137名無しさん@ピンキー2024/09/20(金) 00:17:06.76ID:???
QWEN2.5 72B
出来は結構いいんだけど、いかんせん規制が強すぎてすぐ終わろうとする
解除版ほしい





>>136
kobold.cpp
0138名無しさん@ピンキー2024/09/20(金) 01:05:31.33ID:i5/Ws7O/
qwen2.5 14b試してるけどロールプレイ用途では微妙だな
余裕で20行とか出力しやがる
0139名無しさん@ピンキー2024/09/20(金) 05:19:59.26ID:???
gpt4-o1なんか凄いらしいけど
こういうのってローカルではできないんやろか?
0141名無しさん@ピンキー2024/09/20(金) 09:32:39.34ID:???
あれは検閲も兼ねてるからエロ利用者にとっては最悪のシステムや
むしろアレが無いのがローカルの強みになるかもな
0143名無しさん@ピンキー2024/09/20(金) 13:45:31.42ID:???
o1は1回目のアウトプットと入力プロンプトを見返して必要があれば結果とプロンプトを参考にさらにもう一回推論する、
というのを何回か繰り返して精度を上げるみたいだから、
他のモデル(というかライブラリの仕組みか?)も同じ仕組みを入れようと思えば入れられるだろうし
使うモデルがエロ行けるなら出力もエロ行けるはず

ただこういう仕組みだから推論時間は数倍以上になるんやろな
繰り返し1回だけだったとしても、
通常推論→結果見直し推論→繰り返し必要と判断して追加推論→再度結果見直し推論→繰り返し不要と判断し結果出力
で4回推論あるわけだし
0144名無しさん@ピンキー2024/09/20(金) 14:54:12.67ID:???
o1の場合は解釈と推論をするコンポーネントがかなり違う性質を持つみたいな話もあるので、どうかな
一つ言えるのは、解釈コンポーネントの検閲機能でエロ排除されたら何を入力しても無駄ということ
糞中の糞
0145名無しさん@ピンキー2024/09/20(金) 16:34:41.34ID:???
>>0137
koboldcppってMac版あんの?
なんか拡張子無しのファイルしかなかた
0149名無しさん@ピンキー2024/09/21(土) 20:56:21.45ID:???
silly tavern拡張機能のsummraizeとobjectiveがちゃんと動く条件がやっと分かったので報告
@instructモードをオンにする
A「リクエストごとに1行のみ生成」のチェックを外す
B「不完全な文をトリミング」のチェックも外す

これでkobold接続だろうと何だろうと、ちゃんと動いてくれた
0150名無しさん@ピンキー2024/09/21(土) 21:53:35.35ID:???
ここってColabとかpaperspaceみたいなクラウドGPU使って文章生成してる人あんまり多くない感じなのかな
今までchat GPTとかperplexityばっか使ってたからこっちの勝手が全然わからん
0151名無しさん@ピンキー2024/09/21(土) 22:17:25.48ID:???
>>150
住人はかなり重複してると思うで
プロンプトのコツとかは共通だし
ローカルの方がモデルの多さやツールの使い方で覚える事多いけど
0154名無しさん@ピンキー2024/09/22(日) 09:06:37.28ID:???
>>152
公式ドキュメントにもあるけどchmod +xして実行ファイルにしてやる必要がある
あとうちのMacだとセキュリティに引っかかるから設定変更も必要だった
0156名無しさん@ピンキー2024/09/23(月) 14:25:12.54ID:Ullv0ReZ
qwen2.5のuncensored今のところ微妙だ
0159名無しさん@ピンキー2024/09/24(火) 08:25:58.03ID:Ak0vlxsC
Qwen-2.5-32b-AGIっていう規制をとってしまったモデルがあるらしい
試してないからよくわからんけど
0161名無しさん@ピンキー2024/09/24(火) 10:02:47.41ID:N8W78GVS
https://huggingface.co/AiCloser/Qwen2.5-32B-AGI

First Qwen2.5 32B Finetune, to fix its Hypercensuritis
Hyper means high, and censura means censor, the suffix "-itis" is used to denote inflammation of a particular part or organ of the body.

>>160
嘘と適当だらけで草
0162名無しさん@ピンキー2024/09/24(火) 10:30:53.12ID:???
gensparkよく使ってるけどこんな間違いするのか
気をつけて使わねば
0163名無しさん@ピンキー2024/09/24(火) 10:43:29.81ID:???
>>161
ほんまや全然違ってて草
これって結局スラングとか使いまくりの悪態ジョークモデルってことなん?
0164名無しさん@ピンキー2024/09/24(火) 10:53:03.53ID:N8W78GVS
データセット見るに申し訳回避と英語+中国語の有害要素チューニングがされてる
知らんけど
0166名無しさん@ピンキー2024/09/24(火) 11:35:21.63ID:???
ん?
よく見たら、量子化してないほうがベンチスコア落ちるのは、なんでだってばよ?
0167名無しさん@ピンキー2024/09/24(火) 13:28:30.04ID:???
AutoCoTRAGって、どうやって機能すんのかな?
koboldとかでもできるようになるんだろうか?
0168名無しさん@ピンキー2024/09/24(火) 19:15:32.26ID:???
ニキらは72Bモデルローカルで使っとるんか?VRAMどんだけ積んでんのよ
0170名無しさん@ピンキー2024/09/24(火) 19:43:18.01ID:???
chatbotarenaで投票しまくってるけどo1全然出てこねぇな
今日20回くらいたぶん投票してるけどo1-miniが1回出てきただけだわ
英語のランキングみる限り一応o1-previewも出ては来るみたいだけどとにかく数が少ないみたいね
日本語で順位が付くの相当時間かかりそう
0171名無しさん@ピンキー2024/09/24(火) 20:52:26.44ID:+YrxG6s6
メインメモリで運用してるのすげえな。自分じゃ遅すぎて耐えられないわ
DDR5とかだと違ってくるんかな?
0172名無しさん@ピンキー2024/09/24(火) 23:49:40.24ID:???
さすがに最上位スレッドリッパーとかならキャッシュとコアの暴力でわりかし早いのは言われとるな
0173名無しさん@ピンキー2024/09/25(水) 00:05:13.41ID:6wjZDZqW
上位スリッパならメモリ8chで460GB/s出るし
0174名無しさん@ピンキー2024/09/25(水) 00:06:18.32ID:6wjZDZqW
途中送信しちゃったCPU勢はMacなのでは
0176名無しさん@ピンキー2024/09/25(水) 00:22:24.55ID:???
教えてもらったところにあったのから飛んできた
現状はどんな感じですか? gpt4oと遜色ない?
0177名無しさん@ピンキー2024/09/25(水) 07:38:11.19ID:???
o1はチャット用じゃないから。。。
論理重ねるようなタスクじゃないと
0178名無しさん@ピンキー2024/09/25(水) 10:51:00.85ID:???
4oで使ってたプロンプトと同じので出力できるのってないんだな
0179名無しさん@ピンキー2024/09/25(水) 11:14:55.41ID:???
SF考証とかやらせるとo1は普通にクソ使えるよ
明らかに他とレベル違う
0185名無しさん@ピンキー2024/09/25(水) 22:20:36.75ID:OB0WXyOf
こいつテンプレ読まないやつじゃん
0186名無しさん@ピンキー2024/09/26(木) 16:12:46.10ID:???
Anthropic公式サイトや検索AIでシコってるガイジは隔離スレいけや
0187名無しさん@ピンキー2024/09/26(木) 19:26:24.36ID:???
こっちが荒らしに負けて移住してきたんだぞ
余計な火種を撒くなマヌケ
0188名無しさん@ピンキー2024/09/26(木) 19:42:32.27ID:39QaciTi
ほっときゃいいのに燃やすなよ〜
0189名無しさん@ピンキー2024/09/26(木) 19:59:02.45ID:???
高速高品質ガバガバLLMでシコってる向こうの人らが羨ましくて仕方ないんだろうな
0191名無しさん@ピンキー2024/09/26(木) 20:40:09.09ID:???
LCA便利すぎ
浦島太郎だったけどモデルの性能爆上がりしててびっくりした
■ このスレッドは過去ログ倉庫に格納されています

ニューススポーツなんでも実況