なんJLLM部 避難所 ★4
■ このスレッドは過去ログ倉庫に格納されています
0001名無しさん＠ピンキー2024/09/10(火) 10:19:11.43ID:Z1PzH55u
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降

本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★3
https://mercury.bbspink.com/test/read.cgi/onatech/1717886234
0135名無しさん＠ピンキー2024/09/19(木) 20:07:45.39ID:???
すまん、動いたわ
なぜか公式のggufファイルが起動せんかった
0136名無しさん＠ピンキー2024/09/20(金) 00:11:59.43ID:???
M1のMacで動かしたいんだけどおすすめのソフトってある？
WindowsもあるにはあるけどMacよりずっとスペック低い
0137名無しさん＠ピンキー2024/09/20(金) 00:17:06.76ID:???
QWEN2.5 72B
出来は結構いいんだけど、いかんせん規制が強すぎてすぐ終わろうとする
解除版ほしい





>>136
kobold.cpp
0138名無しさん＠ピンキー2024/09/20(金) 01:05:31.33ID:i5/Ws7O/
qwen2.5 14b試してるけどロールプレイ用途では微妙だな
余裕で20行とか出力しやがる
0139名無しさん＠ピンキー2024/09/20(金) 05:19:59.26ID:???
gpt4-o1なんか凄いらしいけど
こういうのってローカルではできないんやろか？
0141名無しさん＠ピンキー2024/09/20(金) 09:32:39.34ID:???
あれは検閲も兼ねてるからエロ利用者にとっては最悪のシステムや
むしろアレが無いのがローカルの強みになるかもな
0143名無しさん＠ピンキー2024/09/20(金) 13:45:31.42ID:???
o1は1回目のアウトプットと入力プロンプトを見返して必要があれば結果とプロンプトを参考にさらにもう一回推論する、
というのを何回か繰り返して精度を上げるみたいだから、
他のモデル(というかライブラリの仕組みか？)も同じ仕組みを入れようと思えば入れられるだろうし
使うモデルがエロ行けるなら出力もエロ行けるはず

ただこういう仕組みだから推論時間は数倍以上になるんやろな
繰り返し1回だけだったとしても、
通常推論→結果見直し推論→繰り返し必要と判断して追加推論→再度結果見直し推論→繰り返し不要と判断し結果出力
で4回推論あるわけだし
0144名無しさん＠ピンキー2024/09/20(金) 14:54:12.67ID:???
o1の場合は解釈と推論をするコンポーネントがかなり違う性質を持つみたいな話もあるので、どうかな
一つ言えるのは、解釈コンポーネントの検閲機能でエロ排除されたら何を入力しても無駄ということ
糞中の糞
0145名無しさん＠ピンキー2024/09/20(金) 16:34:41.34ID:???
>>0137
koboldcppってMac版あんの？
なんか拡張子無しのファイルしかなかた
0149名無しさん＠ピンキー2024/09/21(土) 20:56:21.45ID:???
silly tavern拡張機能のsummraizeとobjectiveがちゃんと動く条件がやっと分かったので報告
①instructモードをオンにする
②「リクエストごとに1行のみ生成」のチェックを外す
③「不完全な文をトリミング」のチェックも外す

これでkobold接続だろうと何だろうと、ちゃんと動いてくれた
0150名無しさん＠ピンキー2024/09/21(土) 21:53:35.35ID:???
ここってColabとかpaperspaceみたいなクラウドGPU使って文章生成してる人あんまり多くない感じなのかな
今までchat GPTとかperplexityばっか使ってたからこっちの勝手が全然わからん
0151名無しさん＠ピンキー2024/09/21(土) 22:17:25.48ID:???
>>150
住人はかなり重複してると思うで
プロンプトのコツとかは共通だし
ローカルの方がモデルの多さやツールの使い方で覚える事多いけど
0154名無しさん＠ピンキー2024/09/22(日) 09:06:37.28ID:???
>>152
公式ドキュメントにもあるけどchmod +xして実行ファイルにしてやる必要がある
あとうちのMacだとセキュリティに引っかかるから設定変更も必要だった
0156名無しさん＠ピンキー2024/09/23(月) 14:25:12.54ID:Ullv0ReZ
qwen2.5のuncensored今のところ微妙だ
0159名無しさん＠ピンキー2024/09/24(火) 08:25:58.03ID:Ak0vlxsC
Qwen-2.5-32b-AGIっていう規制をとってしまったモデルがあるらしい
試してないからよくわからんけど
0161名無しさん＠ピンキー2024/09/24(火) 10:02:47.41ID:N8W78GVS
https://huggingface.co/AiCloser/Qwen2.5-32B-AGI

First Qwen2.5 32B Finetune, to fix its Hypercensuritis
Hyper means high, and censura means censor, the suffix "-itis" is used to denote inflammation of a particular part or organ of the body.

>>160
嘘と適当だらけで草
0162名無しさん＠ピンキー2024/09/24(火) 10:30:53.12ID:???
gensparkよく使ってるけどこんな間違いするのか
気をつけて使わねば
0163名無しさん＠ピンキー2024/09/24(火) 10:43:29.81ID:???
>>161
ほんまや全然違ってて草
これって結局スラングとか使いまくりの悪態ジョークモデルってことなん？
0164名無しさん＠ピンキー2024/09/24(火) 10:53:03.53ID:N8W78GVS
データセット見るに申し訳回避と英語+中国語の有害要素チューニングがされてる
知らんけど
0166名無しさん＠ピンキー2024/09/24(火) 11:35:21.63ID:???
ん？
よく見たら、量子化してないほうがベンチスコア落ちるのは、なんでだってばよ？
0167名無しさん＠ピンキー2024/09/24(火) 13:28:30.04ID:???
AutoCoTRAGって、どうやって機能すんのかな？
koboldとかでもできるようになるんだろうか？
0168名無しさん＠ピンキー2024/09/24(火) 19:15:32.26ID:???
ニキらは72Bモデルローカルで使っとるんか？VRAMどんだけ積んでんのよ
0170名無しさん＠ピンキー2024/09/24(火) 19:43:18.01ID:???
chatbotarenaで投票しまくってるけどo1全然出てこねぇな
今日20回くらいたぶん投票してるけどo1-miniが1回出てきただけだわ
英語のランキングみる限り一応o1-previewも出ては来るみたいだけどとにかく数が少ないみたいね
日本語で順位が付くの相当時間かかりそう
0171名無しさん＠ピンキー2024/09/24(火) 20:52:26.44ID:+YrxG6s6
メインメモリで運用してるのすげえな。自分じゃ遅すぎて耐えられないわ
DDR5とかだと違ってくるんかな？
0172名無しさん＠ピンキー2024/09/24(火) 23:49:40.24ID:???
さすがに最上位スレッドリッパーとかならキャッシュとコアの暴力でわりかし早いのは言われとるな
0173名無しさん＠ピンキー2024/09/25(水) 00:05:13.41ID:6wjZDZqW
上位スリッパならメモリ8chで460GB/s出るし
0174名無しさん＠ピンキー2024/09/25(水) 00:06:18.32ID:6wjZDZqW
途中送信しちゃったCPU勢はMacなのでは
0176名無しさん＠ピンキー2024/09/25(水) 00:22:24.55ID:???
教えてもらったところにあったのから飛んできた
現状はどんな感じですか？ gpt4oと遜色ない？
0177名無しさん＠ピンキー2024/09/25(水) 07:38:11.19ID:???
o1はチャット用じゃないから。。。
論理重ねるようなタスクじゃないと
0178名無しさん＠ピンキー2024/09/25(水) 10:51:00.85ID:???
4oで使ってたプロンプトと同じので出力できるのってないんだな
0179名無しさん＠ピンキー2024/09/25(水) 11:14:55.41ID:???
SF考証とかやらせるとo1は普通にクソ使えるよ
明らかに他とレベル違う
0185名無しさん＠ピンキー2024/09/25(水) 22:20:36.75ID:OB0WXyOf
こいつテンプレ読まないやつじゃん
0186名無しさん＠ピンキー2024/09/26(木) 16:12:46.10ID:???
Anthropic公式サイトや検索AIでシコってるガイジは隔離スレいけや
0187名無しさん＠ピンキー2024/09/26(木) 19:26:24.36ID:???
こっちが荒らしに負けて移住してきたんだぞ
余計な火種を撒くなマヌケ
0188名無しさん＠ピンキー2024/09/26(木) 19:42:32.27ID:39QaciTi
ほっときゃいいのに燃やすなよ～
0189名無しさん＠ピンキー2024/09/26(木) 19:59:02.45ID:???
高速高品質ガバガバLLMでシコってる向こうの人らが羨ましくて仕方ないんだろうな
0191名無しさん＠ピンキー2024/09/26(木) 20:40:09.09ID:???
LCA便利すぎ
浦島太郎だったけどモデルの性能爆上がりしててびっくりした
0193名無しさん＠ピンキー2024/09/27(金) 04:47:11.97ID:???
>>190
戦ってるのは初心者…というか過去ログも何も読まないアホだけや
古参も迷惑しとる
0194名無しさん＠ピンキー2024/09/27(金) 11:31:04.20ID:???
5090のリーク情報によるとVRAM32GBかもしれんみたい
32あったらcommand RとTTS併用しながら3Dモデル動かしても余裕だろなあ
0197名無しさん＠ピンキー2024/09/27(金) 13:18:20.59ID:???
google colabのkoboldcpp、無料だとT4 gpuがつかえるけど、エロ文章に使ったらbanされるとかある？
0199名無しさん＠ピンキー2024/09/27(金) 15:53:21.45ID:???
AppleはAI用に自社製プロセッサーを開発してすでに使ってるらしいから、mac studioやmac pro用にフィードバックされるといいなぁ、というかしてくれ
0200名無しさん＠ピンキー2024/09/27(金) 20:38:24.09ID:???
anthracite-org/magnum-v2-72b
１か月も前のモデルだけど、日本語エロがかなりいいわこれ
qwen2ベースだったからノーマークだった
0201名無しさん＠ピンキー2024/09/28(土) 03:35:01.53ID:???
Llama3.2なんて出てんじゃん
でもあいかわらず日本語やらアジア圏の言語スルーされててかなC
0203名無しさん＠ピンキー2024/09/28(土) 07:52:50.59ID:???
スルーと言うか、単に無差別に学習して最終的に出せる品質に達したかどうかってだけでは
0204名無しさん＠ピンキー2024/09/28(土) 14:49:43.36ID:???
>>203
そんなわけないやろ…
AIに学習させるデータが勝手に集まって来てくれるとでも思っとるんか？
ある程度は自動化するにしたって低品質なデータとか著作物は除外せなあかんし
どの言語を重点的に学習するかなんて人間の判断や
0206名無しさん＠ピンキー2024/09/28(土) 17:26:40.33ID:???
>>204
それだとある程度は日本語も出る理由を説明できへんからな…
学習はしとるんよ
対応と言えるクオリティに達さなかっただけや
0208名無しさん＠ピンキー2024/09/29(日) 02:20:13.72ID:JVObfToq
NSFWとかERPで良い感じの男モデルないかな
女性向けにマネタイズしたいんだけど
0209名無しさん＠ピンキー2024/09/29(日) 10:04:56.47ID:b56/vOOI
2bとか3bの軽いモデルをcpuだけで動かすの、ゲームのNPCとかに
使えるようになってきてはいるんだろうな、という推測
0210名無しさん＠ピンキー2024/09/29(日) 10:25:22.96ID:???
将来的には対戦型のゲームにAIが搭載されて接待プレイしてくれるようになるだろう
0211名無しさん＠ピンキー2024/09/29(日) 12:54:11.70ID:???
>>209
できるだろうし最初は同人ゲーあたりからそういうのが出てきそう
ただAIがとんでもないことを口走らないようなセーフティが難しそう
これは私たちが作ったんじゃなくてAIが勝手に暴走したんです！と言い訳しても納得する人ばかりじゃないだろうし
0212名無しさん＠ピンキー2024/09/29(日) 13:49:49.24ID:FvOumTcQ
Llama3.2の画像認識で遊べないやろか
0213名無しさん＠ピンキー2024/09/29(日) 13:51:07.79ID:???
EmemeがNPCにLLMを使ったゲームで今月に早期アクセス公開予定だったけど延期してしまった
0214名無しさん＠ピンキー2024/09/29(日) 13:57:30.67ID:WwWaRXqI
>>211
同人ゲーと言えば、初期の頃chatgptに接続して遊ぶタイプのが出てきてエロ規制が大変だろうな
と思ったけど、ローカルLLMなら規制なんかいらないというか
0216名無しさん＠ピンキー2024/09/29(日) 14:18:37.39ID:WwWaRXqI
>>213
同人の場合、独自の規約を作って（発言の責任は負えないなど）同意できない場合は遊べない仕様にもできるけど
Ememeさんみたいな大手の場合はそうもいかないかな。よくわからないけど
0217名無しさん＠ピンキー2024/09/29(日) 14:56:26.35ID:???
NSFW描写は男女間のシーンで学習してるせいか、男同士でやっててもすぐに「子宮にぶちまけた」「子宮口につっこんだ」とかなっちちゃう
女同士でもそういうのあるのかな？
0224名無しさん＠ピンキー2024/09/29(日) 18:11:28.37ID:OIK778yP
>>219
>>220
同じ板でGPTで検索してみたらええんちゃう？
このスレはプロンプトを貼り付ける外部SNSとかないから不便だよな
0225名無しさん＠ピンキー2024/09/29(日) 19:21:08.03ID:???
>>222
3pなど複雑なプロンプトも
かなり読んでくれるが
合意ありきで描写は淡白気味
プロンプトを調整すれば
いけるかは知らん
0226名無しさん＠ピンキー2024/09/29(日) 22:31:09.51ID:Xr6chdo9
Mistral-Nemoは長文に強くていいよ。Q8でも3万トークンの小説読ませて質問に答えさせるくらいはできる
板的な用途には今一つだと思うけどいいモデルだわ
0230名無しさん＠ピンキー2024/09/30(月) 21:04:12.41ID:???
もう英語オンリーでも構わんからある程度簡単にインスコできるんを探すんご…
0231名無しさん＠ピンキー2024/09/30(月) 21:10:48.39ID:???
ソフトウェアのツールでggfuも落とせるのがあったけどどれえあっけな…
0232名無しさん＠ピンキー2024/09/30(月) 21:13:23.16ID:q2d/XZln
LM studioは楽でいいぞ
■ このスレッドは過去ログ倉庫に格納されています
ニューススポーツなんでも実況