なんJLLM部 避難所 ★4
■ このスレッドは過去ログ倉庫に格納されています
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★3
https://mercury.bbspink.com/test/read.cgi/onatech/1717886234 gensparkよく使ってるけどこんな間違いするのか
気をつけて使わねば >>161
ほんまや全然違ってて草
これって結局スラングとか使いまくりの悪態ジョークモデルってことなん？ データセット見るに申し訳回避と英語+中国語の有害要素チューニングがされてる
知らんけど AXCXEPT/EZO-Qwen2.5-72B-Instruct
これはどうかな？ ん？
よく見たら、量子化してないほうがベンチスコア落ちるのは、なんでだってばよ？ AutoCoTRAGって、どうやって機能すんのかな？
koboldとかでもできるようになるんだろうか？ ニキらは72Bモデルローカルで使っとるんか？VRAMどんだけ積んでんのよ VRAMなにそれ？なワイはメモリ64GでQ5k_mぶん回してるわｗ chatbotarenaで投票しまくってるけどo1全然出てこねぇな
今日20回くらいたぶん投票してるけどo1-miniが1回出てきただけだわ
英語のランキングみる限り一応o1-previewも出ては来るみたいだけどとにかく数が少ないみたいね
日本語で順位が付くの相当時間かかりそう メインメモリで運用してるのすげえな。自分じゃ遅すぎて耐えられないわ
DDR5とかだと違ってくるんかな？ さすがに最上位スレッドリッパーとかならキャッシュとコアの暴力でわりかし早いのは言われとるな 上位スリッパならメモリ8chで460GB/s出るし 教えてもらったところにあったのから飛んできた
現状はどんな感じですか？ gpt4oと遜色ない？ o1はチャット用じゃないから。。。
論理重ねるようなタスクじゃないと 4oで使ってたプロンプトと同じので出力できるのってないんだな SF考証とかやらせるとo1は普通にクソ使えるよ
明らかに他とレベル違う keitokei1994/EZO-Qwen2.5-32B-Instruct-GGUF
72bもおねげします〜 >>181
EZO-Qwen2.5-32B-Instruct-GGUF試してるが
普通に事件の内容教えてくれてるぞｗ Anthropic公式サイトや検索AIでシコってるガイジは隔離スレいけや こっちが荒らしに負けて移住してきたんだぞ
余計な火種を撒くなマヌケ 高速高品質ガバガバLLMでシコってる向こうの人らが羨ましくて仕方ないんだろうな LCA便利すぎ
浦島太郎だったけどモデルの性能爆上がりしててびっくりした >>190
戦ってるのは初心者…というか過去ログも何も読まないアホだけや
古参も迷惑しとる 5090のリーク情報によるとVRAM32GBかもしれんみたい
32あったらcommand RとTTS併用しながら3Dモデル動かしても余裕だろなあ google colabのkoboldcpp、無料だとT4 gpuがつかえるけど、エロ文章に使ったらbanされるとかある？ mac 64Gだから70BならK4-M(48GByte)がなんとか動く
M4 Ultraはよこい AppleはAI用に自社製プロセッサーを開発してすでに使ってるらしいから、mac studioやmac pro用にフィードバックされるといいなぁ、というかしてくれ anthracite-org/magnum-v2-72b
１か月も前のモデルだけど、日本語エロがかなりいいわこれ
qwen2ベースだったからノーマークだった Llama3.2なんて出てんじゃん
でもあいかわらず日本語やらアジア圏の言語スルーされててかなC スルーと言うか、単に無差別に学習して最終的に出せる品質に達したかどうかってだけでは >>203
そんなわけないやろ…
AIに学習させるデータが勝手に集まって来てくれるとでも思っとるんか？
ある程度は自動化するにしたって低品質なデータとか著作物は除外せなあかんし
どの言語を重点的に学習するかなんて人間の判断や >>204
それだとある程度は日本語も出る理由を説明できへんからな…
学習はしとるんよ
対応と言えるクオリティに達さなかっただけや NSFWとかERPで良い感じの男モデルないかな
女性向けにマネタイズしたいんだけど 2bとか3bの軽いモデルをcpuだけで動かすの、ゲームのNPCとかに
使えるようになってきてはいるんだろうな、という推測 将来的には対戦型のゲームにAIが搭載されて接待プレイしてくれるようになるだろう >>209
できるだろうし最初は同人ゲーあたりからそういうのが出てきそう
ただAIがとんでもないことを口走らないようなセーフティが難しそう
これは私たちが作ったんじゃなくてAIが勝手に暴走したんです！と言い訳しても納得する人ばかりじゃないだろうし EmemeがNPCにLLMを使ったゲームで今月に早期アクセス公開予定だったけど延期してしまった >>211
同人ゲーと言えば、初期の頃chatgptに接続して遊ぶタイプのが出てきてエロ規制が大変だろうな
と思ったけど、ローカルLLMなら規制なんかいらないというか >>213
同人の場合、独自の規約を作って（発言の責任は負えないなど）同意できない場合は遊べない仕様にもできるけど
Ememeさんみたいな大手の場合はそうもいかないかな。よくわからないけど NSFW描写は男女間のシーンで学習してるせいか、男同士でやっててもすぐに「子宮にぶちまけた」「子宮口につっこんだ」とかなっちちゃう
女同士でもそういうのあるのかな？ そりゃ指示が適当かモデルがしょぼいかどちらかだろう >>215
遊ぶ側は気にしなくても外野が騒ぐと面倒だから サイバーエージェントのMistral-Nemoがなんかめっちゃ強いみたいだけど使ったことあるやついる？
存在すら知らなかったわ
https://x.com/aratako_lm/status/1840270470463275396 >>219
>>220
同じ板でGPTで検索してみたらええんちゃう？
このスレはプロンプトを貼り付ける外部SNSとかないから不便だよな >>222
3pなど複雑なプロンプトも
かなり読んでくれるが
合意ありきで描写は淡白気味
プロンプトを調整すれば
いけるかは知らん Mistral-Nemoは長文に強くていいよ。Q8でも3万トークンの小説読ませて質問に答えさせるくらいはできる
板的な用途には今一つだと思うけどいいモデルだわ もう英語オンリーでも構わんからある程度簡単にインスコできるんを探すんご… ソフトウェアのツールでggfuも落とせるのがあったけどどれえあっけな… https://lmstudio.ai/
これこれ
本体英語だけどツール上でhuggingfaceからダウンロードできるよ LM StudioはHF検索→ダウンロードがお手軽なのはよかったんだけど
チャット画面のテキスト編集がしづらいとかで他のクライアントから
アクセスしてサーバとして使うときにGUIが邪魔だったので最近使ってないな
代わりにOllamaをサーバ起動して(Macだとメニューバーにアイコンだけ表示)
VSCode上の自作拡張からOpenAI APIで繋いで使ってる spow12/ChatWaifu_22B_v2.0_preview
このモデル、学習データ見ると日本語かなり行けそうなんだけど出先で試せん 試そうとしたけど22Bは量子化しないとウチでは無理だ… anthracite-org/magnum-v2-72b
↑が日本語エロ素晴らしかったから
mradermacher/magnum-v2-123b-i1-GGUF
こっちも試してみた。
IQ3_XXSだけど、エロいわこれ
こっちはmistralベースだな
magnumの日本語tuneは、かなりエロいみたいだ 浦島なんだけど4090で動きそうなエロLLMはいま熱いのなんなんだろ…？ >>240
量子化見落としてたありがとう
で、試してみたけど日本語は一応話せるけど不自然な感じだね
>>242
同じく4090だけど今使ってるのは以下だなあ
calm3-22b-RP
Mistral-Nemo-Japanese-Instruct-2408 >>243
ワイも片言な日本語でいまいちやった。
小さいモデルだと日本語特化で学習してないと厳しいんだろうな magnum-v2-123b
セリフもエロもいいんだけど、日本語トークンに対応してないから、おせえええええ
macほしいいいいい Himeyuri-v0.1-12Bていうのが小説もRPも好感触なんだけど使ってる人いる？ これから始めるんだけどKoboldcppとEasyNovelAssistantどっちがいいの？ >>248
ENAはKoboldcppにガワ被せてるだけやで
汎用的な使い方するなら普通にKoboldcpp使ったらええ >>247
尻タブで試してみたんだけど文が破綻しててまるで駄目なんだが…
小説用で指示モードとロールプレイには最適化されてませんという説明通りって感じなんだけどどんな設定でRPやってるの？ >>248
EasyNovelAssistantを入れて小説書きたいときはEasyNovelAssistantを起動
チャットしたいときはEasyNovelAssistantの中のKoboldcppを起動するんや
EasyNovelAssistantのgithubページのドキュメントにちょっとだけ情報載ってるから見とくとええで >>243
>>245
微妙なのか
学習データは良さそうだけど…（非公開データだけどエロゲのテキストも学習してるみたいだったし）
Mistral-Smallがベースだからかな？Calm3とかベースでやってみてほしいわ >>247
なかなかええな。Berfhofと同じ人のモデルか
>>250
わい環ではSTでもまぁまぁいい感じだけどな。temptatureを0.35とか低めにしたほうがいいみたい >>253
なるほど…温度低くしろって説明は読んで0.7くらいでやってたや
そこまで低くしないといかんのか
あと、応答ごとに1行だけ表示とかいうチェックを外すと謎の解説文みたいなのが高頻度で発生しちゃうな
でも小説書かせると自然だったからberghof-NSFW-7Bと特徴が似てる感じやね 12Bくらいあると理解力が凄い、ってなるね
magnum-12b-v2-q6_k.ggufがなかなか良い magnumは123bが規制なくて最高なんだがいかんせん遅すぎる
70b常用のワイにもきついw >>256
モモンガニキがgguf公開してくれてるから試してみるか
しかし2BでGPT3.5相当の性能ってほんまかいな SillyTavernでメッセージを送る際自動で鉤括弧をつける方法
Extensions（日本語環境だと拡張機能）内のRegex（日本語環境だと正規表現）を開く
グローバルスクリプトを開く
なんでもいいのでスクリプト名を名付ける
Find Regex（正規表現を検索）の欄に^(.*)$と書く
Replace With（を検索する）の欄に「{{match}}」と書く
other option（その他のオプション）からSubstitute Regex（正規表現の置換）にチェックをつける
知ってるやつも多いと思うけどちょっとググっても引っ掛からなかったので書き込んどく
これだと**で囲んだ場合でもカッコの中に含まれるから注意
**だけ外に出す方法はワカランカッタ
いちいち「」出すの面倒くさい奴用 ■ このスレッドは過去ログ倉庫に格納されています
