なんJLLM部避難所 ★6

0001名無しさん＠ピンキー2025/02/13(木) 21:16:02.49ID:KkRdf1Mm

AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降

本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部避難所 ★5
https://mercury.bbspink.com/test/read.cgi/onatech/1735186391/

0952名無しさん＠ピンキー2025/03/21(金) 08:44:23.93ID:???

DLだけして試してなかったモデルを試してみたんやが
ggml-model-Q4_K、チャットしても会話例文を繰り返す感じであかんかった
LightChatAssistant-4x7B_IQ4_XS.ggufはKoboldCppではエラーで起動できんかった
Japanese-TextGen-MoE-TEST-2x7B-NSFW_iMat_IQ4_XS.ggufも作例に頼る

やはり27B以上でないと自然な感じにはならんね

0953名無しさん＠ピンキー2025/03/21(金) 10:40:26.64ID:???

webbigdata/FanFic-Illustrator
いいなこれ
どの程度再現性あるんだろう
出先で試せん

0954名無しさん＠ピンキー2025/03/21(金) 14:29:35.25ID:???

command-a
ようやく動いた、文章はまともかもしれんがチャット用途ではないな
単に好みじゃない

0955名無しさん＠ピンキー2025/03/21(金) 15:28:49.22ID:nUbkAE1I

mistralでエロチャットできるようになったけど一回イったらすぐまとめて締めにかかろうとするのやめてほしい
プロンプトで制御できるんかな

0956名無しさん＠ピンキー2025/03/21(金) 19:01:44.48ID:???

>>955
mistral系の別のモデルで同じことを思って、適当に抽出したエロ会話データセットで適当に弱いファインチューンしたら男女共に性欲無限になって収拾つかなくなった

0957名無しさん＠ピンキー2025/03/21(金) 19:04:46.83ID:???

https://i.imgur.com/irKGNxi.png
文章だけだと「後手縛りなのに手を前に出す」とか人体構造を無視した回答をするので状態を保持させようとしてる
ローカルだと永久トークンにあまり容量を使いたくないが
モデルはqwen2.5-bakeneko-32b-instruct-v2

0958名無しさん＠ピンキー2025/03/21(金) 20:43:44.45ID:???

>>955
この問題Qwen系でもあるんよ
クライマックス後にすぐエピローグに持っていこうとする

0959名無しさん＠ピンキー2025/03/21(金) 21:21:55.32ID:???

手っ取り早いのは不満がある部分を直接編集で削除、編集してシレっと続けること
「AIの回答」にこだわり過ぎないのであればこれが一番楽

0960名無しさん＠ピンキー2025/03/21(金) 22:15:19.34ID:???

やっぱりそういう文章の学習量が圧倒的に不足しとるよな
誰かがデータセット公開してくれりゃええんやが
画像と同じでいろいろ物議をかもすやろなぁ

0961名無しさん＠ピンキー2025/03/21(金) 22:28:43.59ID:???

「今日は3回射精します」とか「メニューはフェラ・フェラ・アナルです」とかちゃんと書いたらだいたい3回してくれるよ
何もなかったらそりゃ1回でしょ
学習量なんて関係ないよ

0962名無しさん＠ピンキー2025/03/22(土) 00:34:22.68ID:???

賢い

0963名無しさん＠ピンキー2025/03/22(土) 00:39:18.97ID:???

command-Aは途中まではすごくいいんだけど、後半アホになって繰り返し多くなるなぁ
やっぱ安定はmagnum123Bかなぁ　でもくそ遅いしなぁ(´Д⊂ヽ

0964名無しさん＠ピンキー2025/03/22(土) 02:26:31.52ID:???

stockmark/Stockmark-2-100B-Instruct-beta

0965名無しさん＠ピンキー2025/03/22(土) 02:59:47.39ID:???

基本的に与えられた条件を満たす最短ルートを通るように出来てるんだよ

これからセックスしますと指示すれば女は濡れてることになってチンコ入れる
賢いモデルだと服を脱がす描写が入る
それでも前戯は省かれてる
気を利かせてフェラなんて絶対しない
それはオプションだからだ

0966名無しさん＠ピンキー2025/03/22(土) 03:08:15.24ID:???

https://files.catbox.moe/dp68xd.jpeg
ここでc4ai-command-a-03-2025-Q4_K_Mが評判いいみたいだから
ワイも試してみたんやけど、ランチしたら落ちてしまうんや
Vramに収まらんからUse CPUでええよね？
他にいじる設定あったやろか？

結合後のファイルは65562024kbで
合っとると思うんやけど……
どっちが間違っとるのか解らんくなってもうた

0967名無しさん＠ピンキー2025/03/22(土) 03:17:20.45ID:???

>>966
GGUFファイルはここのをつわわせてもろた
https://huggingface.co/lmstudio-community/c4ai-command-a-03-2025-GGUF/tree/main

うちDDR4やから激遅い環境やけど評判いいなら試したくって
やっぱグラボに96Gは欲しくなるンゴねえ……

0968名無しさん＠ピンキー2025/03/22(土) 04:43:59.03ID:???

「脱げ」とか「女　入れる」とかしか書かない人たちなんだろうなと思うことはある
LLMはその仕組み上、接待はしないんだよ
同じ入力には同じ範囲の返答しか来ないよ

0969名無しさん＠ピンキー2025/03/22(土) 04:48:37.45ID:???

そんな奴いるのか……

0970名無しさん＠ピンキー2025/03/22(土) 04:51:24.66ID:???

話しかける甲斐性のある人や文章書ける人はAI相手にどんどん富んで
話のできない人や文章書けない人はAIエロ相手ですら損をし続けるんだ
せちがらいねえ

0971名無しさん＠ピンキー2025/03/22(土) 05:57:02.40ID:???

>>965
「セックスしようぜ」と入力するだけで前戯から始まることもあるぞ
特にキャラ設定に身体的特徴を書いておくと、その部分を活かした前戯が始まりやすい
そうでなくとも手コキをしたりキスをしたりと色々やることがある
「セックスしようぜ」と言ってすぐにチンポを入れようとすると「まだ濡れてないんだからちゃんと前戯しろ！」と怒られることすらある
7B～12B程度のモデルの話ね

0972名無しさん＠ピンキー2025/03/22(土) 06:14:56.53ID:???

drummerのモデルとかERP向けに調整してあるやつは振る舞いがまるで違うので、満足行く経験が欲しい人は日本語エロ文章を集めてチューンするしかないんじゃね

プロンプトで何とかするのは対処療法だから、出力量が増えるにつれて有効性が目減りしていくはず

0973名無しさん＠ピンキー2025/03/22(土) 06:23:35.23ID:???

>>970
それは絵でも同じなんよね
絵が出せるからって物語やコマ割りができるわけやないんや
でもセンスある人はさっくり乗り越えてくるからおっそろしいで

でもどちらにも必要なのはプログラムの知識とかよね
ワイ絵は描けるけども他のニキらほどのプロンプトぢからが無いで……

0974名無しさん＠ピンキー2025/03/22(土) 07:50:30.13ID:???

>>967
結合はllamacpp使ってる？
あとメモリとvram容量ぷりーず

0975名無しさん＠ピンキー2025/03/22(土) 08:17:32.48ID:???

>>974
ああっcmd上でやっちまった！
根本的に間違えとったでごわす、すまんやでそしてありがとうやで
llamacppはDLすらしとらんかった
Vramは24、Dramは128や

そんでllamacppで調べたら全部コマンドラインなんかこれ……
GUIが欲しいわ！GUIを見せて頂戴！

qwq-32b-q4_k_mで例文を書く作業に戻るンゴ

0976名無しさん＠ピンキー2025/03/22(土) 08:31:58.03ID:???

>>975
上の方にcmdで結合できるgguf貼ってるで
あっちの方が楽かも

0977名無しさん＠ピンキー2025/03/22(土) 08:40:59.39ID:???

>>967のことならワイやけど、それとは違うページやろか？
https://huggingface.co/lmstudio-community/c4ai-command-a-03-2025-GGUF/tree/main
もいっかいDLからやり直してみるで

0978名無しさん＠ピンキー2025/03/22(土) 09:06:26.64ID:???

>>977
ちゃうちゃう
>>793
こっちや
あとそんだけメモリあるならq8_0いったらんかいw
それとmagnum 123bもかなりええで

0979名無しさん＠ピンキー2025/03/22(土) 09:44:35.27ID:???

モデルによって違うかもしれんけど、キャラクターカードに
「セックスが大好き」「淫乱」とか入れるとAIの方から求めてくるエロキャラになるから
カードを作り込めば接待もできそうではある

0980名無しさん＠ピンキー2025/03/22(土) 10:10:27.09ID:???

>>978
おおっサンガツやで！動くなら大きくてもええんや
https://huggingface.co/mradermacher/c4ai-command-a-03-2025-i1-GGUF/tree/main
ここやね、Q8ないけどQ6Kでやってみるで

あとcmdで結合できるファイル状態のmagnum 123b
magnum 123b part1of で検索しても見つからんわ
ひょっとして皆、総当たりしとるんか……？

0981名無しさん＠ピンキー2025/03/22(土) 10:38:59.57ID:???

>>980
同じ人のところに
mradermacher/c4ai-command-a-03-2025-GGUF
ってi1がついてない方にQ8はあるで
magnum123bも同じ人がアップしてくれてる
この人はcmdで結合できる形式でアップしてくれるからいつも利用してるわ
ただアップ量多すぎて探しにくいから
名前とモデル名で検索かけんと見つけにくいw

0982名無しさん＠ピンキー2025/03/22(土) 13:52:55.35ID:???

>>981
大いにサンガツやで
いまc4ai-command-a-03-2025.i1-Q6_K.gguf 88G読み込めたわ
メモリ111G使っとるわ……ブラウザ複数でタブ開いとるとQ6がギリやね

「紅茶の茶葉の種類おしえて」って聞いたら
5分くらいでも(512 / 1982 tokens)だわ
もう眠くなってきたんやけど……寝るわ……
アドバイスくれた二キありがとやで！

0983名無しさん＠ピンキー2025/03/22(土) 21:07:14.27ID:???

https://www.youtube.com/watch?v=HG_24EFF-Uw
Mac Studio M3 Ultra 512GB、Redditでさんざん叩かれてたのと違って普通に速度出てるじゃん…
はー、Blackwell 96GBなんて放り捨てて買っちゃおうかなあ

0984名無しさん＠ピンキー2025/03/22(土) 21:13:47.86ID:???

画像生成、動画生成、TTSとかでも速度出るの？

0985名無しさん＠ピンキー2025/03/22(土) 21:22:50.03ID:12vzIl0e

文章打つのめんどくさいからTRPG方式にして
1
とかしか返信しないワイ低みの見物

0986名無しさん＠ピンキー2025/03/22(土) 22:31:40.63ID:???

5080に48GB搭載した奴で値段90～100万
5090に96GB搭載した奴がアリバイ価格143万、実売推定180~200万
そう考えると150万ほどのM3 512GBはかなり優秀よな

0987名無しさん＠ピンキー2025/03/22(土) 23:25:09.36ID:???

>>984
画像はLoraとかのメモリいる処理をmacでやって
生成は速度重視でwinでやろうと思ってる

0988名無しさん＠ピンキー2025/03/23(日) 06:22:46.68ID:???

c4ai-command-a-03-2025.i1-Q6_K.gguf やってみたで
確かに賢い、27Bあたりとは核が違う感じ

遅いのだけが悔しいンゴ
リアルタイムでの会話を楽しむのは無理やね
なるほどこれは速いマシンが欲しくなるわ

0989名無しさん＠ピンキー2025/03/23(日) 07:59:03.36ID:???

>>988
pcスペックと何トークン/s出たか教えてくれりんす

0990名無しさん＠ピンキー2025/03/23(日) 08:02:03.14ID:???

150万出す気があるんだったらGPU借りた方が良いような気もする
安いところだったら丸280日分あるから毎日2時間遊ぶとしておよそ9年分
もちろん価格が上がる可能性はあるが

0991名無しさん＠ピンキー2025/03/23(日) 08:19:12.66ID:???

>>989
4090、DDR4(128G)、kobold＋Silly
まだいじり初めてよう解らん状態なんやが、これで参考になるやろか
最初の一文目
CtxLimit:2076/4096, Amt:94/350, Init:0.01s, Process:1645.92s (1.20T/s), Generate:257.60s (0.36T/s), Total:1903.52s
最後の一文
CtxLimit:3772/4096, Amt:26/350, Init:0.04s, Process:23.50s (1.19T/s), Generate:74.96s (0.35T/s), Total:98.47s
トータル秒が最初が1903と長いのは方向性を決めかねているからなねえ

0992名無しさん＠ピンキー2025/03/23(日) 08:42:32.10ID:???

>>991
情報サンクス
0.35はなんかちょっと遅い気がする
kobold起動する時cudaモードにしてる？
q6のせいかもしれんけど

0993名無しさん＠ピンキー2025/03/23(日) 08:43:30.38ID:???

>>990
ローカルじゃないと都合が悪い事があるんよ
言わせんなw

0994名無しさん＠ピンキー2025/03/23(日) 08:45:55.44ID:???

最近の半導体製品の価格高騰は TSMCやらの設備投資費増大が大きいから、お金がある人がバンバン使ってくれればコスト下落が加速されて庶民にもメリットありそう

0995名無しさん＠ピンキー2025/03/23(日) 09:36:02.64ID:???

？？？「需要があるならもっと値上げできるな」

0996名無しさん＠ピンキー2025/03/23(日) 09:40:41.88ID:???

512gb必要なのはdeepseekだけだからdeepseekあきらめて100bクラスをq6あたりで動かすことを目標にすると
192gbありゃ十分なんだけどそれでも結局m2かm3しか選択肢が今のところないのよね

project digits(名前変わったけど正式名称忘れた)が256gbに増えてくれたらなぁ
3000ドルが4500ドルくらいになったとしてもm3 macの価格見たら十分勝負できるんと違うかな

0997名無しさん＠ピンキー2025/03/23(日) 09:53:55.44ID:???

>>996
日本語特化のfinetuneするにはまだ足りないw

0998名無しさん＠ピンキー2025/03/23(日) 10:06:45.40ID:???

>>992
loboldcppのcudaモードって、起動してからの項目じゃなくて
一からビルドせんとあかんのね……

git clone https://github.com/LostRuins/koboldcpp.git
cd koboldcpp
mkdir build
cd build
cmake .. -DLLAMA_USE_CUDA=ON
make -j
したあとvisualstudioでビルドして、出来たkoboldcpp.exeを
./koboldcpp --use-cuda
て事なんかな、いま調べてビルド中や、ありがとうやで
出来たら比較の数値貼るわ

0999名無しさん＠ピンキー2025/03/23(日) 10:35:07.84ID:???

>>998
待て待て
起動してからcudablustだっけ
今出先やから確認できんが
デフォだとcpuモードになってるから切り替えるだけや

1000名無しさん＠ピンキー2025/03/23(日) 14:46:38.53ID:04LraJ6I

質問いいですか？

10011001Over 1000Thread

このスレッドは１０００を超えました。
もう書けないので、新しいスレッドを立ててくださいです。。。
life time: 37日 17時間 30分 37秒

10021002Over 1000Thread

BBSPINKの運営はプレミアム会員の皆さまに支えられています。
運営にご協力お願いいたします。

───────────────────
《プレミアム会員の主な特典》
★ 専用ブラウザからの広告除去
★ 過去ログを取得
★ 書き込み規制の緩和
───────────────────

会員登録には個人情報は一切必要ありません。
月300円から匿名でご購入いただけます。

▼ プレミアム会員登録はこちら ▼
https://premium.5ch.net/

▼ 浪人ログインはこちら ▼
https://login.bbspink.com/login.php

なんJLLM部 避難所 ★6

なんJLLM部避難所 ★6