なんJLLM部 避難所 ★3
■ このスレッドは過去ログ倉庫に格納されています
!extend::vvvvv:1000:512
!extend::vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★2
https://mercury.bbspink.com/test/read.cgi/onatech/1714642045/
-
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured 5070はVRAM 12GBみたいだし5080以上は高くて手が出しにくいから
3080 10GBから4070 ti superに換装しようと思ってるんだけどやっぱり迷うな
7Bを使えるようになったらだいぶ変わるんだろうか >>489
7BモデルQ8+SBV2読み上げ+sillyの3Dモデル表示でVRAM15~16GB食ってる感じやで >>485
公式で何キャラか配布してなかったかな？
女化学者みたいな立ち絵を白衣のと全裸のを落とした覚えがある anthropicって結構いい感じだけど、すぐ会話続けられなくなっちゃうな
chatGPTは同じ会話の中で無限にずっと続けられるのに
APIで動かせばこの制限なくなるのかな 「会話続けられなくなる」とは？？
そんな経験ないけど… セッションごとのトークン数制限に達しましたってやつ？ https://i.imgur.com/BoY7CtV.jpeg
こういうやつ
課金すれば制限なくなるけど主目的がNSFWだから気乗りしない
だからこのスレにいるわけだけど >>496
それ
やっぱclaudeは頭の良さがダンチだな
ローカルでこのレベルが動けば良いのに 無課金でセッション延々続けたいなら本家よりPoeの方がいいんじゃないの
ChatGPTでオナニースレの方が向いてる話題だと思うけど 完全にスレチだけど少しでも安くあげるならソフバン系の回線を一ヶ月だけ契約してperplexityの1年無料を貰うのが吉 エロ目的だと課金に気乗りしないの意味がよくわからん
BANされるかもみたいな話？
オナニースレでもほとんど報告ないし万が一されても返金されるから気にする必要ないぞ 今までオリキャラだけでやってたけどchub.aiでキャラクターカード落としてみたらすごくよく出来てるな
ハーレムチャットもまともに機能してるわ >>500
ソフバンだけどエロやりすぎたらバンされるかな？ >>504
そこいいよね
上で表情差分画像の話が出てたけど、そのサイトは表情差分付きって条件で絞って検索出来るから捗る
画像だけ拝借して別キャラに使い回しても良いわけで >>505
perplexityではまずされない
自分はperplexityで◯リ調教とか日常的にやってるけど平気だしオナニースレでもperplexityBANされたなんて報告は一度もない
とはいえいつかお咎めが来る可能性はあるのでそこは自己責任で
というかお咎めが行くとしたらまずanthropicからperplexityに向けて行くんだけどね
そこからさらに個人やソフバンに行く可能性はなくもない sillyはフロントエンドでしかないってのは上記で言われてる通りだけど
silly自体が多機能過ぎて語るべき事が多いんだよな、繋ぐだけならその辺に情報はあるとはいえ
ちなみに日本語モデルだと表情切り替えちゃんと機能してない気がするけどどう？文章に関係なく笑顔になるとか
英文モデルを自動翻訳に通す使い方だと多分正確な表情出てる あと表情差分は確かに多少自動化して作れた方がありがたい気はする、comfyUIでワークフロー組んだら作れないかな
立ち絵用意して、背景透明化ぐらいは人間の力入れて
comfyUIのimg2imgで顔部分マスクして、目の色の情報だけ全共通で入れて、いくつかの表情差分をワンボタンで量産する所までは思い付いた SBV2についても色々語りたい事多いんや
チュパ音モデル公開してくれたから、まずお気にのモデルとマージして大量にチュパ台詞を読み上げ、WAVで保存
このWAVをお気にの音声素材に追加して学習すれば通常会話とチュパ台詞を両立させたモデルが作れるんとちゃう？と閃いたんやが結果は微妙やった
チュパ時の喘ぎ声は上手く追加出来たものの、チュパ音がほぼ聞こえないくらい小さくなったり派手に音割れしたりでおかしくなってまう silly tavernのworld info やvector strageを使いこなすのはユーザーにも温度が必要だな >>510
チュパ音モデルとのマージでチュパセリフ行けるか？
ワイも試したけど、うまく行かんかったな…
通常のマージよな？ >>512
通常マージやで
それも微妙なとこで、声質0.5の他全部チュパモデルのままって配合で精一杯やった
それ以上お目当てモデル側に寄せると音がおかしくなる
ささやき声でも似たような感じやったしSBV2のマージって思ったより自由度が低い感覚だわ >>513
あー理解した、マージの時点であかんかったという話か
ささやきマージうまく行かんかったとこも一緒や
通常会話と喘ぎ声の同居まではそこそこ何とかなるけど、チュパ音語同居はやっぱりちと厳しそうやな… >>508
つい最近silly知ってモデルはninja-v1RPでやってみたけど確かに表情はあんまり切り替えてくれない。
自分の環境だと大体caringになる。
立ち絵はDiffRepromっていう差分画像を生成するA1111拡張がこの用途に適してると思う。
変えたい領域をプロンプト(表情なら目・眉・顔)を指定するとその領域を検知して差分画像を生成してくれる。
背景透過はtransparent-backgroundでフォルダごと投げれば一括で処理してくれてます。 こういうのに向いてる拡張あったよなあーと思ってたけど、そうだ、diffrepromだ
ありがとう 尻タブで使う画像の解像度ってトークン数に影響するの？
koboldだと解像度が影響するってどこかのモデルに書いてあったんだけど尻タブはどうなのか マルチモーダルで使う画像の話なら、バックエンドとフロントエンドに関して理解してない部分があるんとちゃうか？
尻タブはマルチモーダルとは関係なく、立ち絵や背景にも画像使えるがそっちの話なら関係ないで >>517
モデルに読み込ませる画像という意味ならそりゃ大きいほどトークン食うでしょ
Sillytavernで表示させる画像という意味ならただのUIの話だからトークンとか関係ないぞ >>508
英文じゃないと感情判定ができないっぽい
Translate text to English before classificationにチェックを入れると
APIで自動翻訳させた英文を通すようになるから日本語モデルでも表情出るはず >>520
教えてくれてありがとう
確かに表情機能のとこにチェックボックスがあった
表情分類AIに投げる文章を英訳してくれる機能やね commandR+に慣れるとoppusとか規制酷過ぎて頭おかしくなるわ、脱獄しないと何もまともに出力しない 規制の少なさ
Command R plus>>>>>Claude>>GPT4>>>>>Gemini だな
ところでグーグルのvertex AIでCommand R plusとかのファインチューニングってできるのかね？最近存在知ったからやれることよく分かってないが なんで規制なんて相手にするかな
何も考えずに脱獄文放り込めば4oまではほぼ無規制になるのに 版権キャラローラしてチャットしたら「理想のキャラ押し付けるな」みたいな反応が来たがどうしてもデータが偏る >>518-519
あーなるほどそういうことか
画像を読み込んでプロンプトを出力させるようなモデルだと画像の解像度とかが問題になる場合があるわけね
尻タブの立ち絵とかアイコンの解像度をどうしようか考えてただけだから
気にせずデカい画像使うわ なんUにあった本スレがスクリプトで落ちたけど一応立て直すか？ このスレへの誘導のリンクだけ貼っとけばええんでない？
どんぐりLv4とかにしちゃってもいいかもしれない 全員こっちに移動して誰もいないんやから本スレはもうこっちやないの どんぐりレベル4強制表示で立ててここへの誘導貼っとくに一票 Mistral NeMoってのが出たけどどんな感じだろ Mistral-Nemo試したいんだけどkoboldでもollamaでも動かないんだよなあ pfnet/Llama3-Preferred-MedSwallow-70B
llama3 swallowに、医学知識学習させたモデルで、あまり期待してなかったけど、
なんか、いいぞこれ
llama3ともswallowとも違う 普通にエロいｗ（脱獄不要）
文字欠け等の気になる点はあるけど、（量子化のせいか？）なんか、ベクトルが違うんだわ
まあ、最近のllama3-swallowにがっかりした分、よけいに出来が良く見えるんだが・・・
mmnga氏が量子化出してくれてるから、すぐ試せるで。ワイはQ5K_Mで試した。 いい加減VRAM64GBくらい積んだGPUどっか出してくれないとなぁ
AMDはどうせ業務用作ってないんだからNvidiaに嫌がらせする意味でもそういうの出してくれよ AIバブル弾けない限り無理
一応AMDは次世代APUはLPDDRXを内蔵多チャネル接続して広帯域にしたやつを
64だか128ぐらいまでは積むよみたいな事言ってる AMDはソフトウェア周りがNVIDIAと比べて弱すぎて話にならん rocmがやる気なさすぎてnvidiaが独禁扱いされないように公開するやつのおこぼれ食ったりとか
ライセンス違反上等の暗黒パワーのZLUDA使う現状が情けない NPUとかVRAM後乗せサクサクのやつが発展する方に期待しとく VRAM後載せは期待しない方がいい
高速なメモリほど後載せできないから、後載せできるシステムは帯域が狭くなる
推論は帯域が大事なので遅いメモリを後載せできても嬉しくない うえの方でだれか言ってた普通の時は普通の会話で、突然エロくなってまた普通に戻るみたいなの、
cohereのcommand-r-plusで普通にできるけど、もう解決ずみかな
プロンプトにほんの少しだけエロの設定が必要だけど だってLLMは入力も出力も屁みたいなデータ量だもん
マシンパワーの効率は誰がどう考えても一極集中のほうが良い どうしてこうLLM=ローカルと誤解している人が多いんだ 5090でcommand-r-plus乗せられるようになるだろか(´･ω･｀) cohereのCEOがcommandシリーズの日本語対応を重視するって言ってるな 日本人が多く使ってるのかな？
高レベルのエロ文章目当ての変態が多そうだが
そういや日本語特化モデルのカラクリての最近知ったけどお試し使用できる場所ないから性能謎だな 542だけどapiの話ね。語弊があったようですみません
ちなみに何か月か前に登録してからまだトライアルのままだな（最初に5ドル分くらいもらえる）
結構、使ったのに。 >>551
自分的にはkarakuri70bは日本語モデルの中ではダントツ
エロ小説もなりきりチャットも高レベル
マージモデルもいい 4090で普通に動く一番おすすめのLLMって何だろ？ >>554
健全な用途ならgemma2 27b Q5かな vram24GBに収まる範囲では日本語性能ダンチ エロが得意な14B前後くらいのモデルって無いんかな
それくらいならsilly tavernで読み上げながら使っても24GB以内に収まりそうなんだけど >>548
ローカルで動作させる事の有無はおいといて、command-R+は実質mac一択
PCだとバス幅(PC64bit。mac512bit)やアクセスチャンネル数(2-4ch、mac 8ch)が
少なすぎるし改善の見込みもない(ATXとDDRじゃ無理)
AppleはMにした時ここに大幅に手をいれた
その代わりRAMの交換とかできなくなった
ただこれはインテル時代もそうだったからユーザーは慣れてるのかも GDDRなんて4GBが数千円の原価なんだからいくらでも最初から組み込めるだろうに
どこのメーカも異様な利益率のえぐい商売してるよなぁ 油断すると即転がり落ちるからしゃーないで
開発費もうなぎ登りなんやし >>548
5090を1枚買う価格(40万？)で
4060Tiか3090の中古を複数枚揃えたらいける AIバブル終わった瞬間平身低頭して過剰在庫処理のVRAM128GBモデルとか売ってくるんやろか A100がお手頃価格になれば2本刺しでも300Bクラスまでは射程に入るからローカルLLMはバブル崩壊後が本番やな pfnet/Llama3-Preferred-MedSwallow-70B
なるほど分かったぞ
年齢や局部の描写で規制かけたら医学用途に使えないって事かっw
こいつは捗る(*ﾟ∀ﾟ*) >>553
良いこと聞いた
70b使ってるってことはローカルじゃないよね？グーグルクラウドとか使ってやってる？ >>565
すまんローカル
小説作成なら70bの遅さでも耐えられるようになったんだわ(*´ω`*) 昨日初めて導入したけどまだAIのべりすとより使いこなせへんわ
Uのスレがちょうど消えとって探すの苦労したわ 64GBあればフルCPUでcommand-R+ Q4でも動くしな。
まぁ流石に遅いので、無印command-Rに下書きさせて、R+に清書させると効率がいい。 RTX4000シリーズに数か月で大幅に性能低下する欠陥が発覚
共通して使用されてるグリスが原因だから殆どのメーカが巻き込まれるとのこと hbmに頼らない設計てできないの？
普通のメモリなら512gbでもいけるのに HBMはDDRの5〜20倍くらい転送速度が稼げる
LLMはとにかくメモリーの速度を要求する
mac(max以上)はDDRであってもコントローラー2倍積んでる特別仕様
ただHBMは物理的にローハンマー攻撃に弱いので実行用のメモリーとして使いづらい
マルチCPUでLLM動作させるとCPUが割と暇になってしまう
これはメモリーの出し入れ待ちな為 普通にGDDRでいいから48GBの4090とかでてくれたらねぇ・・・
4090にモデル収まれば20token/sとか出るし
実用上10token/sも出れば目で追えないくらい早いだろうから性能的にはもう十分なんだよな
まぁそれが6000Adaですって話なんかも知らんけど
なお値段 llama.cppがMistral-Nemoに対応したからちょっと使ってみたけど表現規制とかはなさそうだね
というかちょっと口説いたら銃の作り方も教えてくれるから論理観ガバガバかも？ Calm3試してる人いる？めっちゃ性能は良いみたいだけどエロはどうなのか気になる calm3の22B chat、まともに動かないや
暫定版って事が関係してるのかもしれんけど
gemma2 27Bの方が圧倒的にサクサク動く Claude3.5 sonnetって70Bであの性能なんだよな
そのうちローカル実行可能なモデルがsonnetの性能に追い付き追い越すようになったら
小説の世界でも人間は駆逐されるね >>581
こんなヤヴァイプロンプト、ローカル以外で使えるわけないやろ >>581
API料金が高いから
現状のAIビジネスが成功しないのはAPI料金が高すぎるんだよ >>583
大手のチャットログが個人情報と紐づいて流出したらとんでもないことになるやろうなｗ
絶対ハッカーグループは狙ってると思うわ APIはむしろ安くないか
ビジネス用途ならGPT-4oとか安すぎるくらいだ
ローカル使いたいのは検閲とかされたくないしNSFWなんでもアリなチャットしたいってのが大きい >>587
クソたけえよ
個人や企業内用途ならまだしも
不特定多数がアクセスして使わせるなら現状の価格では成り立たん ■ このスレッドは過去ログ倉庫に格納されています
