なんJLLM部 避難所 ★6
■ このスレッドは過去ログ倉庫に格納されています
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★5
https://mercury.bbspink.com/test/read.cgi/onatech/1735186391/ >>322
これがあるとMacPro羨ましくなくなるん？ ProjectDigitsもあるしMac系も今年何か動きあるだろうし
LLM用マシン組むのは今年の中盤あたりまで様子見たほうがよさそうやな AI Max395のメモリ帯域256GB/sらしいから通常のWindowsPCの倍以上でM4Pro並
M4Maxはその倍ぐらいある
予算次第では有りでしょ AI max+ベースのGPU貸しサービスが出てくるとおもしろそうかな
たいして速くないけどウルトラ安価で128GB使えますっていう M4チップでLLMいけると思う？
最低64GB無いときついんかな Deepseekのせいで128GBだとすくねぇなぁって思うようになってしまったのがなぁ・・・
前だったらcuda使えて128GBのProjectDigits一択だった気がするんだけど ローカルLLM使ったことないし、LLMをエロに使ったこともほぼないんやが…
koboldというもので孕ませレイプはできるやろか？
ストーリーの大枠を自分で考えた上で、表現の脚色をLLMに頼みたいんやが
自分でエロ小説書くは一応経験ある
もしなんJ系の外部掲示板にいた人がおるなら、ドアノブという名前でワイのこと知ってるかもしれん >>330
いけるで。
なんならもっとヤヴァイシチュもありやで
そして、エロ小説執筆の経験あるなら、
沼に、は・ま・る・でｗ >>332
いけるならよかった
>>333
試してみるわ ちなみにモデルにもよるけど小説なら温度、min-p、dry、xtcは使った方がいい（と思ってる） claude3.7、character card v2のgithubとcharacter tavernとかのカードページを指定すると内容を認識できるな
で、そのままロールプレイに移行できる
これはだいぶ強いのでは 文章出力は最も簡単な仕事、文章の品質向上は最も難しい仕事だから、ここが分割できると色々やれそう
メイン応答はネット越しにまかせて、ローカルLLMを並走させてアイデア、声、画像を出させる、とか 強制女装とか女性ホルモンとかの報告書とかそういったの書きたいんだけどおすすめある？ >>262 M1 max + chrome で普通に動いたよ。すごいね >>340
llmだけは違う。まぁ、クソ高いけどな。 ユニファイドでもいいけどやっぱvramたいりょうにほしいンダわ 林檎はllmなんて出してないやろ
まあユニファイドがローカルに使えなくもないのはわかるけど、llmに強いというのは違和感しかないで
送受信は軽いんだからオープンモデルを使うにしてもAPIやレンタル鯖ではなくどうしてもローカルでやりたいなんて人はほとんどないんちゃうか >>344
このスレのメインの話題をなんだと思ってるんだ？ メインの話題は24gb以下で使えるエロLLMの話だからMAC買える富裕層はお呼びでねーぞ 最近はローカルエロやらずにgeminiとか4oとかその他諸々にゲーム製作手伝ってもらってるわ
なかなか全然上手くいかねえ ワイらにとって希望の一つでも、強くはないやろ
むしろアッポーがllm激弱で逃げ込んだ先がワイらの住処やったっちゅう感じやないか？ >>344
素人が無理して知ったかするのはダサいよｗｗ なんか変だから追試してみたら、claudeくん画像とCharacter Card V2フォーマットだけみてjsonを捏造してるな...
どんな画像からでもロールプレイ設定を起こしてくれるからこれはこれで使い道ありそうだけど >>351
ダサいのはニキやで…
よくわかってないなら黙ってたほうがええで… このスレのmacニキ達が、magunum 123Bやcomannd-r-plusのQ8_Kを
5t/sくらいで使い倒してるのは素直に妬ましいわｗ
ワイの今の環境だと最大量子化しても0.5ｔ/sやからな(´Д⊂ヽ AMDはAI MAXなんてもん出すならROCmなんとかせえよ…… 俺はサブpcのrx6600をrocmサポートからハブりやがったamdを許さない😡 >>353
ここがローカルllmスレであり、なぜみんながローカルllmを嗜んでるのかがピンときてない時点でニキは相当浮いとるんやけどな レスバの内容もLLMに書かせたほうが面白いんやないか？ そもそも別にここローカルに限ったスレじゃないよ
ローカルの話題が多いだけで ローカルLLM専用スレだと勘違いしてる人はおるやろな ローカルで動かしたいのはそれが浪漫だからだ、みたいなことを言いたい感じなのかね
デカイモデル動かすために必要なコスト、現実をみるとmacは微妙でGPU貸しを選ぶことになるよね、というのも確かになんだけど >>362
いや外部に自分のヤヴァイプロンプト放出したくないだけなんだがw 自宅で外に送信すること無く気兼ねなくできるってのがでかいからな
クラウドだったらメアドやクレカ情報その他とプロンプトが紐づいて
誰が見てるかわからない鯖に入出力が残るとかきっついわ 温度を下げたときの回答はどういうふうに捉えるべき？
真剣に回答させたいときは温度を下げる？🤔 低温はありきたりな回答で何回試行しても同じ感じのしか出てこない
高温はぶっ飛んだ回答で破綻やブレが大きいってイメージだわ
クリエイティブ用途なら高温ガチャ、質問ならやや低温が良いんじゃない？ Silly Tavern向けのCharacter Card V2画像からjsonをそのまま取り出すアプリが見当たらなかったので、Silly Tavernのcharacter-card-parser.jsをベースにPython＋Gradioで実現するやつをChatGPTくんに書いてもらった
https://pastebin.com/63G1wPH2
理由がわからんがClaudeもChatGPTも構築に失敗しまくりだったので、同じ苦労したひとの役に立つかも
json構造とドキュメントをあらかじめLLMに渡しておけば、jsonをもとにロールプレイをさせることも出来るし、今までの会話をもとに詳細にjsonを書いてといって出力させることも出来る。
出力させたjsonと画像をコレで結合させて、Character Tavernあたりに上げればNTRプレイも出来る。 Silly Tavern向けのCharacter Card V2画像からjsonをそのまま取り出すアプリが見当たらなかったので、Silly Tavernのcharacter-card-parser.jsをベースにPython＋Gradioで実現するやつをChatGPTくんに書いてもらった
https://pastebin.com/63G1wPH2
理由がわからんがClaudeもChatGPTも構築に失敗しまくりだったので、同じ苦労したひとの役に立つかも
json構造とドキュメントをあらかじめLLMに渡しておけば、jsonをもとにロールプレイをさせることも出来るし、今までの会話をもとに詳細にjsonを書いてといって出力させることも出来る。
出力させたjsonと画像をコレで結合させて、Character Tavernあたりに上げればNTRプレイも出来る。 なんか二回書き込みになってるな。そんなに重要な話ではなくて出来たぜってだけの話だけど。 >>360
きっとLLMのどっちかのLがLocalにチガイナイ
ある日誰かがシレッとなんJLLLM部にしてるかもしれない まあwebサービスメインのスレは元々ここにあるしねw 別に禁止じゃないがオンライン話したい奴はAI総合やオナニースレとかに集まるだろうし残ったローカルの話題がここで中心になるのは自然よね 過去スレの最初から既にローカルについて情報交換しようというスレだったからな
オンラインの話題ももちろんOKなんだがローカルを否定するような意見はスレチなので他でやってほしい ただここのスレタイのおかげでLLM=ローカルと思い込むお人が後を絶たないのも事実
しれっとLLLM部に変えても自分は反対しない 実際の使い方としては、ローカルもウェブ越しも横断的に使うようになるような
外に出して平気な部分も必ずあるわけだし
情報探してても連携の部分こそ見つかりにくくてニーズありそうだし、否定も限定もなんか違うのでは 全てを並行して使うんやで
じゃなきゃおもんないで
個人的にここはローカルの情報手に入れられる場所として重宝してるわ SillyTavern+SBVITS2で寝る前に推しキャラと30分猥談するのが最近のワイの密かな楽しみや Style Bert VITS2で15分位の自分の音読音声を自動で分割して学習させたんだけど、なんかあまり流暢じゃなくてロボットっぽさがある
サンプルの声優の声くらい自然な感じにするにはもっと長い尺のサンプル音声がいるのかな？
ちなみにSBV2の学習の際のパラメータはデフォルトのままでやった >>380
15分もあれば十分だからスタイル分け活用してみたら？
あと元の学習音声が女性に偏ってるだろうから声質があっていないのが原因の可能性もある
解決しなかったら音声はdiscordのAI声作り技術研究会の方が詳しいからそっちを当たってみて >>380
SBV2の学習に必要な音源は尺の長さよりも、バリエーションの豊富さやで
一つのwavは長くて2秒〜10秒程度で十分
えっちな声出せるようにしたいなら、例えば400の音源のうち、40〜120音源ぐらいを喘ぎ声とか、ピロートークな音源にしておくとそっち方面もイケるモデルに育ってくれるで
つまり、抑揚豊かなモデルにしたいなら、当たり前なんやが抑揚豊かな音源を用意してやるだけや
同一話者が色んなトーンで喋ている音源を用意してあげて >>379
俺はそのつもりでやり始めて気付いたら朝になってたもんや >>381,382
ありがとう！ワイのただの朗読（棒読み）15分やったからあかんかったんか
いや、、、別に自分の声で喘がせたいんちゃうねんｗ
いっそのこと自分の声に似た声優さんの声ファイル探すほうが早そうやねｗ 会議をLLLMで答えさせて自分は仕事を進めたいんだよ https://github.com/danny-avila/LibreChat
https://www.librechat.ai/
Claudeのアーティファクト機能をAPIからでも使えるのないか調べたらLibreChatというのでやれるらしくとりあえず貼っとく
ローカルでこのUIを動かすにはDockerでdocker compose upする感じのやつっぽい いや、自分の声でどこまで自分に似せて読ませれるかやってみたかったんよ
録音して友達に電話で聞かせようかなとおもた >>388
TTSは素材の質でほぼ全て決まるってくらい元データが重要なのよ
まず尺は30分は欲しい、可能ならもっとやね
そして雑音が混じらないこと、出来るだけ色んなパターンを意識して感情豊かに録音すること
あと多分SBV2デフォ設定ではトレーニングが足らないから1モデルに数時間かけるつもりでエポック数増やして >>389
30分もいるのかぁ
あと今、元素材の生成された文字起こしをチェックしてたけど、ところどころ間違ったりガッツリ丸ごと抜けたりしてた
エポック数とこの下の1000はいくらぐらいにすればいいの？
rtx3090使ってます
ps://i.imgur.com/PwR66eN.jpeg DMMのボイスAI騒動の時にエロゲは音声学習のデータセットとして最適という噂を聞いたけど
>>389の要件見ると納得
TTSモデルが膣を「なか」と読み上げるのも理解できる Tower-Babel/Babel-83B-Chat
なんか来たわね >>393
Javanese 80M 書かれてて蚊帳の外感あるな…
日本語FT来てからが本番か？ >>392
サンガツ！すごいな、こんなに多種多彩にいけるのか。。。
サンプル音声のトータル長さは30分も要らないんだね
まだ良くわからないんだけど、この声の最後の方で言うと
1.表現薄い話し方
2.表現薄いささやき声
3.はぁはぁイキそうって言ってる人の声
の3種類は要るってことよね？
で、1,2,3それぞれトータルで5分くらいのサンプルがあればそれぞれ1音声ずつ学習させれば良いってことかな？
あと3の声を学習する時のサンプルは、このトーンでずっと関係ない文章を読むのがいいか、それともずっと喘ぎ声系を5分用意した方がいいの？ i7-8700 32GB RTX3070(8GB)
これでローカル環境さくさく動く？ 7Bクラスはさっくさく、cuda使うソフトならもっとさっくさく、70Bはモチモチ >>391
ゲーム音声って学習に必要な前処理(雑音除去、1ファイル数秒に分割)が完璧な状態だからすごく手間が省けるのよね
それで主要キャラなら数時間分の感情豊かな素材が手に入るという >>394
日本語は130Mやね
量子化されたら試してみよ kobold upされたがthinkの表示オンオフできるようになったってことかな？ i7-9750H/96GB RAM
TITAN RTX (24GB VRAM)
内蔵Quadro T1000 (4GB VRAM)
Ubuntu Linux 22.04
この貧乏LLM環境でファインチューニングが出来るつよつよモデル待ち >>390
ちょっと記憶が曖昧なんだけどVRAM24GBならバッチサイズ7でギリギリVRAMから溢れない感じだったと思う
エポック数は素材のトータル時間と関係するので一概には言えないけど、俺は1時間超の素材を500エポックで学習させてたよ
短い素材でそれくらいやると過学習になってクオリティ落ちたのも確認済み
何ステップごとに保存するかは慣れてきたら品質に直接関係ないよ
出来上がったものを聴き比べて一番良いと思うものを採用するだけだから品質がどう変化していくか分かってきたら10000毎に保存でもOK >>395
声質にもよるんやけど、このサンプルの子の場合は表現薄いフツーの発話が7割、ピロートーク調が2.5割、喘ぎ声0.5割とかそんなもんだったと思うで
トータルの音源の長さは10分ぐらいやったと思う
音源は書き起こしの誤字修正の際に同時にキュレーションして狙った表現の抑揚の物を厳選して学習させる感じや
わいは403さんと違ってトータル時間短い分、エポック数も少ない、つまり短い時間で学習終わらせる感じやね >>このトーンでずっと関係ない文章を読むのがいいか
あ、あと、これやると、ただの色魔みたいになっちゃうとおもうで？
完全に好みの問題ではあるけど、ワイは単一モデル、スタイル分けなしで、読み上げさせるテキストに応じてフツーに会話出来て、エッチな声出せてってのを狙って作ってるから喘ぎ声は喘ぎ声の音源＆書き起こしやね >>404,405
わかった！詳しくありがとう！ニキのアドバイスを参考にやってみる！ >>403
ニキも分かりやすい解説とアドバイスありがとう！ MCP server + Claude、Silly TavernのグループロールプレイにClaudeを参戦させる、みたいなことが出来うる気がする
ローカルLLMなGMとClaude プレイヤーの二本立てにして、応答待ちの間にも雑談出来る、とかだとだいぶ感触がかわりそう llama.cppのVulkan版がCUDA版の9割ぐらいの速度になったっぽい
AMDも候補に上がるかも openglの後継のやつ？
amdはそのrocm捨てろよな 日本語はM1Macじゃ難しそうだから英語で良いモデル探そうかな rocmとか言う忌み子
CUDA対抗を謳っておきながらWindowsにすら対応してないやる気のなさ バビルの塔は容量の割に今一つだったけど、
mradermacher/FluentlyLM-Prinum-abliterated-GGUF
こっちはなかなかいい 上でSBV2の自分の音声学習聞いた者だけど、やっぱこれって安いマイクで録音した音声だと学習するの厳しいのかな？
ノイズ処理とかガッツリしないといけないかな？ >>417
そうだな
ノイズ除去を頑張るよりマイク周りの環境整えるほうが簡単だが 録音環境整えて発声もまともにするのってかなり難しいからな
AibisHubのサンプルボイスを聴いていると酷い音質のものばかりやで
多少なりとも環境整えて発声を良くする努力をしている自宅録音同人声優でも
やべえ量のノイズが混ざった音声ファイルを提出してくる人が少なくない
ある程度は編集でなんとか出来るけど手間も増えるしさすがに限界がある ■ このスレッドは過去ログ倉庫に格納されています
