なんJLLM部 避難所 ★6
■ このスレッドは過去ログ倉庫に格納されています
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★5
https://mercury.bbspink.com/test/read.cgi/onatech/1735186391/ >>29
R1 UD-Q2_K_XLはどうでした？
苦労して試したのにアホの子だったんで😭 >>295
286だけど無料枠が2時間10回に対してPremiumだと2時間50回らしいよ
ただPremiumのプランには制限緩和って書いてるだけなのでそのうち減るかも VRAM24GBて日本に所有者が何人いてそのうち何人がローカルLLMやってるのやら 正直24Gじゃ足りん
ユニファイドメモリ512Gはよ 24GB（3090・4090）は結構いると思うけどね
LLMやってるかはわからないけど Mistral-Small-24B-Instruct-2501-abliteratedが良すぎてもうローカルでええわってなってきてる
bakenekoとrakutenも試してみるか deepseek-r1:671b Q4_K_M動いたけどおっっっそ😭 16GBの人はかなり居るわけだから、次はココがメインになりそう
Mistal 24bなら用途によっては実用レベルになるしね
GPUの値上がりとAPI料金、GPU貸し料金の値下がりが同時進行してるから、 24bより上のものが欲しい人はネット越しの利用がメインになりそう >>304
空が青いのはなぜ？ていう質問にはちゃんと答えてくれたよ RTX3090 中古で10万だしまぁ割とアリかなと思ってるうちに1年ぐらい経ってしまった FrameworkのRyzen AI Max+ 395 128GB デスクトップ マザーボードが1,699.00ドルか
出荷が第3四半期だから最短でも10月以降って事かな？ >>294
LM StudioかSilly Tavernのどっちかにバグがあると思うから報告してみるのがいいよ
モデルによってバグが発生するかどうかが変わる場合もある
コンソール見てLMか尻タブのどっちか片方の出力だけが欠けてるとか
コンソールでは正常なのにGUI上では欠けてるとかならバグで間違いない
あと尻タブはときどきぶっ壊れて出力がおかしくなるからその場合は再インストールで直る https://claude.site/artifacts/423c99f1-3d8b-4289-bfb8-107e2d808bc5
Claude3.7のコーディングが凄いと評判だったからパックマンつくってみたやで
最初はええな！ってなったが、いくつか自然言語のやり取りでは解決できん部分が出てきて、最終的にはGrock3にぶん投げて解決や
結論としてワイ的にはGrock3すげぇ、やな
後半Claude3.７の方は単なるHTMLプレイヤーと成り下がってたで
もうちょい作り込みたかったんやが、それっぽいのでヨシのココロや Show Contentsをクリック、ゲーム開始をクリックであとはキーボードの矢印で上下左右でいけんか？ >>314
わざわざ手間かけて恐縮なので、もうちょっとだけ作りこむわ…
ちょいまっててな 結局長文のエロ小説書かせるならどのモデルがいいの？ >>306
ワイは一昨日リース落ちのTITAN RTX(24GB)を8万ちょいで拾ってローカルLLMデビューしたで
70Bがギリギリ動いてる https://claude.site/artifacts/2f1da37e-d0fe-431c-a1db-cdd0f4b5c928
せっかくなのでワープゾーンとかゴーストのディレイスタートとかも実装したで！
これはもうパックマンやろ...
改良もここまでにしてERPに戻って貝になるで >>322
これがあるとMacPro羨ましくなくなるん？ ProjectDigitsもあるしMac系も今年何か動きあるだろうし
LLM用マシン組むのは今年の中盤あたりまで様子見たほうがよさそうやな AI Max395のメモリ帯域256GB/sらしいから通常のWindowsPCの倍以上でM4Pro並
M4Maxはその倍ぐらいある
予算次第では有りでしょ AI max+ベースのGPU貸しサービスが出てくるとおもしろそうかな
たいして速くないけどウルトラ安価で128GB使えますっていう M4チップでLLMいけると思う？
最低64GB無いときついんかな Deepseekのせいで128GBだとすくねぇなぁって思うようになってしまったのがなぁ・・・
前だったらcuda使えて128GBのProjectDigits一択だった気がするんだけど ローカルLLM使ったことないし、LLMをエロに使ったこともほぼないんやが…
koboldというもので孕ませレイプはできるやろか？
ストーリーの大枠を自分で考えた上で、表現の脚色をLLMに頼みたいんやが
自分でエロ小説書くは一応経験ある
もしなんJ系の外部掲示板にいた人がおるなら、ドアノブという名前でワイのこと知ってるかもしれん >>330
いけるで。
なんならもっとヤヴァイシチュもありやで
そして、エロ小説執筆の経験あるなら、
沼に、は・ま・る・でｗ >>332
いけるならよかった
>>333
試してみるわ ちなみにモデルにもよるけど小説なら温度、min-p、dry、xtcは使った方がいい（と思ってる） claude3.7、character card v2のgithubとcharacter tavernとかのカードページを指定すると内容を認識できるな
で、そのままロールプレイに移行できる
これはだいぶ強いのでは 文章出力は最も簡単な仕事、文章の品質向上は最も難しい仕事だから、ここが分割できると色々やれそう
メイン応答はネット越しにまかせて、ローカルLLMを並走させてアイデア、声、画像を出させる、とか 強制女装とか女性ホルモンとかの報告書とかそういったの書きたいんだけどおすすめある？ >>262 M1 max + chrome で普通に動いたよ。すごいね >>340
llmだけは違う。まぁ、クソ高いけどな。 ユニファイドでもいいけどやっぱvramたいりょうにほしいンダわ 林檎はllmなんて出してないやろ
まあユニファイドがローカルに使えなくもないのはわかるけど、llmに強いというのは違和感しかないで
送受信は軽いんだからオープンモデルを使うにしてもAPIやレンタル鯖ではなくどうしてもローカルでやりたいなんて人はほとんどないんちゃうか >>344
このスレのメインの話題をなんだと思ってるんだ？ メインの話題は24gb以下で使えるエロLLMの話だからMAC買える富裕層はお呼びでねーぞ 最近はローカルエロやらずにgeminiとか4oとかその他諸々にゲーム製作手伝ってもらってるわ
なかなか全然上手くいかねえ ワイらにとって希望の一つでも、強くはないやろ
むしろアッポーがllm激弱で逃げ込んだ先がワイらの住処やったっちゅう感じやないか？ >>344
素人が無理して知ったかするのはダサいよｗｗ なんか変だから追試してみたら、claudeくん画像とCharacter Card V2フォーマットだけみてjsonを捏造してるな...
どんな画像からでもロールプレイ設定を起こしてくれるからこれはこれで使い道ありそうだけど >>351
ダサいのはニキやで…
よくわかってないなら黙ってたほうがええで… このスレのmacニキ達が、magunum 123Bやcomannd-r-plusのQ8_Kを
5t/sくらいで使い倒してるのは素直に妬ましいわｗ
ワイの今の環境だと最大量子化しても0.5ｔ/sやからな(´Д⊂ヽ AMDはAI MAXなんてもん出すならROCmなんとかせえよ…… 俺はサブpcのrx6600をrocmサポートからハブりやがったamdを許さない😡 >>353
ここがローカルllmスレであり、なぜみんながローカルllmを嗜んでるのかがピンときてない時点でニキは相当浮いとるんやけどな レスバの内容もLLMに書かせたほうが面白いんやないか？ そもそも別にここローカルに限ったスレじゃないよ
ローカルの話題が多いだけで ローカルLLM専用スレだと勘違いしてる人はおるやろな ローカルで動かしたいのはそれが浪漫だからだ、みたいなことを言いたい感じなのかね
デカイモデル動かすために必要なコスト、現実をみるとmacは微妙でGPU貸しを選ぶことになるよね、というのも確かになんだけど >>362
いや外部に自分のヤヴァイプロンプト放出したくないだけなんだがw 自宅で外に送信すること無く気兼ねなくできるってのがでかいからな
クラウドだったらメアドやクレカ情報その他とプロンプトが紐づいて
誰が見てるかわからない鯖に入出力が残るとかきっついわ 温度を下げたときの回答はどういうふうに捉えるべき？
真剣に回答させたいときは温度を下げる？🤔 低温はありきたりな回答で何回試行しても同じ感じのしか出てこない
高温はぶっ飛んだ回答で破綻やブレが大きいってイメージだわ
クリエイティブ用途なら高温ガチャ、質問ならやや低温が良いんじゃない？ Silly Tavern向けのCharacter Card V2画像からjsonをそのまま取り出すアプリが見当たらなかったので、Silly Tavernのcharacter-card-parser.jsをベースにPython＋Gradioで実現するやつをChatGPTくんに書いてもらった
https://pastebin.com/63G1wPH2
理由がわからんがClaudeもChatGPTも構築に失敗しまくりだったので、同じ苦労したひとの役に立つかも
json構造とドキュメントをあらかじめLLMに渡しておけば、jsonをもとにロールプレイをさせることも出来るし、今までの会話をもとに詳細にjsonを書いてといって出力させることも出来る。
出力させたjsonと画像をコレで結合させて、Character Tavernあたりに上げればNTRプレイも出来る。 Silly Tavern向けのCharacter Card V2画像からjsonをそのまま取り出すアプリが見当たらなかったので、Silly Tavernのcharacter-card-parser.jsをベースにPython＋Gradioで実現するやつをChatGPTくんに書いてもらった
https://pastebin.com/63G1wPH2
理由がわからんがClaudeもChatGPTも構築に失敗しまくりだったので、同じ苦労したひとの役に立つかも
json構造とドキュメントをあらかじめLLMに渡しておけば、jsonをもとにロールプレイをさせることも出来るし、今までの会話をもとに詳細にjsonを書いてといって出力させることも出来る。
出力させたjsonと画像をコレで結合させて、Character Tavernあたりに上げればNTRプレイも出来る。 なんか二回書き込みになってるな。そんなに重要な話ではなくて出来たぜってだけの話だけど。 >>360
きっとLLMのどっちかのLがLocalにチガイナイ
ある日誰かがシレッとなんJLLLM部にしてるかもしれない まあwebサービスメインのスレは元々ここにあるしねw 別に禁止じゃないがオンライン話したい奴はAI総合やオナニースレとかに集まるだろうし残ったローカルの話題がここで中心になるのは自然よね 過去スレの最初から既にローカルについて情報交換しようというスレだったからな
オンラインの話題ももちろんOKなんだがローカルを否定するような意見はスレチなので他でやってほしい ただここのスレタイのおかげでLLM=ローカルと思い込むお人が後を絶たないのも事実
しれっとLLLM部に変えても自分は反対しない 実際の使い方としては、ローカルもウェブ越しも横断的に使うようになるような
外に出して平気な部分も必ずあるわけだし
情報探してても連携の部分こそ見つかりにくくてニーズありそうだし、否定も限定もなんか違うのでは 全てを並行して使うんやで
じゃなきゃおもんないで
個人的にここはローカルの情報手に入れられる場所として重宝してるわ SillyTavern+SBVITS2で寝る前に推しキャラと30分猥談するのが最近のワイの密かな楽しみや Style Bert VITS2で15分位の自分の音読音声を自動で分割して学習させたんだけど、なんかあまり流暢じゃなくてロボットっぽさがある
サンプルの声優の声くらい自然な感じにするにはもっと長い尺のサンプル音声がいるのかな？
ちなみにSBV2の学習の際のパラメータはデフォルトのままでやった >>380
15分もあれば十分だからスタイル分け活用してみたら？
あと元の学習音声が女性に偏ってるだろうから声質があっていないのが原因の可能性もある
解決しなかったら音声はdiscordのAI声作り技術研究会の方が詳しいからそっちを当たってみて >>380
SBV2の学習に必要な音源は尺の長さよりも、バリエーションの豊富さやで
一つのwavは長くて2秒〜10秒程度で十分
えっちな声出せるようにしたいなら、例えば400の音源のうち、40〜120音源ぐらいを喘ぎ声とか、ピロートークな音源にしておくとそっち方面もイケるモデルに育ってくれるで
つまり、抑揚豊かなモデルにしたいなら、当たり前なんやが抑揚豊かな音源を用意してやるだけや
同一話者が色んなトーンで喋ている音源を用意してあげて >>379
俺はそのつもりでやり始めて気付いたら朝になってたもんや >>381,382
ありがとう！ワイのただの朗読（棒読み）15分やったからあかんかったんか
いや、、、別に自分の声で喘がせたいんちゃうねんｗ
いっそのこと自分の声に似た声優さんの声ファイル探すほうが早そうやねｗ 会議をLLLMで答えさせて自分は仕事を進めたいんだよ https://github.com/danny-avila/LibreChat
https://www.librechat.ai/
Claudeのアーティファクト機能をAPIからでも使えるのないか調べたらLibreChatというのでやれるらしくとりあえず貼っとく
ローカルでこのUIを動かすにはDockerでdocker compose upする感じのやつっぽい いや、自分の声でどこまで自分に似せて読ませれるかやってみたかったんよ
録音して友達に電話で聞かせようかなとおもた >>388
TTSは素材の質でほぼ全て決まるってくらい元データが重要なのよ
まず尺は30分は欲しい、可能ならもっとやね
そして雑音が混じらないこと、出来るだけ色んなパターンを意識して感情豊かに録音すること
あと多分SBV2デフォ設定ではトレーニングが足らないから1モデルに数時間かけるつもりでエポック数増やして >>389
30分もいるのかぁ
あと今、元素材の生成された文字起こしをチェックしてたけど、ところどころ間違ったりガッツリ丸ごと抜けたりしてた
エポック数とこの下の1000はいくらぐらいにすればいいの？
rtx3090使ってます
ps://i.imgur.com/PwR66eN.jpeg DMMのボイスAI騒動の時にエロゲは音声学習のデータセットとして最適という噂を聞いたけど
>>389の要件見ると納得
TTSモデルが膣を「なか」と読み上げるのも理解できる Tower-Babel/Babel-83B-Chat
なんか来たわね >>393
Javanese 80M 書かれてて蚊帳の外感あるな…
日本語FT来てからが本番か？ >>392
サンガツ！すごいな、こんなに多種多彩にいけるのか。。。
サンプル音声のトータル長さは30分も要らないんだね
まだ良くわからないんだけど、この声の最後の方で言うと
1.表現薄い話し方
2.表現薄いささやき声
3.はぁはぁイキそうって言ってる人の声
の3種類は要るってことよね？
で、1,2,3それぞれトータルで5分くらいのサンプルがあればそれぞれ1音声ずつ学習させれば良いってことかな？
あと3の声を学習する時のサンプルは、このトーンでずっと関係ない文章を読むのがいいか、それともずっと喘ぎ声系を5分用意した方がいいの？ ■ このスレッドは過去ログ倉庫に格納されています
