なんJLLM部 避難所 ★4
■ このスレッドは過去ログ倉庫に格納されています
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★3
https://mercury.bbspink.com/test/read.cgi/onatech/1717886234 AI用のアクセラレーターが出てくる未来は来ないのか？
手頃な値段でPCIe辺りにさせば動くやつ
さすがにVRAM目当てでグラボ何枚も買うのは非効率すぎる PCIe5でも32GT/sで16レーン使っても大まかに64GByte/sしか転送速度でないからx86のRAMと比較してもまるで足りないんだよ VRAMがお高いからどんなAIハードが出てもお高くなるで 実はgddr6って1gbあたり2ドルちょいで売られてるんだよな
6xとか7の値段がどれくらいかは知らんけど殿様商売だよこれ 部品の原価で語れる規模の製品じゃないよ…
食品なんかとは違うんだ 本当に殿様商売できるんなら
参入する企業も出るはずなのにそれがないってことはそういうことや 中国では実際規制やらgddr買えるやらで換装するシノギがある intelがかつて自分がryzenで多コアボッタクリ崩されたときみたいにVRAMの価格破壊せんかね いま価格com見たら4090が二店舗、50万近くするのね
ますますLLMローカルの裾野が狭くなっていく…… llmを個人でやる方が異端だし流行らんでしょ
非エロなら普通のサービス使えばいいんだし
エロチャットのために数十万のハード用意するのって正気じゃねえよな というか大手の規制なんて対策すればいいだけだしな
規制自体どんどん緩くなってきてるし、抜け穴もわざと残されてる感がある Command R ＋のネット利用に限界を感じたんでローカルLLM試してるけど文章は圧倒的にMagnumさんのがいいな
ただ、難しい指示はCommandR+より守れない
「調教モノのプロンプトの構築」と「文章を元にStable Diffusionで画像生成する」が現状の課題なんだけど、
まーじで命令無視してすぐ堕ちる magnum系統は割と即落ちな感じ
あとおま環かもしれないけど、fuck me, fill me, bread me みたいな言い回しを好むんだよね パラメータ数が似たようなレベルなら質と自由度は基本的にトレードオフだからな
極端な話シェイクスピアの文しか学習させなければシェイクスピアの文をそのまま出す最高質で最低自由度のAIになる >>812
ジェイルブレイクに対応できるほど追加学習で規制するとアホになる事が分かってやらなくなったのでは >>813
文章を元に画像生成っていうとあちらさんの>>33かな？
精神ゲージ的な数値管理でも無視される感じ？
一応、指示は英語の方が理解してもらいやすいから調教関係のプロンプトを英語化してみるとちょっと変わるかもしれん >>813
ある程度凝った遊び方は基本自分でアプリなりブラウザアプリなり作ればええと思うで！
一般的なローカルLLM用のアプリは会話履歴の全てや、要約＋直近の会話をプロンプトとして渡すから、コンテクスト内での堕ちに繋がる要素の占有率が高くなって大事なインストラクションの重みが軽くなっちゃうわけやろ？
尻タブなんかはリマインド入れたりもできるけど、それでもアカンならチャットのためのコンテクストと、画像出力のためのコンテクストを切り離して、画像出力コンテクスト側には最低限の情報しか渡さんようにすれば行けるとおもうで
ローカルではなく、GPT3.5turboとかの頃の話やが、パラメーターに関してはアプリ側で管理して、ターンごとにパラメーター（尿意、便意、所持金、空腹度）をプロンプトの最後にぶら下げて参照させる形でそこそこ楽しく遊べてたで〜 英語にしたらいい感じかも。ちょっと色々試してみる
使用する精神パラメータ：キャラクターに決められたそのシチュエーションで使いそうな精神パラメータの内、数値が一番高いものを選ぶ（誇りだの正義感だの）
本能パラメータの決定：基準を元にシチュエーション毎にどのような感情が相応しいか全ての状況パラメータの値を再決定し、その最も高い数値を選ぶ（恐怖だの苦痛だの快楽だの）
シチュエーション強度の決定：そのシチュエーションにおける行動選択の心理的抵抗の値を、基準を元に決定する（何もなし：0 親兄弟を殺す:100 とかで）
行動決定値： 使用する精神パラメータ - 決定した本能パラエータ + シチュエーション強度 = 行動決定値
行動決定値が0以上で精神パラメータの項目優先、0未満で本能パラメータ優先
みたいな感じにして、最後行動を評価して精神パラメータを変動させるプロンプトだったんだけど
これに上下させる基準だの、文中での表記の仕方だのを指定してるとプロンプトが長くなって複雑化して、AIが完遂を放棄するようになるんよね
本能パラメータをもっとシンプルに、複数項目にしてＡＩに一個数値ごと考えさせればいいのかもなぁーとか試行錯誤中 gemini 2.0が出たね
生徒会恋愛問題も英語ならlv2まで間違えなかったから4o並みか超えるぐらいの頭は持ってそう
いつgemmaになってローカルに下りてくるのかは知らん 尻タブでチャットしてると「…」「！」「？」の代わりに半角の「...」「!」「?」が使われて表示に時間がかかるんだけど
これって回避方法ある？ smooth streamingを切るかスライダーをFastへ動かす エロ絵生成AIに強く興味を持って自作グラボ板に入門相談したらここをロムしろと教わったので勉強させてもらいます
シンフォギアのエロＡＩ画像を自給したい ここはテキスト生成のスレだから画像生成はここじゃないよ マジかごめんなさい失礼しました
つうかテキストなんてジャンルもあるのかすげぇな毎秒ブレイクスルー起きるじゃん AI画像生成でシンフォギアのキャラ画像作って
そのキャラとAIテキスト生成でチャットするんじゃよ
VRAMいっぱいあるならAI音声も組み合わせられる
Aibis Projectの簡単音声モデル生成が稼働し始めたらシンフォギアの声優のAI音声も楽に作れるかもね 【StableDiffusion】AIｴﾛ画像情報交換51
https://mercury.bbspink.com/test/read.cgi/erocg/1733844871/
多分こっちかな
画像も文章も使うぜってタイプ結構いそうだけども だからガチで１レス毎に俺内レボリューション起こすのやめてくれｗｗ
公式から供給終わった私的神作のAIエロを見て激震が走ったのにそんなんまで出来たらチンチン摩擦で溶けちゃう 本当にありがとう何か身につくものがあったらこのスレにも恩返しするわ クリスちゃん大好きだからなんかいい感じの出力ができるLoRAとかSillyTavernと連携しやすい画像生成関連のなんかとか見つけたら共有してくれると嬉しいな
（LoRAはスレ違いになるだろうからアレだが・・・）
画像生成に関しては下記のwikiがおすすめ
（しばらく追ってないんだけど、今情報の共有ってどこでやってるんだろ）
https://wikiwiki.jp/sd_toshiaki/ >>813だけど、英文がいいんじゃないかってアドバイスを元にやってみたら割と通りやすいプロンプトできたのでマジで感謝
マグナムさんはこれ指示しても結構ご機嫌斜めなこと多いけど、Command R ＋なら結構動いていい具合に堕ちない
感謝
https://rentry.org/v427hg5w >>834
SBV2の作者曰く、中身はほぼSBV2だけど日本語処理とかで独自の改良が加わってるらしいね
はよsillyと連携出来るようにならんかな >>841
効果が出たならよかった
英語なら理解力はパラメータ数と量子化の少なさがモノを言うだろうからなあ
マグナムはマグナムでもv4且つMistralベースの123Bだとどうなるかなって思うところだが、流石にコレまともに動かせる人あまりいないよな・・・ CR+、APIの修整入ってsection出なくなった 自分は逆にJNVAからこっちに来たけど、
LLMに生成タグ吐かせたりComfyuiのワークフローにLlama3嚙ませたり、どっちも親和性高いんよな 最終的にローカルもマルチモーダルAIに何でも投げるようになるんじゃないかな
sillyが文章はkobold、音声はSBV2、画像はSDと連携してるように、投げられた処理を統合管理AIがどんな種類のモデルに振るか判断するみたいな 初心者だけどエロ文章が欲しくて、悪戦苦闘しながらようやくeasy novel assistantを入れられたわ。何も考えないでパソコンを見繕っちゃったせいでavx2のサポートしてないCPUにしちゃって、起動ごとになんかpresetsを弄ることになりそうだ CR+使ってエロチャットしてて、盛り上がると発狂して「あああああああ(以下、トークン上限まで続く) とか生成するんだけど謎だ CR+はhugging faceのしか使ったことないけど
あれだと温度設定も出来ないし繰り返し多いしであんまりチャット向きじゃないよね 現状で日本語エロチャットに向いてるモデルって何だろうな
個人的には上にも挙がってるHermes-3-Llama-3.1-70B-Uncensored.Q4_K_Sだけど、このサイズになってくると一つずつ試すのも難しいから情報が欲しい >>852
チャットならlcaニキの7bとか色々あるで
小説用途だとワイはmagnum v4 123b以上じゃないと満足出来ない身体になっちまったw くそう、123B動かせるおじさんめ！ここぞとばかりに自慢しやがって！！ >>852
チャットなら>>449とか>>79、magnum系じゃない
magnumはモデルサイズでかくないと日本語はそこそこだけど magnum13B使ってみたことあるけど確かに微妙だったな
123B試してみたいもんやで… ありがたい、とりあえず紹介してもらったの試してみる
エロチャットと書いたけど、小説風だったりTRPGだったりいろいろ試してみたいんよね 20〜40Bくらいのモデルがもっと増えてくれればいいんだけどねぇ Mistral-nemo-ja-rp-v0.2 は機械翻訳っぽかったけど、magnum v4 123bはいい感じの日本語
でもLlama-3.1-70Bと同じくらいの応答速度だからこれだけで遊ぶとなると待ち時間がえぐいね >>854
64Gあれば123bでも一応試せるで
ゲキ遅だがw
おすすめはiQ3_Mやで 7Bの色んなモデルで遊んでるけどなかなかノーブラという設定を理解してくれない
服を脱ぐときになぜかブラを着ていることになってブラも脱いでしまう
これは記述方法が悪いのかノーブラが難しいのかどっちなんだ 俺いつも「手を肩に」まで書いてそれ以降を生成して抱きしめるに誘導する書き方してんだけど、みんな完全ガチャしてるの？
ここで上がる評判のモデルだと大体思い通りに行くからモデルの差をあんま感じなくて >>862
その辺は概念ガバガバやね
何度も服着てるって言ってんのにおもむろにおちんちんジュッポジュッポしゃぶりだすし >>861
1カ月に一度くらいの頻度で80GBのGPU借りられて、そこでIQ3は試したことあるが、確かに凄かったんよな（遅さは言われたとおりだが！）
普段使いできるようになりたいぜ・・・
>>863
俺はチャット派だが、自分のセリフと行動と心情は自分で書いてるな
キャラのアクションもガチャって駄目なら書き換えるし自分で背景とかの情景描写とかも書くし、なんなら気が付いたらAIにキャラの行動の方向だけ決めて貰って文章ほぼ自分で書いてることもある・・・
なんか、自分が正しい日本語で文量多く書いてると、AIも日本語的なミスとか少なくなる気がするんよな m4 maxのメモリ最大ていくらまでいけるの？
x64とgpuより良い？ パソコンなんででかいだけスマホで全部できるじゃんって言ってたじゃん 成人向け文章読ませてタグ付けさせて画像生成プロンプト出させてみてるけど、
軽くてNGない丁度いいバランスだったのは今のところmistral-nemoだった
もっといいのあったらごめんだけど https://huggingface.co/matteogeniaccio/phi-4
phi-4を落としたものがhfに上がってたので共有
試した感じ日本語も自然で生徒会恋愛問題も英語でlv1は解けたりしたからgemma2 27b以上の性能はありそう
規制自体はそこまで強くないけどあんまりエロはあんまり学習してなさげだった >>864
上手くいかない部分なのか
難しいもんやね Ollamaで文章読ませて「このシチュエーションに合ってるタグ選べ」ってやってるんだけど
Command-r-plusだとうちのPCじゃ遅すぎてmistral-nemoじゃ正確性が無さすぎる
Ollamaで動くR18全般OKの賢くて軽いAIなんかねーかなぁ とんでもないガチロリドエロ文章書かせてる
3090単体で。 スリッパとかxeonでオクタチャネル組んだ理論値は使えそうなイメージやけど実行速度どんなもんやろか phi-4賢いけどやっぱり「1.9と1.11はどっちが大きいか」には自信満々に1.11って応えるなぁ いやでもphi-4賢いわ。お堅い話題とか真面目な議論をするとすげー賢いっていうか、洞察が深い感じがする phi-4ってkoboldcppで動く？
空白の返答しかしてこない 100%盛り上がらない
胸糞案件だけど割高緑から脱却するのは当分先 >>882
259$で4070相当のAI性能だからお買い得ではあるんだけどVRAM12GBだからLLMには貧弱すぎる ドルでは安いけど日本円では高いので値段で優位はない
AI向けのハード支援がイケてたら画像生成ではワンチャンあるかもね(まあどうせcuda大正義だし期待薄)
ぐらいかな
現状だと何でもかんでも大げさに言うアカン感じの人達がコスパコスパ喚いてて
それに乗せられて手を出すと馬鹿を見る製品に見えるが サムスンがVRAM1.5倍のGDDR7作ったんやろ？
それが採用されるであろう50xx後半か60xxで一気に快適になるんとちゃうか 待ってたら安価なLLM用NPUがでてくるでしょ
高価なNVIDIAのグラボなんて今買う必要は無い >>879
これ、アプリのバージョンとかだと1.11はメジャーバージョン1のマイナーバージョン11って意味だからそっちで捉えるなら正しいんだよな・・・ >>888
普通は1.01〜1.09の次が1.10で1.11みたいにマイナーバージョンを2桁持つんだけど
たまにそこまで刻むことを考えずにバージョン切ったせいで1.1〜1.9まで行っちゃったけど2.0にするほど大きな変更じゃねえな…ってなったら1.10にするケースあるよね
1.9a fix2とかさらに刻んで刻んでする場合もあるけど 学習せんなら推論専用のNPUボードがあればええってのはそれはそうだろうけど
AIバブル続く限り下に流れてこない終わったらどこも作らんで
しょーもねえ性能のNPUがsocの一部として埋まることはあっても
ご家庭のPCIにぶっ刺して使うようなもんは個人向けにはたぶん売られん 小数点問題はiClで小数ルールを教えれば克服するのでどうでもいいんじゃね？ c4r7bって、cr+の投機的デコードのドラフトモデルに使えないん？ >>894
アーキテクチャが違うので多分無理じゃないかな >>892
LLM用途でGPUなんか現状でも個人で買えんよ ハードウエアの進化が全然追いついてないから待つしかない ■ このスレッドは過去ログ倉庫に格納されています
