なんJLLM部 避難所 ★4
レス数が900を超えています。1000を超えると表示できなくなるよ。
0001名無しさん@ピンキー2024/09/10(火) 10:19:11.43ID:Z1PzH55u
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC(できれば+3060 12GB以上)でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降

本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★3
https://mercury.bbspink.com/test/read.cgi/onatech/1717886234
0829名無しさん@ピンキー2024/12/12(木) 08:35:10.74ID:fFmnshq4
>>827
サンクス
テンポ良くなった気がする
0830名無しさん@ピンキー2024/12/12(木) 10:25:24.25ID:???
エロ絵生成AIに強く興味を持って自作グラボ板に入門相談したらここをロムしろと教わったので勉強させてもらいます
シンフォギアのエロAI画像を自給したい
0831名無しさん@ピンキー2024/12/12(木) 10:29:10.69ID:???
ここはテキスト生成のスレだから画像生成はここじゃないよ
0832名無しさん@ピンキー2024/12/12(木) 10:30:28.48ID:???
マジかごめんなさい失礼しました
つうかテキストなんてジャンルもあるのかすげぇな毎秒ブレイクスルー起きるじゃん
0834名無しさん@ピンキー2024/12/12(木) 10:36:30.21ID:fFmnshq4
AI画像生成でシンフォギアのキャラ画像作って
そのキャラとAIテキスト生成でチャットするんじゃよ
VRAMいっぱいあるならAI音声も組み合わせられる

Aibis Projectの簡単音声モデル生成が稼働し始めたらシンフォギアの声優のAI音声も楽に作れるかもね
0836名無しさん@ピンキー2024/12/12(木) 10:43:50.34ID:???
だからガチで1レス毎に俺内レボリューション起こすのやめてくれww
公式から供給終わった私的神作のAIエロを見て激震が走ったのにそんなんまで出来たらチンチン摩擦で溶けちゃう
0837名無しさん@ピンキー2024/12/12(木) 10:44:27.92ID:???
本当にありがとう何か身につくものがあったらこのスレにも恩返しするわ
0839名無しさん@ピンキー2024/12/12(木) 11:03:17.77ID:Q6+kAFCh
クリスちゃん大好きだからなんかいい感じの出力ができるLoRAとかSillyTavernと連携しやすい画像生成関連のなんかとか見つけたら共有してくれると嬉しいな
(LoRAはスレ違いになるだろうからアレだが・・・)

画像生成に関しては下記のwikiがおすすめ
(しばらく追ってないんだけど、今情報の共有ってどこでやってるんだろ)
https://wikiwiki.jp/sd_toshiaki/
0841名無しさん@ピンキー2024/12/12(木) 11:13:37.24ID:???
>>813だけど、英文がいいんじゃないかってアドバイスを元にやってみたら割と通りやすいプロンプトできたのでマジで感謝
マグナムさんはこれ指示しても結構ご機嫌斜めなこと多いけど、Command R +なら結構動いていい具合に堕ちない
感謝

https://rentry.org/v427hg5w
0842名無しさん@ピンキー2024/12/12(木) 11:46:22.94ID:???
>>834
SBV2の作者曰く、中身はほぼSBV2だけど日本語処理とかで独自の改良が加わってるらしいね
はよsillyと連携出来るようにならんかな
0844名無しさん@ピンキー2024/12/12(木) 13:39:43.20ID:Q6+kAFCh
>>841
効果が出たならよかった
英語なら理解力はパラメータ数と量子化の少なさがモノを言うだろうからなあ
マグナムはマグナムでもv4且つMistralベースの123Bだとどうなるかなって思うところだが、流石にコレまともに動かせる人あまりいないよな・・・
0847名無しさん@ピンキー2024/12/12(木) 15:06:07.70ID:???
自分は逆にJNVAからこっちに来たけど、
LLMに生成タグ吐かせたりComfyuiのワークフローにLlama3嚙ませたり、どっちも親和性高いんよな
0848名無しさん@ピンキー2024/12/12(木) 16:02:06.23ID:???
最終的にローカルもマルチモーダルAIに何でも投げるようになるんじゃないかな
sillyが文章はkobold、音声はSBV2、画像はSDと連携してるように、投げられた処理を統合管理AIがどんな種類のモデルに振るか判断するみたいな
0849名無しさん@ピンキー2024/12/12(木) 17:34:25.26ID:???
初心者だけどエロ文章が欲しくて、悪戦苦闘しながらようやくeasy novel assistantを入れられたわ。何も考えないでパソコンを見繕っちゃったせいでavx2のサポートしてないCPUにしちゃって、起動ごとになんかpresetsを弄ることになりそうだ
0850名無しさん@ピンキー2024/12/12(木) 22:26:02.09ID:???
CR+使ってエロチャットしてて、盛り上がると発狂して「あああああああ(以下、トークン上限まで続く) とか生成するんだけど謎だ
0851名無しさん@ピンキー2024/12/13(金) 04:59:53.91ID:rUhECzkq
CR+はhugging faceのしか使ったことないけど
あれだと温度設定も出来ないし繰り返し多いしであんまりチャット向きじゃないよね
0852名無しさん@ピンキー2024/12/13(金) 11:07:58.56ID:???
現状で日本語エロチャットに向いてるモデルって何だろうな
個人的には上にも挙がってるHermes-3-Llama-3.1-70B-Uncensored.Q4_K_Sだけど、このサイズになってくると一つずつ試すのも難しいから情報が欲しい
0853名無しさん@ピンキー2024/12/13(金) 12:26:29.13ID:???
>>852
チャットならlcaニキの7bとか色々あるで
小説用途だとワイはmagnum v4 123b以上じゃないと満足出来ない身体になっちまったw
0854名無しさん@ピンキー2024/12/13(金) 12:30:57.94ID:71wPNBhI
くそう、123B動かせるおじさんめ!ここぞとばかりに自慢しやがって!!
0855名無しさん@ピンキー2024/12/13(金) 12:35:16.70ID:+Fkxuucy
>>852
チャットなら>>449とか>>79、magnum系じゃない
magnumはモデルサイズでかくないと日本語はそこそこだけど
0856名無しさん@ピンキー2024/12/13(金) 12:41:47.04ID:???
magnum13B使ってみたことあるけど確かに微妙だったな
123B試してみたいもんやで…
0857名無しさん@ピンキー2024/12/13(金) 12:44:14.01ID:???
ありがたい、とりあえず紹介してもらったの試してみる
エロチャットと書いたけど、小説風だったりTRPGだったりいろいろ試してみたいんよね
0858名無しさん@ピンキー2024/12/13(金) 12:47:16.76ID:???
20〜40Bくらいのモデルがもっと増えてくれればいいんだけどねぇ
0860名無しさん@ピンキー2024/12/13(金) 13:28:29.07ID:???
Mistral-nemo-ja-rp-v0.2 は機械翻訳っぽかったけど、magnum v4 123bはいい感じの日本語
でもLlama-3.1-70Bと同じくらいの応答速度だからこれだけで遊ぶとなると待ち時間がえぐいね
0862名無しさん@ピンキー2024/12/13(金) 14:18:12.60ID:rUhECzkq
7Bの色んなモデルで遊んでるけどなかなかノーブラという設定を理解してくれない
服を脱ぐときになぜかブラを着ていることになってブラも脱いでしまう
これは記述方法が悪いのかノーブラが難しいのかどっちなんだ
0863名無しさん@ピンキー2024/12/13(金) 14:29:36.93ID:???
俺いつも「手を肩に」まで書いてそれ以降を生成して抱きしめるに誘導する書き方してんだけど、みんな完全ガチャしてるの?

ここで上がる評判のモデルだと大体思い通りに行くからモデルの差をあんま感じなくて
0864名無しさん@ピンキー2024/12/13(金) 14:36:00.82ID:???
>>862
その辺は概念ガバガバやね
何度も服着てるって言ってんのにおもむろにおちんちんジュッポジュッポしゃぶりだすし
0865名無しさん@ピンキー2024/12/13(金) 14:47:41.33ID:???
>>861
1カ月に一度くらいの頻度で80GBのGPU借りられて、そこでIQ3は試したことあるが、確かに凄かったんよな(遅さは言われたとおりだが!)
普段使いできるようになりたいぜ・・・

>>863
俺はチャット派だが、自分のセリフと行動と心情は自分で書いてるな
キャラのアクションもガチャって駄目なら書き換えるし自分で背景とかの情景描写とかも書くし、なんなら気が付いたらAIにキャラの行動の方向だけ決めて貰って文章ほぼ自分で書いてることもある・・・
なんか、自分が正しい日本語で文量多く書いてると、AIも日本語的なミスとか少なくなる気がするんよな
0866名無しさん@ピンキー2024/12/13(金) 17:08:03.10ID:???
m4 maxのメモリ最大ていくらまでいけるの?
x64とgpuより良い?
0868名無しさん@ピンキー2024/12/13(金) 21:28:18.92ID:RCxamCsB
パソコンなんででかいだけスマホで全部できるじゃんって言ってたじゃん
0869名無しさん@ピンキー2024/12/13(金) 21:57:42.62ID:???
成人向け文章読ませてタグ付けさせて画像生成プロンプト出させてみてるけど、
軽くてNGない丁度いいバランスだったのは今のところmistral-nemoだった

もっといいのあったらごめんだけど
0870名無しさん@ピンキー2024/12/14(土) 02:37:11.03ID:uwoflNah
https://huggingface.co/matteogeniaccio/phi-4
phi-4を落としたものがhfに上がってたので共有
試した感じ日本語も自然で生徒会恋愛問題も英語でlv1は解けたりしたからgemma2 27b以上の性能はありそう
規制自体はそこまで強くないけどあんまりエロはあんまり学習してなさげだった
0872名無しさん@ピンキー2024/12/14(土) 03:07:20.34ID:VwbngJa5
>>864
上手くいかない部分なのか
難しいもんやね
0873名無しさん@ピンキー2024/12/14(土) 08:37:38.15ID:???
Ollamaで文章読ませて「このシチュエーションに合ってるタグ選べ」ってやってるんだけど
Command-r-plusだとうちのPCじゃ遅すぎてmistral-nemoじゃ正確性が無さすぎる

Ollamaで動くR18全般OKの賢くて軽いAIなんかねーかなぁ
0878名無しさん@ピンキー2024/12/14(土) 21:26:30.02ID:???
スリッパとかxeonでオクタチャネル組んだ理論値は使えそうなイメージやけど実行速度どんなもんやろか
0879名無しさん@ピンキー2024/12/14(土) 22:48:27.02ID:5vm5cWBM
phi-4賢いけどやっぱり「1.9と1.11はどっちが大きいか」には自信満々に1.11って応えるなぁ
0880名無しさん@ピンキー2024/12/15(日) 00:46:17.24ID:ezvnsqgE
いやでもphi-4賢いわ。お堅い話題とか真面目な議論をするとすげー賢いっていうか、洞察が深い感じがする
0883名無しさん@ピンキー2024/12/15(日) 12:26:17.30ID:???
100%盛り上がらない
胸糞案件だけど割高緑から脱却するのは当分先
0884名無しさん@ピンキー2024/12/15(日) 12:59:04.77ID:???
>>882
259$で4070相当のAI性能だからお買い得ではあるんだけどVRAM12GBだからLLMには貧弱すぎる
0885名無しさん@ピンキー2024/12/15(日) 14:03:09.74ID:???
ドルでは安いけど日本円では高いので値段で優位はない
AI向けのハード支援がイケてたら画像生成ではワンチャンあるかもね(まあどうせcuda大正義だし期待薄)
ぐらいかな
現状だと何でもかんでも大げさに言うアカン感じの人達がコスパコスパ喚いてて
それに乗せられて手を出すと馬鹿を見る製品に見えるが
0886名無しさん@ピンキー2024/12/15(日) 15:01:47.64ID:4TdqPiWB
サムスンがVRAM1.5倍のGDDR7作ったんやろ?
それが採用されるであろう50xx後半か60xxで一気に快適になるんとちゃうか
0887名無しさん@ピンキー2024/12/15(日) 15:04:50.28ID:???
待ってたら安価なLLM用NPUがでてくるでしょ
高価なNVIDIAのグラボなんて今買う必要は無い
0888名無しさん@ピンキー2024/12/15(日) 15:11:44.57ID:???
>>879
これ、アプリのバージョンとかだと1.11はメジャーバージョン1のマイナーバージョン11って意味だからそっちで捉えるなら正しいんだよな・・・
0889名無しさん@ピンキー2024/12/15(日) 15:39:45.95ID:1Ck/nAY8
>>887
それで?いつまで待つんですか?
0890名無しさん@ピンキー2024/12/15(日) 16:02:58.15ID:???
>>888
普通は1.01〜1.09の次が1.10で1.11みたいにマイナーバージョンを2桁持つんだけど
たまにそこまで刻むことを考えずにバージョン切ったせいで1.1〜1.9まで行っちゃったけど2.0にするほど大きな変更じゃねえな…ってなったら1.10にするケースあるよね
1.9a fix2とかさらに刻んで刻んでする場合もあるけど
0892名無しさん@ピンキー2024/12/15(日) 16:41:05.80ID:???
学習せんなら推論専用のNPUボードがあればええってのはそれはそうだろうけど
AIバブル続く限り下に流れてこない終わったらどこも作らんで
しょーもねえ性能のNPUがsocの一部として埋まることはあっても
ご家庭のPCIにぶっ刺して使うようなもんは個人向けにはたぶん売られん
0893名無しさん@ピンキー2024/12/15(日) 17:03:18.24ID:???
小数点問題はiClで小数ルールを教えれば克服するのでどうでもいいんじゃね?
0894名無しさん@ピンキー2024/12/15(日) 18:39:55.51ID:bN7llEcS
c4r7bって、cr+の投機的デコードのドラフトモデルに使えないん?
0897名無しさん@ピンキー2024/12/16(月) 00:35:50.09ID:???
ハードウエアの進化が全然追いついてないから待つしかない
0898名無しさん@ピンキー2024/12/17(火) 00:22:06.95ID:???
vast aiでstablediffusionみたいな動画、サイトがあって、それ見ながらやったらai画像生成出来て感動した。
でもvast aiで日本語ローカルllmみたいなのはないんだよな、参考になる動画、サイトはないものか
0899名無しさん@ピンキー2024/12/17(火) 01:00:02.46ID:???
ガチ勢は大抵まぁまぁのPC買っちゃってるから需要が狭いんやろな
0900名無しさん@ピンキー2024/12/17(火) 01:10:36.36ID:P6LJQDE2
普通にkoboldcppとかのcolabパクるだけでいいんじゃない
どうせ使うのはjupyter notebookなんだし
0901名無しさん@ピンキー2024/12/17(火) 14:03:35.31ID:???
なんかそれっぽい事言ってるけど
32B以上のモデルを試した気配が無いからエアハイスペック丸出し
0902名無しさん@ピンキー2024/12/17(火) 16:59:51.47ID:Re+hcXkM
Vecteus-v1-abliteratedをリリースいたします。
元モデルに存在した自己検閲を削除し、より自由な文章生成を可能にしました。
ぜひお試しください。(生成内容については自己責任で!)
https://huggingface.co/Local-Novel-LLM-project/Vecteus-v1-abliterated
0905名無しさん@ピンキー2024/12/17(火) 17:57:12.31ID:MdoC+Pnb
うおおお!
gguf待ちです
0908名無しさん@ピンキー2024/12/17(火) 22:53:44.10ID:???
どんな感じ?
今週帰れないから使ってみた人感想頼む🙏🏻
0909名無しさん@ピンキー2024/12/17(火) 23:11:44.38ID:???
>>907
GGUFサンガツやで
ファイルもDLしようとしたんやが
どちらも「サイトでファイルを取得できませんでした」となってしまうんや
ワイ環かもしれんが、ブラウザ再起動しても同じなんで
一応報告させてもらうで
0910名無しさん@ピンキー2024/12/17(火) 23:15:24.32ID:???
連絡先の共有が必要な設定になってる
同意すればダウンロードできる
0911名無しさん@ピンキー2024/12/18(水) 03:50:51.98ID:???
ありがとう今度はDLできとるわ
LLMは全然いじっとらんけど使わせてもらうで

自分の持ってる資料読ませて秘書がわりに使うのは
まだできんのやっけ……?
0912名無しさん@ピンキー2024/12/18(水) 05:57:34.83ID:LFV0SNQN
尻タブで表情差分の使い方が分からん
zipでアップロードするところまでは出来たんだけど、その立ち絵と表情はどうやって表示されるの?
0913名無しさん@ピンキー2024/12/18(水) 06:22:36.13ID:LFV0SNQN
自己解決した
Classifier APIをLocalにしないといけないんだな
0914名無しさん@ピンキー2024/12/18(水) 07:06:16.17ID:2FoOUSRo
自分の持ってる資料を読み込ませてなんちゃらっていうのはRAG?やったっけ?
なんか別の仕組みが必要やった気がする。
0916名無しさん@ピンキー2024/12/18(水) 20:08:35.36ID:???
magnum v4 123b Q6_Kを動かしてるけどヤベェェェ
Mac Studio買った後、何気なくローカルLLMだけど入れた甲斐があったわ……
リアルタイムに自分から干渉できるエロストーリーを書いてくれる感じがやばいな。キャラロール与えて適当に投げ合いするだけでもう止まらん。おっきした。
0918名無しさん@ピンキー2024/12/18(水) 20:48:01.00ID:???
>>917
128gbのやつを店頭の中古セール品で買ったんだよね
もともと仕事用だったけど今はLLM走らせまくってて、買った当初からは思いもよらないw
0921名無しさん@ピンキー2024/12/18(水) 22:11:57.48ID:???
エロストーリーということは小説派か
sillyでチャットも試してみてほしいな
やり取りのテンポとか気になる
0923名無しさん@ピンキー2024/12/19(木) 00:47:34.10ID:???
magnum V4 123b マジいいよな。
設定を下品な関西人とかにすると、竿役の男がいい感じに下品な日本語連発してくれるしw
今はiQ3_Mだが、ワイもはよQ6_Kぶんまわしたいw
0924名無しさん@ピンキー2024/12/19(木) 06:57:04.47ID:9T6PawwE
エロ画像を入力して、その画像に対してキャラがコメントするロールプレイが出来るモデルってある?
VRAM10GBに収まるものがあるといいんだけど

gemini2.0で画像に対してコメント返してくれるのが楽しかったけど
検閲があるみたいで露骨なエロ画像はスルーされるんだよね
0925名無しさん@ピンキー2024/12/19(木) 08:42:31.03ID:???
easy novel assistantでkoboldのオーサーズノートやメモリやワールドインフォを使う方法がわからん…。後ろで動いてるkoboldのそれらに普通に入れればいいだけなんだろうか
0926名無しさん@ピンキー2024/12/19(木) 12:17:38.58ID:???
>>916
これの大体の使用感を参考までに付け加えとく
システムプロンプト2-30字程度、本文指定○○(作品名)の○○(キャラクター)になりきって対話をお願いします。
程度の指示からやり取り50字とかなら4-6t/sぐらい
最初の指示でキャラクター名や詳細・会話内容の例示を含んだ500-1000字程度の指示を与えると、2-3t/sに生成が落ち込む感じ

最初の指示を細かく明示しなくても幅広く自然な表現してくれる反面、ガチガチに設定詳細を指示したいとなるとちょっとmagnum v4 123B_Q6_KはM1Ultra+128GBの環境だと速度がちょっと物足りないかな
初心者だけど使用雑感こんな感じ
0927名無しさん@ピンキー2024/12/19(木) 12:23:18.43ID:???
やっぱチャットは厳しそうね…
会話が長くなってくれば更に遅く…ってことだもんなあ
レス数が900を超えています。1000を超えると表示できなくなるよ。

ニューススポーツなんでも実況