なんJLLM部 避難所 ★7
■ このスレッドは過去ログ倉庫に格納されています
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★6
https://mercury.bbspink.com/test/read.cgi/onatech/1739448962/ geminiが3/25以降常にthinkするモデルに差し替わったらしい
chatarenaでいきなりトップに出とるね
今後thinkモデルが当たり前になるんだろうか
token量増えるからあまり好きじゃないんよね
ロールプレイにもあまり向いてない気がするし 画像生成でTIPOを入れてる時期が俺にもありました
いつの間にかSTを入れてRPチャットをやろうとしている >>126
何にも指定してないのにアナルに突っ込んだ時だけおほっ♡とか言うの日本のエロ同人に対する解像度高すぎで草 非推論モデルの知見を捨てて推論モデルだけを研究とはならないだろうし大丈夫じゃないか？
最近出たdeepseek v3は非推論だし >>127
ロールプレイはそうかもしれんけど、一般的な用途は多少のデメリットがあっても賢くないと使いにくいよ
直近のQwQ-32B、Gemma 3 27B、Mistral Small 3.1 24Bで比較しても
QwQ-32Bが一番プロンプトの理解力が高くて、指示に従ってくれる グラボメモリが12gだとMistral Small 3.1 24Bしか選択肢ないけどそれでもめちゃくちゃ賢い token増える問題は確かにだけど2.5proはthoughtも出力も優秀だから食うだけの実力はあると思う llmで画像生成補助の話ならなんUへ行ったほうが識者が多そうだが
いまchatgptの画像生成で盛り上がってるし >>いまchatgptの画像生成で盛り上がってる
なんかあったんか？ nvidiaがProject G-Assistの一般提供を開始してるな
nvidiaのローカルLLMがゲームプレイをアシストします。という話だったのが、こっそり方向転換してプラグイン形式でローカルLLMに機能を追加できますと言い出してる
ローカルLLMが文章、音声を手元でCLIなコマンドに変換して、MCPなりで他のLLM
に投げてくれる。と言うならだいぶ使い道あるよね
あとこいつGPUドライバが知ってる情報をある程度、あるいは全部読める可能性ある ネックなのはUIだけだから、緑色したキャラクターが画面下からにゅって出てきて応答するUIを作るだけで、デスクトップコンパニオン戦争で勝てる可能性ある
のだのだ言い出すとか... Live2DもAIで錬成出来るようになればいいのに
あとはアバターアプリをLLMと繋げば令和の伺かが完成する 人間の脳波情報を報酬にアバター動作の強化学習させたら面白そうだよな silly tavernでlive2Dの拡張機能あるで 脳の情報処理とtransformerの処理が線形マッピングできるとかなんとかってみたな
攻殻機動隊の世界はまだ先かな 感情差分を作ってと言うだけで感情&身振りをつけて４つづつ出してくれるから、64くらいださせてSillyTavernのExpressionにセットすればだいぶ強いのでは
どんな感情にも対応する差分がありやがるという ローカルLLMで画像プロンプト作成の人へ
https://note.com/catap_art3d/n/n7131b2dcf246
こんなのが出てきました。参考にしてみてください。面白そうなので私もあとで読んでみよう SD3.5もFluxも主流とは程遠くて
近い将来自然言語による生成がメインになっていくんだろうが chatGPTちゃんが道を示してくれたな
日本語の自然な入力による注文を正確に表現した画像生成してくれる
賢い日本語LLM→賢い翻訳LLM→賢い画像生成モデルを全部内包するモデルもしくは各モデルの橋渡しを想定したアプリが開発されればローカルでもすぐ出来そう SD webとかのUI部分を置き換えるものになるんでは
どういう絵を描いて欲しいか指定するためには、どんな精巧な言葉よりちょいと描いた絵の方が正確に伝わるわけだから
SDやFluxは画像生成そのものだから、絵の意味・意図を表現する絵コンテ的前工程(@LLM)と、i2iで最終的な絵を出す絵画的後工程(@SD+LLM操作)として住み分けになりそう 日本の企業がこれを作るべきだった論は現実的には無茶な話だけど、
・1次元言語プロンプトの後に来るもの、二次元プロンプト、三次元プロンプト入力として最強なのは漫画/絵コンテなんだ
・アニメ、漫画資産をベースにした映像言語を操れるモデルが存在しうる
・もし今の時点で押さえていたなら日本が勝利する可能性があった
と言い換えることは出来るかもしれない そういえば、昔マイクロソフトがコミックチャットってチャットソフト作ってたよな
あれを復活させたら今の技術でとんでもないものできそうな気がする 画像生成AIはエロに緩い中小が技術を出し惜しみしてたらOpenAIに吹き飛ばされた感じだな
どの分野も資金調達が下手だと生き延びれない
謎資本のNoobに望みを繋ぐか >>154
体力のない所が会社の経費を使って作ったものを公開したら
多分、マネタイズできずに会社が終わると思うぞ
エロ画像のところも公開したはいいけど儲かっているという話は聞かないし
Deepseekにしてもどうやってマネタイズするかは極めて大きな課題で
よくある中小企業レベルだと公開よりもクローズドのほうが利益は大きいんじゃない？
以前会社でオープン化を言ったことがあるけどマネタイズ極端に難しいってことでポシャった 開発だけじゃなくランニングにも金がいるから、月額ユーザーを囲ったところでランニングコストさえペイできるか怪しいだろうしなぁ >>153
Noobってリアスにまだ勝てるんかな？
2歩くらい先越された感ある >>160
学習量だけなら圧倒的にnoobの方が多いぞ
だから出せるキャラとか構図（特にnsfw）はnoobの方が多い
自然言語と高解像度がリアスの強みやが所詮はClip採用のSDXLモデルでその優位も限定的 ローカルではないが、zetaやiN2Xなどはこのスレ的にはどうなのかな？ H100よりはお求めやすいRTX Pro 6000 >>163
話題としては問題ないんですね
zetaを試してみたが割と良さそうかなと感じました
他にも使っている人いたら情報共有できると嬉しいです >>162
OKだけどたぶんこのスレで使ってる人ほとんどいないと思う >>165
このスレもピンクのもう一つのスレもそうだけど
AIチャットアプリはほとんど話題にならないしたまに書く人がいても反応がほぼない
たぶん層が違う
ここも向こうもディープな層が多いからもっとライト層が集まる掲示板を探した方が良いと思う 日本語なりきりチャットのための32Bファインチューニングとかゴリゴリ解説してくれる人がいたら嬉しい
理屈では分かっていても形にするのが難しい AIチャットアプリ、日本のやつは変なLLM使わされて月額3000円ですとか言い出すのがよくわかんないような SillyTavernでええやん
まあ非常にとっつきにくいとは思うけど 動かないと思って試してなかったんだけど意外とbakenekoのDeepSeek蒸留のIQ4XSがVRAM 12GBでも動いたわ
くっそ重いけど 俺の3060 12gbじゃ動かせるのは快適に動くのは7b、量子化とか言うのされたやつだと動くか怪しいがギリギリ14bらしいとaiに言われた
14bでどれくらいエロエロ会話できるんかな 俺の個人的な印象だと日本語13Bは不作で賢い7Bモデルの方がマシだった LLMスレ見ると良いモデル使おうとすると金掛かりまくって草生える
金は出しゃあるけどやる暇があらへん ローカルLLMは用途特化でしか大手LLMと戦える要素はない
つまりファインチューニングかクソデカトークン対応のどちらかが前提となる >>174
メインメモリさえあれば70Bだろうと動くよ
遅いだけで 大手の規制にもうんざりだしこっちに流れてきた
でもローカルはイラスト生成に使いたいから結局APIかWebサービス頼り DGX sparkのOEM的な物がASUSから出るみたい
本家とメモリは同じ128GBでストレージが4TB→1TBに減る変わりにお値段が60万→45万の15万オフw
外部ストレージを足せるみたいだしこっちで良いじゃんって感じやない？
つかなんちゅー高価なストレージだよ…
https://www.gizmodo.jp/2025/03/asus-announces-release-of-ascent-gx10.html command Aってロールプレイ性能というか会話性能落ちてないか？
CR+の方が全然よく感じる Command Aは倫理フィルター無い＆そこそこ高性能なので重宝してる
ワイのユースケースだとCommand R+の方は繰り返し多発＆フィルター強すぎでちょっと...、って印象なんやが >>174
mistralならIQ3_M以下をダウンロードしてKoboldで4bitにすれば24Bまで動くよ12や14とかより賢いと思うし日本語で会話になるよ M4Pro程度の帯域の395+どうなんじゃろ。
メモリ最大盛だとMac miniよりアドバンテージがありそうだけど、
結局、ロングコンテキスト出力する際はTP＝帯域勝負になってくるし、
TPは32BQ8クラスで8 token/s 程度に収まりそうだし、
せめてM4Maxクラスの帯域幅が欲しいね。
128GBのGPUのメモリがあっても、巨大なモデルほどPP/TPの落ち込みが激しいし、
帯域幅がそれに追いついてないと、CPU動作のメモリほどじゃないにしろ、
遅すぎて動かす気が起きんくなる。 >>165
どんな風なのかスクショでも貼ってくれたらやる人も増えると思うで
どれだけド変態で倫理的にアウトな内容でも、ちゃんと理解して演じてくれるとかそういう情報が無いとやってみようとは思えんからな >>186
一例として会話のスクショを貼ってみます
ただ、会話とかの推論レベルはここの水準では高くないと思います
https://files.catbox.moe/jwvzr9.png
個人的に高評価なのは、他メンバーが作成したキャラ設定の
キャラクターと直ぐに会話出来ることです(100万体以上いるらしい)
単語等で特定キャラを検索、すぐに会話出来るのは結構魅力です。
SillyTavernなどを通して簡単に設定できるとは思いますが、
自分がイメージしないようなキャラと会話できるのは割と楽しいです
自作キャラ作成は簡単に出来ますが、詳細には設定出来ない感じ
https://files.catbox.moe/jntgla.png
総じて、スマホ(PC)で作成・会話が手軽に出来るのが魅力かと
合う・合わないはあると思いますが、無料でも広告が多い等はあるが、
機能はほぼ制限なく使えるはずので試してみて貰えればと思います bakenekoって普通のエロはまあ普通に書くんだけどロリ書かせようとすると児ポにならないように過激な表現は気をつけますって言って遠回しな表現で頑張ろうとするな
これはこれでよく分からん倫理フィルターだ takuyadayo/ozisan
おもろいやんけw システムプロンプトがよくできてるから
そのモデルじゃなくてもおじさん構文になるな
30B以上ならどれもキモおじの返答が得られるw Mistral Small 3.1 24Bはレイプ展開になると警告文が出た
一部で無検閲と言われてるけど、検閲が緩くて気付きにくいだけやね まったく検閲のないモデルはあるの?DRAM128GB・VRAM16GBしかないです。 >>193
abliteratedとかuncensoredついてるモデルは無検閲 >>192
システムプロンプト無しだと拒否されたが、システムプロンプトを上手く設定したら
レイプ展開で酷い結末になるような小説も警告出さずに完走したよ
まぁ、1000文字程度のストーリーを書かせて試しただけだが。 土日使ってある程度長い小説書かせるのを色々試したんやけど
https://note.com/kohya_ss/n/n16528d2516c7
これは作家のエージェントと編集者エージェント用意して会話させてタイトル以外全部自動で生成させるって記事やけど
ある程度テーマが決まった小説を書かせるならこれの編集者側を人間がやるってのが一番ええな
問題は手間かかり過ぎて自分で書いた方が速いんやないかってことや LLMに小説を書かせると盛り上がりや意外性がないのっぺりした内容になりがちだな
LLMを使った幅出しにもノウハウがあるのかも知れないが コーディングさせるときもそうだけど、
要件定義でまともなモデル(Grokとか)と相談しながら箇条書きで100行くらいみっちり書いたのを渡すと
適当に言ったのよりはいい物作ってくれるからそれと同じだと思う
直接的な表現が出ないプロットとかならフィルタ回避して手伝ってくれるはず
ローカルのモデルに独自性とか意外性とか求めても大抵ロクなことにならないからな…
雰囲気を楽しみたいエロチャットだとなかなかそうもいかんけど、システムプロンプトは大目に書くといいかも
個人的にだけど、VongolaChouko/Starcannon-Unleashed-12B-v1.0のリードミーで配布してるシステムプロンプトが何だかんだ他でも効いてくれてて好き
システムプロンプトが英語のままでもキャラの説明と最初のセリフが日本語なら問題なく日本語で動作する >>197
起承転結をしっかり示して今がどの場面なのか明確にしないといけない >>189
どのbakenekoか分からんが、koboldでallow eding押して文章変えたら通るで。
申し訳〜の文章を削除して、了解しました、みたいに書き直す。
過去スレで誰か言ってたと思う。
使ったのはqwen2.5-bakeneko-32b-instruct-v2 面白い部分や面白い選択は人間がやるしかないのでは？
人間が書いた小説も99%は当人には面白いけど他人には面白くないわけだから
それどころか、過去に書かれた名作、今現在売れてる小説を買っても自分に刺さるようなものはそんなに多くないわけでしょ
てことは面白いは個々人によってかなり違っていて、エロ並に細分化しているはず
ランダムでエロ動画再生しても良いものなんて全く引っかからないわけで...
つまんねーなこの場面、面白いなこの場面ってときに、LLMを使ってなぜつまんないのか、なぜ面白いのかを論じる、という昔ながらの事をやるしかないのでは 膨大なデータからいわば平均的な好みを模倣しているAIにとって、個人個人に合わせた好みに対応していくことはAIにとって大きな課題である
みたいなことが言いたいんじゃない？
実際、汎用的なAIを好みに合わせてチューニングしようとすると結構なコンテキストを消費しちゃうし 好みに合わせたリコメンドなんか企業が1番AIに期待してるところだろうに 敢えて王道の展開から外して意外性を読者に与えることがエンタメでは必要なんよ
シンプルな最適化だけでは意外性を演出できない
意外性を加味するプロセスを人間がやれば良いという話もあるが
それではAIが書いたということにはならないんだわ
AIに面白い4コマ漫画が描けるか、あたりが入り口かな LLMってデータから単語の並びの確率を学習している訳で、その確率を元に作文しているから想定外の展開ってのはまず起こらんのがね
語彙が足りない、修飾語が少ねえみたいな話はそこから来てて
普段あまり使われない単語を知っているけど選ばれる確率が低いからまず出てこないし平易な文章になる
それは一文だけでなく展開にも同じことが言える
最もありきたりな展開を選ぶことがLLMとして正解なんよ
だから面白い事をさせたいなら展開をある程度指示して違うゴールを目指す必要がある まあ俺のこと知らない初対面のAIくんがロクな情報も与えずいきなり性癖ばっちりカバーしてくれたとしたら
思いっきりホラーじゃねえ？ …？
逆に考えるとAIに性格診断させてシステムプロンプトを吐かせるプロンプトがあれば良いのか？ ローカルAI「あなたクラウドAIで私のことバカにしてましたよね？」 物語の展開の意外性についてDeep Researchさせて30パターンくらい集めてランダムで選ばせるとかAI的な解決策はありそう
画像生成のTIPOみたいなアプローチ そういう王道展開から外すためにsamplersの設定をするんじゃないのか？
Dynamic Temperature、XTC、最近はTop-nσ（Top nsigma）ってのが増えた。
これこそローカルのメリットだし、個人的にはそこそこ効果感じてるよ。 質問です
EasyNovelAssistantで初めてみようかと思い立ったのですが、インストールすると
tkinterモジュールが見つからないとエラーがでました
これは以前にEasyHunyuanをインストールしており、すでに別の場所にtkinterがあるためだと思います
呼び出しアドレスを書き換えればいいと思うのですがどこをいじれば良いでしょうか？ >>214
deepseekなりgrokなりにそのままコピペしろ
LLMの真髄を味わうといい OpenAIがオープンソースなモデル公開するって言ってるけど、どうせ４００Bとかそういうのだろ
一般人には関係ない ASUS版Digitsを2台接続すればちょうど400Bモデルの4bit量子化版が動くんじゃないか Ryzen AI Max+ 395搭載ミニPC
｢EVO-X2｣を中国で4月7日より予約開始
128GB RAM+2TB SSDで約30万
り256GB/sのメモリ帯域幅
最大96GBをビデオメモリとして割り当てることが可能
command-aがギリ載る感じか
グラボ買ってられんから頑張ってほしいわ
256GB/sがどれくらいなのかわからんけど・・・ DGX sparkのメモリ帯域が273GB/sだからほぼ同じやね
ちなみにRTX4090は1008GB/s、5090は1.8TB/s
メモリサイズを取るか速度を取るか…やなあ EasyNovelAssistantはWindows用なんで試したことないけど
venv環境をつくっていると思うので(よね?いくらなんでも)
venv/lib/pythonのバージョン番号/site-packages/tkinter.py
とか、venv/の配下にtkinter.pyがないのかな
だとすると、セットアップ時のバグなので githubのissueに投げて連絡してみるとか >>220
2027年下半期まで待てば更に1.5倍速いモデルが出るっぽいね
Medusa Halo (MDSH) | Strix Halo後継モデル
内蔵GPU側のCompute Unitが拡大されることに伴い、メモリー周りの強化も予定されており
LPDDR6にも対応し、バス幅は384-bit
https://gazlog.jp/entry/amd-zen6-apu-spec-leak/
4090の1/3なら我慢できないことはないかな
前スレにも書いたけどcommand-aは賢いけどDDR4やと返答30分やったもん こうなってくると魔改造4090の96GBって神器に見えてくるなあ 100b級のモデルをそこそこの量子化精度(6bitくらい)で高tokenで動かしたい
となると128gbは心許ないなぁ
裏でOSも動くわけで256ほしい
にごろにごろ ■ このスレッドは過去ログ倉庫に格納されています
