なんJLLM部 避難所 ★7
■ このスレッドは過去ログ倉庫に格納されています
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★6
https://mercury.bbspink.com/test/read.cgi/onatech/1739448962/ LLMをローカルで仕上げるには
・限られた中で最大効率を目指すチューナー気質
・語彙、描写力など文章における教養
・パラメータを作って管理するTRPGのゲームマスター気質
・申し訳をすりぬけるトライアンドエラーできるハッカー気質
がないとローカルは無理だと感じる
湾岸ミッドナイトみたいな世界観やけど
これ面白いと感じられない人はそもそもAIには向いとらん気がするが
LLMはその極みな気がするわ
そういやここってID非表示なんやね
発言追うの大変やけどこれ普通なんかしら
いまんとこイキってグロ画像貼る奴おらんからええとは思うけども
絵のほうで一人おるだけでエライ目にあったで >>66
いや格安も何もchatGPTは有料プランもあるだけで無料で使えるし昔も無料で使えたやろ >>68
AMDはrocmとか言うウンチ環境なので駄目です
nvidaiのCUDAが地道に頑張ってきたのにAMDは未だにWindowsに対応してない(WSLで動かす)
GPUの性能以前にやる気がねえ ローカルはセンシティブなことやらせるためだけに利用している 元々このスレがそうだったように実用性よりも弄り回して評価するのが楽しい人を別にすれば
音声や画像と繋げていろいろやりたい人や自分の好きなようにカスタマイズしたい人だろうな
デカいVRAMを求めてるお人はまず間違いなくその筋や
普通のPCで実用性を求めるならそりゃwebサービスに行けとなる >>69
>ID非表示なんやね
なんU時代の☆1~7と避難所☆1~3まではワッチョイ付きだったけど☆4から急に無くなったのよね ワイは推しを「何か。＋代歩のタスクランチャー＋LLM」にしたいんや
なので頑張って食らいついていきたいンゴ >>74
ワイUのときはROMっとっただけで、いじるようになったのは最近の新参やけど
Uはスクリプトに蹂躙されてログ追うのもキツイし
絵のほうでも半ネームドが出てきて荒れて
技術ニキほど寡黙になっていくんが辛くてのう
ふと思い出したんや
ワイはワッチョイ有りでもなんでもええで ローカルモデルの問題は日本語応答による性能ロスが看過しがたいくらい大きいことだから、日本語応答性能をベンチマークにしたらローカルLLMって意味ある？になるのは避けようがないような
英語応答で問題ない領域を攻める必要があるんじゃないの ワイは今のとこエロが全ての原動力になってるわ
イリュージョンが世界に目を向けてソフト路線になって改造もNGになったのは日本の損失やと思ってる
3DモデリングとかVRの技術はAIと組み合わせて昇華して欲しかった 14Bや32Bモデルはベンチマーク性能は劇的に上がってるけど日本語性能はうんちだからな
モデルを小さくする以上何かが切り捨てられるのは避けられないから日本人のローカル勢は決して救済されない運命 3DエロゲはVaMが強すぎる
VaM2はAIとの連携も視野に入れてるらしいから早く出て欲しいわ >>75
素人考えだけど、伺かだったら
栞でイベントをプロンプト変換→応答が構文になるように仕組んだら一応動きそうには思えるけど、どうなんだろうなあ
モデル側は基本的な構文を大量のデータ、例えばSSTPbottleのログ100万件くらいでQLoRA学習→マージしてスクリプトが使えるようにした後に
作りたいキャラの口調と絵柄パターンを更にQLoRA学習させてLoRA適用すればなんとかなったりするんかね 動かないとかおま環やろ (なお 685B params) v3 0324、日本語も一回り良くなってる気がする Appleの中のMLXの人
https://x.com/awnihannun/status/1904177084609827054
「4 ビットの新しい Deep Seek V3 0324 は、mlx-lm を搭載した 512GB M3 Ultra で> 20 toks/秒で動作します。」 前スレ392の音声聴いてからワイも興味持ってモデル探したりしたけどなかなか良い感じのが見つからん…
声質とか抑揚とかすごく好みだったからもし良ければモデルupしてクレメンス >>82
ワイ初心者すぎてニキの言っとることろくに理解できんけども
メモらせてもらったで！
できそう、ってのだけでも今日を生きる希望になるわ >>86
20tk/sもでるのか。MoEだから一つ一つは小ぶりというメリットでてるな
Gemma3も27Bx4くらいで出して欲しい >>91
chain of thought (CoT)で推論(Reasoning)するか否かやろ >>88
openaiに対策されたからclaudeでデータ生成したのかな？ DSV3、600Bも700Bもいらんから、
コーディングタスクや小説用のタスクだけ活性化する
エキスパート部分だけ分離して欲しい。
丸ごと動かしても、
マシンリソースの無駄遣いじゃねーか。 R1はV3に数学の問題を自分で解かせる事後学習をしたモデル、と言われてる
数学が解けるようになると、何故か色々なことが出来るようになったよという
V3改はClaudeというよりはプログラミングコードを大量に学習してる、とかかな？
いま現在求められているのはそういうモデルですし
R1が数学を自分で1から解かせて事後学習をさせたように、今度出すR2はプログラミングを自分で1から解かせて事後学習をしました、と言い出すかもね https://joisino.hatenablog.com/entry/physics
コレ面白いな。
線形モデル(LLM的な高度な解釈能力を持たないモデル)にLLMの内部情報を食わせると、理解出来るところと出来ないところに分類できる、線形モデルに理解出来るほど整理されているなら、LLM自身にも理解出来ている情報と見なせる。
このプローブを使ってLLMの頭のなかを分析してみたよって話。 >>98
ベンチマークは陳腐化していくって話はベンチスコア詐偽とか有るらしいから納得
間違いを認識していても訂正方法を事前学習してないから訂正できないだけで
事前学習で訂正方法を学習させれば訂正出来るようになるって話は面白いな DeepSeekV3がチャットアリーナでR1や推論無しSonnet3.7の順位を逆転
これはR2の性能は噂通りトップを伺いそうだな、まあどうせ日本語はウンチなんだろうけど 知識はあるのに上手く取り出せないのが構造上の問題となると
今までとは全然違うモデルが出てくるまでハルシネーションは解決しそうにないな
7Bで英語wiki暗記できるとかヤバいわ >>98
正直1ミリも理解できなかったが"LLMは途中で間違いに気づいている"ってのは面白かったわ
推論途中で「おっ、ワイ間違えてるやんけ」と気づいて訂正してくれたら
しょうもないミスだいぶ減って快適になりそうやね 新しいV3触ったけど日本語性能は100B程度のCommand A以下だと思う 画像生成用の自然言語プロンプトを組むのにLLM導入を考えています
用途としては「海辺に一人の女の子」等の最低限の指示からシチュエーションを膨らませて200~400トークン程度の英文プロンプトを作ってもらおうかと思ってます
要はLLMで自然言語プロンプトをランダム生成してもらいたいということです
今の環境はグラボ4060ti16GB 本体メモリ64GB Python Git導入済です
導入に使えるストレージはSSD1TB HDD2TBの余裕はあります
LLM環境は一からの構築になるのでよろしくお願いします [break]トークンを打って考え直すワザを学習時に見せとけば自分で訂正できるようになる、というのは面白いところだよね
既存のモデルがスッとv1.1を出してくる可能性ある DeepSeekはChatGPTみたいに言語関係なく常に自国政府に忖度してるんじゃなくて
聞かれた言語に合わせて答えるように調整されてるんだよな
そのせいで日本語で聞くと日本語の乏しい情報ばっか参照するから余計にしょぼくなる >>106
まずは、導入が簡単なLM Studioを試してはどうでしょ
https://lmstudio.ai/
このツール上からLLMを検索して入れる事が出来るし、ローカルでチャットも出来る
danbooru語とかの単語を幾つかチャットで与えて、それらの単語から自然言語を書かせたり出来る
規制の掛かってるLLMはチャットで脱獄させればエロいのもいけるし
プロンプトをバッチ処理で大量に自動生成したいって用途でもなければこれで良いかなと このスレ急に知的な流れになるから怖い
普段変態なのに >>98
最初だけ読んだけど、面白いね。これはちゃんと腰据えて読んだ方が良さそうって思った
それはそれとして、「インターネットのコーパスで学習したモデル＝攻殻機動隊の人形使い」
とイメージが被るせいでそれが自滅的なノイズになって読みづらい 頭悪いエロ漫画みたいな表現してくれるモデルに出会えとらん
gemma3はそんなに喘いでくれない >>90
簡単にモデル学習できるのがSBV2の強みだから自分で作成するのお勧めやで〜
SBV2のGitに全部書いてあるし、Youtubeにチュートリアルあるはずやで！ >>113
ローカルじゃ試してもダメだったから厳しそうだけどGrok 3なら頭悪いエロ漫画みたいな表現してって言うとやってくれた >>114
最近良いグラボ買えたから沼に浸かってみるで！
声優とか音声素材とか全然詳しくないから誰の声使えばああいうモデルが出来上がるか皆目見当もつかんけどな！ >>98
関連記事にあるものも面白くて読み応えあるなあ
以前話題になった敵対的ノイズの話とか認識がひっくり返された >>110
ありがとうございます
LM Studio試してみます >>106
それならTIPOでいいんじゃないの？
a1111の拡張機能とComfyUIのカスタムノードがあって
LLMを使用して自然言語とタグの両方を生成できる >>115
頭悪いエロ漫画の表現ってどんな？
作例プリーズ 今までAIのべりすとを使ってて今月になってからEasyNovelAssistantを導入した新参なんやけど
のべりすとでいう「セリフを優先して出力」「地の文を優先して出力」の指示はどうやってすればええの？
それぞれの描写に適したモデルに都度切り替えてくしか無い感じか？ >>121
セリフ中心の文章にしてくれって指示したらできんかな
〜してる会話を書いてくれって指示すると
会話のみのシナリオになる >> 106
EasyReforge のTIPO使った方が早くないか？
あれもLLMとことるんやで >>116
BGMのない朗読をYoutubeから探して学習するとこから始めてみては。思ったより簡単だと思う
スレチすまん 変態という名
>>98
こういう研究て日本でやってないの？🤔 エロ漫画みたいな頭の悪いセリフと言えばBerghof-ERP-7Bとかやな
他のモデルでも「性格:変態」「語尾に♡」とか設定するとセリフが頭悪くなる傾向にある geminiが3/25以降常にthinkするモデルに差し替わったらしい
chatarenaでいきなりトップに出とるね
今後thinkモデルが当たり前になるんだろうか
token量増えるからあまり好きじゃないんよね
ロールプレイにもあまり向いてない気がするし 画像生成でTIPOを入れてる時期が俺にもありました
いつの間にかSTを入れてRPチャットをやろうとしている >>126
何にも指定してないのにアナルに突っ込んだ時だけおほっ♡とか言うの日本のエロ同人に対する解像度高すぎで草 非推論モデルの知見を捨てて推論モデルだけを研究とはならないだろうし大丈夫じゃないか？
最近出たdeepseek v3は非推論だし >>127
ロールプレイはそうかもしれんけど、一般的な用途は多少のデメリットがあっても賢くないと使いにくいよ
直近のQwQ-32B、Gemma 3 27B、Mistral Small 3.1 24Bで比較しても
QwQ-32Bが一番プロンプトの理解力が高くて、指示に従ってくれる グラボメモリが12gだとMistral Small 3.1 24Bしか選択肢ないけどそれでもめちゃくちゃ賢い token増える問題は確かにだけど2.5proはthoughtも出力も優秀だから食うだけの実力はあると思う llmで画像生成補助の話ならなんUへ行ったほうが識者が多そうだが
いまchatgptの画像生成で盛り上がってるし >>いまchatgptの画像生成で盛り上がってる
なんかあったんか？ nvidiaがProject G-Assistの一般提供を開始してるな
nvidiaのローカルLLMがゲームプレイをアシストします。という話だったのが、こっそり方向転換してプラグイン形式でローカルLLMに機能を追加できますと言い出してる
ローカルLLMが文章、音声を手元でCLIなコマンドに変換して、MCPなりで他のLLM
に投げてくれる。と言うならだいぶ使い道あるよね
あとこいつGPUドライバが知ってる情報をある程度、あるいは全部読める可能性ある ネックなのはUIだけだから、緑色したキャラクターが画面下からにゅって出てきて応答するUIを作るだけで、デスクトップコンパニオン戦争で勝てる可能性ある
のだのだ言い出すとか... Live2DもAIで錬成出来るようになればいいのに
あとはアバターアプリをLLMと繋げば令和の伺かが完成する 人間の脳波情報を報酬にアバター動作の強化学習させたら面白そうだよな silly tavernでlive2Dの拡張機能あるで 脳の情報処理とtransformerの処理が線形マッピングできるとかなんとかってみたな
攻殻機動隊の世界はまだ先かな 感情差分を作ってと言うだけで感情&身振りをつけて４つづつ出してくれるから、64くらいださせてSillyTavernのExpressionにセットすればだいぶ強いのでは
どんな感情にも対応する差分がありやがるという ローカルLLMで画像プロンプト作成の人へ
https://note.com/catap_art3d/n/n7131b2dcf246
こんなのが出てきました。参考にしてみてください。面白そうなので私もあとで読んでみよう SD3.5もFluxも主流とは程遠くて
近い将来自然言語による生成がメインになっていくんだろうが chatGPTちゃんが道を示してくれたな
日本語の自然な入力による注文を正確に表現した画像生成してくれる
賢い日本語LLM→賢い翻訳LLM→賢い画像生成モデルを全部内包するモデルもしくは各モデルの橋渡しを想定したアプリが開発されればローカルでもすぐ出来そう SD webとかのUI部分を置き換えるものになるんでは
どういう絵を描いて欲しいか指定するためには、どんな精巧な言葉よりちょいと描いた絵の方が正確に伝わるわけだから
SDやFluxは画像生成そのものだから、絵の意味・意図を表現する絵コンテ的前工程(@LLM)と、i2iで最終的な絵を出す絵画的後工程(@SD+LLM操作)として住み分けになりそう 日本の企業がこれを作るべきだった論は現実的には無茶な話だけど、
・1次元言語プロンプトの後に来るもの、二次元プロンプト、三次元プロンプト入力として最強なのは漫画/絵コンテなんだ
・アニメ、漫画資産をベースにした映像言語を操れるモデルが存在しうる
・もし今の時点で押さえていたなら日本が勝利する可能性があった
と言い換えることは出来るかもしれない そういえば、昔マイクロソフトがコミックチャットってチャットソフト作ってたよな
あれを復活させたら今の技術でとんでもないものできそうな気がする 画像生成AIはエロに緩い中小が技術を出し惜しみしてたらOpenAIに吹き飛ばされた感じだな
どの分野も資金調達が下手だと生き延びれない
謎資本のNoobに望みを繋ぐか >>154
体力のない所が会社の経費を使って作ったものを公開したら
多分、マネタイズできずに会社が終わると思うぞ
エロ画像のところも公開したはいいけど儲かっているという話は聞かないし
Deepseekにしてもどうやってマネタイズするかは極めて大きな課題で
よくある中小企業レベルだと公開よりもクローズドのほうが利益は大きいんじゃない？
以前会社でオープン化を言ったことがあるけどマネタイズ極端に難しいってことでポシャった 開発だけじゃなくランニングにも金がいるから、月額ユーザーを囲ったところでランニングコストさえペイできるか怪しいだろうしなぁ >>153
Noobってリアスにまだ勝てるんかな？
2歩くらい先越された感ある >>160
学習量だけなら圧倒的にnoobの方が多いぞ
だから出せるキャラとか構図（特にnsfw）はnoobの方が多い
自然言語と高解像度がリアスの強みやが所詮はClip採用のSDXLモデルでその優位も限定的 ローカルではないが、zetaやiN2Xなどはこのスレ的にはどうなのかな？ H100よりはお求めやすいRTX Pro 6000 >>163
話題としては問題ないんですね
zetaを試してみたが割と良さそうかなと感じました
他にも使っている人いたら情報共有できると嬉しいです >>162
OKだけどたぶんこのスレで使ってる人ほとんどいないと思う >>165
このスレもピンクのもう一つのスレもそうだけど
AIチャットアプリはほとんど話題にならないしたまに書く人がいても反応がほぼない
たぶん層が違う
ここも向こうもディープな層が多いからもっとライト層が集まる掲示板を探した方が良いと思う ■ このスレッドは過去ログ倉庫に格納されています
