なんJLLM部 避難所 ★7
■ このスレッドは過去ログ倉庫に格納されています
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★6
https://mercury.bbspink.com/test/read.cgi/onatech/1739448962/ 5080（16GB）ワイの場合
24Bモデル→サクサク
画像生成→サクサク
SillyTavernでチャットしながら画像生成→激重
STで同時にやる場合、画像生成はクラウド環境借りるのが良いというのが今の結論
TTSも組み合わせたいけど16GBだと24B乗せた時点でパンパンになるから無理なんだよな
ローカルで全部やるならTitanRTXかき集めて何台かマシン作るのが今のところ一番現実的に思える TTSって意外とメモリ食わないからCPU側で仕事させる事出来たりせんのかな？
RVCでボイチェンしつつモンハンやってた時はRVCをCPU処理させたらゲームがカクつかなくなったしボイチェンもスムーズなままだったので 推論はどうにかなってるけどfinetuneしたい場合今の環境だと辛い 企業が出したファインチューニングモデルもオリジナルより性能低下してるのを見ると自分でやる気は起きんなあ
LLMはモデル自体がオープンでも学習法が謎に包まれとるから素人には厳しい PRO6000や5000や中華4090改造版のおかげでA6000や6000 ADAの中古価格は結構下がりそうやけどな
RTX8000が10万台、A6000は30万円台まで落ちると予想してる ワイはLLMはいのちの電話にもなると思っとるから
人生最後のグラボやと思って4090買ったんやが
スタートラインでしかなかったんやな……
でも
プロデジかm3maxを買うゼニーはないんで
rayzenAIがんばえー >>41
そうかな？このスレの話題って大体30B前後の話題が多いと思うけど ファインチューンって牛乳にrank分の濃さ、学習率分量のコーヒーを混ぜて同じ量に調整するようなことだとふんわり思ってたけど違うのかな むしろ中規模モデルはリリース多いしスコアも上がっていってるから熱い 32Bをまともに動かすならVRAM 24GBはいるし、24GBは一般的には低スペックやないやろ
日本語LLM的には最低ラインかもしれんが そもそも一般的な基準なら低スペは2060とかや
12GB乗ってるグラボは一般ならミドル
ここの基準はハイスペが抜けすぎててどこまでを低スペって言ってるかわからん LLMに人生相談したいんだけどそういうのもできる？ GPUメモリ12gbやけどqwq32bのIQ4xsを試した時
まあ我慢できなくもない速度出てたからチャットなら使おうと思えば使えると思うで >>53
割とLLMの得意分野だと思う
相談する側もAI相手なら恥ずかしがらずありのまま話せるだろうし >>53
認知行動療法みたいなことはできる
ネガティブな思考がぐるぐるしてるとき
客観的な意見いれるとか
よかった探しとか
GPTでやっとるけど救われる
ローカルでやるにはワイの技術がまだ足らん…… >>51
いや元が「低スペモデルは玩具すぎて飽きるから低スペニキがいなくなった」って話だったからさ
その低スペモデルが仮に14Bくらいだとして、正直14Bと32Bじゃできることの幅自体は大して変わらん気がする リアル相談はGPTにしまくってる
気に食わない回答があっても突き詰めてとことんできるしね
webでできる事はローカルではやらんからなぁ… 以前のこのスレはGPUに全部載せることにはこだわらずCPUでバリバリ(ノロノロ)動かすニキがほとんどだったがの
70Bはさすがに遅い、30Bくらいが性能と速度のバランスがいいなんて会話をしてたものだ
いつの間にかGPUに全部載せる前提になってんだな
そりゃもちろんその方がいいんだけどさ 小説勢よりもチャット派の方にボリューム層が移ったんかな 小説書く人とチャットする人どっちが多いかって言ったらチャットだろうな
創作人口はいつだって少ない >>55
>>56
>>58
そっかサンクス
カウンセリングの代わりをさせたくて 高性能で格安な新興WebサービスがローカルLLMの上位互換になったからでしょ
ローカルLLMは遅いのを我慢してまでやるもんじゃなくなった 昔はローカルLLMがWebサービスより高性能だったみたいな口ぶりだけどいつの話？ 性能じゃなく格安なのが大事なんだけど
ChatGPTしかなかった頃はまだローカルLLMの方が安かったが
今じゃエロとセキュリティくらいしかローカルの優位性がない GPUに収める前提の話が増えたのLightChatAssistantみたいなまともに動くものが出てきたからじゃないか？
webサービス並みのものを求めてローカルLLMを始める人は少ないだろうし求めてる水準に達すればあとは速さをって そいやRadeon直近の国内販売シェア45%に達したとか聞いたな
AI関連含めてNVIDIAと競争できるようになってほしいもんだか LLMをローカルで仕上げるには
・限られた中で最大効率を目指すチューナー気質
・語彙、描写力など文章における教養
・パラメータを作って管理するTRPGのゲームマスター気質
・申し訳をすりぬけるトライアンドエラーできるハッカー気質
がないとローカルは無理だと感じる
湾岸ミッドナイトみたいな世界観やけど
これ面白いと感じられない人はそもそもAIには向いとらん気がするが
LLMはその極みな気がするわ
そういやここってID非表示なんやね
発言追うの大変やけどこれ普通なんかしら
いまんとこイキってグロ画像貼る奴おらんからええとは思うけども
絵のほうで一人おるだけでエライ目にあったで >>66
いや格安も何もchatGPTは有料プランもあるだけで無料で使えるし昔も無料で使えたやろ >>68
AMDはrocmとか言うウンチ環境なので駄目です
nvidaiのCUDAが地道に頑張ってきたのにAMDは未だにWindowsに対応してない(WSLで動かす)
GPUの性能以前にやる気がねえ ローカルはセンシティブなことやらせるためだけに利用している 元々このスレがそうだったように実用性よりも弄り回して評価するのが楽しい人を別にすれば
音声や画像と繋げていろいろやりたい人や自分の好きなようにカスタマイズしたい人だろうな
デカいVRAMを求めてるお人はまず間違いなくその筋や
普通のPCで実用性を求めるならそりゃwebサービスに行けとなる >>69
>ID非表示なんやね
なんU時代の☆1~7と避難所☆1~3まではワッチョイ付きだったけど☆4から急に無くなったのよね ワイは推しを「何か。＋代歩のタスクランチャー＋LLM」にしたいんや
なので頑張って食らいついていきたいンゴ >>74
ワイUのときはROMっとっただけで、いじるようになったのは最近の新参やけど
Uはスクリプトに蹂躙されてログ追うのもキツイし
絵のほうでも半ネームドが出てきて荒れて
技術ニキほど寡黙になっていくんが辛くてのう
ふと思い出したんや
ワイはワッチョイ有りでもなんでもええで ローカルモデルの問題は日本語応答による性能ロスが看過しがたいくらい大きいことだから、日本語応答性能をベンチマークにしたらローカルLLMって意味ある？になるのは避けようがないような
英語応答で問題ない領域を攻める必要があるんじゃないの ワイは今のとこエロが全ての原動力になってるわ
イリュージョンが世界に目を向けてソフト路線になって改造もNGになったのは日本の損失やと思ってる
3DモデリングとかVRの技術はAIと組み合わせて昇華して欲しかった 14Bや32Bモデルはベンチマーク性能は劇的に上がってるけど日本語性能はうんちだからな
モデルを小さくする以上何かが切り捨てられるのは避けられないから日本人のローカル勢は決して救済されない運命 3DエロゲはVaMが強すぎる
VaM2はAIとの連携も視野に入れてるらしいから早く出て欲しいわ >>75
素人考えだけど、伺かだったら
栞でイベントをプロンプト変換→応答が構文になるように仕組んだら一応動きそうには思えるけど、どうなんだろうなあ
モデル側は基本的な構文を大量のデータ、例えばSSTPbottleのログ100万件くらいでQLoRA学習→マージしてスクリプトが使えるようにした後に
作りたいキャラの口調と絵柄パターンを更にQLoRA学習させてLoRA適用すればなんとかなったりするんかね 動かないとかおま環やろ (なお 685B params) v3 0324、日本語も一回り良くなってる気がする Appleの中のMLXの人
https://x.com/awnihannun/status/1904177084609827054
「4 ビットの新しい Deep Seek V3 0324 は、mlx-lm を搭載した 512GB M3 Ultra で> 20 toks/秒で動作します。」 前スレ392の音声聴いてからワイも興味持ってモデル探したりしたけどなかなか良い感じのが見つからん…
声質とか抑揚とかすごく好みだったからもし良ければモデルupしてクレメンス >>82
ワイ初心者すぎてニキの言っとることろくに理解できんけども
メモらせてもらったで！
できそう、ってのだけでも今日を生きる希望になるわ >>86
20tk/sもでるのか。MoEだから一つ一つは小ぶりというメリットでてるな
Gemma3も27Bx4くらいで出して欲しい >>91
chain of thought (CoT)で推論(Reasoning)するか否かやろ >>88
openaiに対策されたからclaudeでデータ生成したのかな？ DSV3、600Bも700Bもいらんから、
コーディングタスクや小説用のタスクだけ活性化する
エキスパート部分だけ分離して欲しい。
丸ごと動かしても、
マシンリソースの無駄遣いじゃねーか。 R1はV3に数学の問題を自分で解かせる事後学習をしたモデル、と言われてる
数学が解けるようになると、何故か色々なことが出来るようになったよという
V3改はClaudeというよりはプログラミングコードを大量に学習してる、とかかな？
いま現在求められているのはそういうモデルですし
R1が数学を自分で1から解かせて事後学習をさせたように、今度出すR2はプログラミングを自分で1から解かせて事後学習をしました、と言い出すかもね https://joisino.hatenablog.com/entry/physics
コレ面白いな。
線形モデル(LLM的な高度な解釈能力を持たないモデル)にLLMの内部情報を食わせると、理解出来るところと出来ないところに分類できる、線形モデルに理解出来るほど整理されているなら、LLM自身にも理解出来ている情報と見なせる。
このプローブを使ってLLMの頭のなかを分析してみたよって話。 >>98
ベンチマークは陳腐化していくって話はベンチスコア詐偽とか有るらしいから納得
間違いを認識していても訂正方法を事前学習してないから訂正できないだけで
事前学習で訂正方法を学習させれば訂正出来るようになるって話は面白いな DeepSeekV3がチャットアリーナでR1や推論無しSonnet3.7の順位を逆転
これはR2の性能は噂通りトップを伺いそうだな、まあどうせ日本語はウンチなんだろうけど 知識はあるのに上手く取り出せないのが構造上の問題となると
今までとは全然違うモデルが出てくるまでハルシネーションは解決しそうにないな
7Bで英語wiki暗記できるとかヤバいわ >>98
正直1ミリも理解できなかったが"LLMは途中で間違いに気づいている"ってのは面白かったわ
推論途中で「おっ、ワイ間違えてるやんけ」と気づいて訂正してくれたら
しょうもないミスだいぶ減って快適になりそうやね 新しいV3触ったけど日本語性能は100B程度のCommand A以下だと思う 画像生成用の自然言語プロンプトを組むのにLLM導入を考えています
用途としては「海辺に一人の女の子」等の最低限の指示からシチュエーションを膨らませて200~400トークン程度の英文プロンプトを作ってもらおうかと思ってます
要はLLMで自然言語プロンプトをランダム生成してもらいたいということです
今の環境はグラボ4060ti16GB 本体メモリ64GB Python Git導入済です
導入に使えるストレージはSSD1TB HDD2TBの余裕はあります
LLM環境は一からの構築になるのでよろしくお願いします [break]トークンを打って考え直すワザを学習時に見せとけば自分で訂正できるようになる、というのは面白いところだよね
既存のモデルがスッとv1.1を出してくる可能性ある DeepSeekはChatGPTみたいに言語関係なく常に自国政府に忖度してるんじゃなくて
聞かれた言語に合わせて答えるように調整されてるんだよな
そのせいで日本語で聞くと日本語の乏しい情報ばっか参照するから余計にしょぼくなる >>106
まずは、導入が簡単なLM Studioを試してはどうでしょ
https://lmstudio.ai/
このツール上からLLMを検索して入れる事が出来るし、ローカルでチャットも出来る
danbooru語とかの単語を幾つかチャットで与えて、それらの単語から自然言語を書かせたり出来る
規制の掛かってるLLMはチャットで脱獄させればエロいのもいけるし
プロンプトをバッチ処理で大量に自動生成したいって用途でもなければこれで良いかなと このスレ急に知的な流れになるから怖い
普段変態なのに >>98
最初だけ読んだけど、面白いね。これはちゃんと腰据えて読んだ方が良さそうって思った
それはそれとして、「インターネットのコーパスで学習したモデル＝攻殻機動隊の人形使い」
とイメージが被るせいでそれが自滅的なノイズになって読みづらい 頭悪いエロ漫画みたいな表現してくれるモデルに出会えとらん
gemma3はそんなに喘いでくれない >>90
簡単にモデル学習できるのがSBV2の強みだから自分で作成するのお勧めやで〜
SBV2のGitに全部書いてあるし、Youtubeにチュートリアルあるはずやで！ >>113
ローカルじゃ試してもダメだったから厳しそうだけどGrok 3なら頭悪いエロ漫画みたいな表現してって言うとやってくれた >>114
最近良いグラボ買えたから沼に浸かってみるで！
声優とか音声素材とか全然詳しくないから誰の声使えばああいうモデルが出来上がるか皆目見当もつかんけどな！ >>98
関連記事にあるものも面白くて読み応えあるなあ
以前話題になった敵対的ノイズの話とか認識がひっくり返された >>110
ありがとうございます
LM Studio試してみます >>106
それならTIPOでいいんじゃないの？
a1111の拡張機能とComfyUIのカスタムノードがあって
LLMを使用して自然言語とタグの両方を生成できる >>115
頭悪いエロ漫画の表現ってどんな？
作例プリーズ 今までAIのべりすとを使ってて今月になってからEasyNovelAssistantを導入した新参なんやけど
のべりすとでいう「セリフを優先して出力」「地の文を優先して出力」の指示はどうやってすればええの？
それぞれの描写に適したモデルに都度切り替えてくしか無い感じか？ >>121
セリフ中心の文章にしてくれって指示したらできんかな
〜してる会話を書いてくれって指示すると
会話のみのシナリオになる >> 106
EasyReforge のTIPO使った方が早くないか？
あれもLLMとことるんやで >>116
BGMのない朗読をYoutubeから探して学習するとこから始めてみては。思ったより簡単だと思う
スレチすまん 変態という名
>>98
こういう研究て日本でやってないの？🤔 エロ漫画みたいな頭の悪いセリフと言えばBerghof-ERP-7Bとかやな
他のモデルでも「性格:変態」「語尾に♡」とか設定するとセリフが頭悪くなる傾向にある geminiが3/25以降常にthinkするモデルに差し替わったらしい
chatarenaでいきなりトップに出とるね
今後thinkモデルが当たり前になるんだろうか
token量増えるからあまり好きじゃないんよね
ロールプレイにもあまり向いてない気がするし 画像生成でTIPOを入れてる時期が俺にもありました
いつの間にかSTを入れてRPチャットをやろうとしている >>126
何にも指定してないのにアナルに突っ込んだ時だけおほっ♡とか言うの日本のエロ同人に対する解像度高すぎで草 非推論モデルの知見を捨てて推論モデルだけを研究とはならないだろうし大丈夫じゃないか？
最近出たdeepseek v3は非推論だし >>127
ロールプレイはそうかもしれんけど、一般的な用途は多少のデメリットがあっても賢くないと使いにくいよ
直近のQwQ-32B、Gemma 3 27B、Mistral Small 3.1 24Bで比較しても
QwQ-32Bが一番プロンプトの理解力が高くて、指示に従ってくれる グラボメモリが12gだとMistral Small 3.1 24Bしか選択肢ないけどそれでもめちゃくちゃ賢い token増える問題は確かにだけど2.5proはthoughtも出力も優秀だから食うだけの実力はあると思う llmで画像生成補助の話ならなんUへ行ったほうが識者が多そうだが
いまchatgptの画像生成で盛り上がってるし >>いまchatgptの画像生成で盛り上がってる
なんかあったんか？ nvidiaがProject G-Assistの一般提供を開始してるな
nvidiaのローカルLLMがゲームプレイをアシストします。という話だったのが、こっそり方向転換してプラグイン形式でローカルLLMに機能を追加できますと言い出してる
ローカルLLMが文章、音声を手元でCLIなコマンドに変換して、MCPなりで他のLLM
に投げてくれる。と言うならだいぶ使い道あるよね
あとこいつGPUドライバが知ってる情報をある程度、あるいは全部読める可能性ある ネックなのはUIだけだから、緑色したキャラクターが画面下からにゅって出てきて応答するUIを作るだけで、デスクトップコンパニオン戦争で勝てる可能性ある
のだのだ言い出すとか... Live2DもAIで錬成出来るようになればいいのに
あとはアバターアプリをLLMと繋げば令和の伺かが完成する ■ このスレッドは過去ログ倉庫に格納されています
