なんJLLM部 避難所 ★7
■ このスレッドは過去ログ倉庫に格納されています
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★6
https://mercury.bbspink.com/test/read.cgi/onatech/1739448962/ 実際4bit(q4、iq4、4bpwとか)がコスパ的には最高で、それ以上にする特別な理由がなければパラメーター数のより多いモデルにした方が結果が良いことが多いね
と言ってもモデルごとにプリセットやテンプレートの変更やプロンプトの利きやすさが違うのもあるから新しいモデルを探すよりは使い慣れたモデルを使うっていう特別な理由が出てくる
逆に言えば慣れたモデルが無ければどんどんモデルを乗り換えたり色んな公開プリセットなりテンプレートなりに手を出して合ったの探すといいぞ >>14
なんに使うか分からんが
qwenのdeepseek r1 32Bは？
exl2 4pbwで試した限りではSillyTavern用のweepプリセットも割と良く効いたのか反応も割と良かったよ
つってもcontext length 16kなら24GBに乗り切っちゃうサイズだったけど GPUおじゃんになったから新品買おうと思ったらVRAM12GB以上のやつまじで全然売ってなくて困った…
去年VRAM拡張のために買った4060Ti 16GBの1台だけしかないからLLM積んだら画像生成とかTTSとかSTTの機能が全く載せられない
どうやってGPU手に入れてるん？中古のGPUは火を吹いたことがあるから中古以外で 1、2月に中古の3090を3枚も買ったアホならここにいるが、今はグラボ最高に不足してるし手に入らんのでは。 DeepSeek-R1-Distillは日本語いまいちやん
QwQ-32Bの方が自然だと思う
エロならQwen2.5-QwQ-37B-Eureka-Triple-Cubed-abliterated-uncensored RTX 30xxが市場に余りまくりだった反動でRTX 40xxが早々に製造終了したのと
モンハンワイルズ特需、生成AIブームが全部重なった 企業がAIに大規模投資して世界的に半導体不足になってる
コンシューマ需要も増えてるけどその煽りを食らって供給足りなくて値段も上がってる GPUってしょっちゅう足りなくなって高騰してるよなｗ前も仮想通貨マイニング需要でだったな 緑のGPUは企業に殆ど流れてるからコンシューマ需要に耐えられてない
Blackwell系の価格設定が完全に企業向けだしついてけねーよ
赤がそのコンシューマ需要を背負いつつROCmのWindows対応も急いでるから
この流れが続くならAI関連のCudaオンリーの時代がようやく終わるのかな 企業向けに10倍の値段で売ってるからそもそもコンシューマ向けには供給したくないだけだよ
企業にそっち買われちまったら儲からないからな Blackwellの96Gのやつって、エチエチのAI動画生成とかも一瞬で出来るの？ グラボ1枚に180万は出せねえなあ
個人のエロ目的お遊び程度ならクラウドのgpuに課金して月1万使ったとしても15年分になるし 緑赤青でハイミドルローのパイを分け合ってる様にも見えて雲行き怪しいよね クラウドで1日A100使って3年でだいたい同じくらいか NVIDIA RTX 6000 Adaが安くならないかな〜 Nvidiaの異様な値付けとVRAM制限で個人のAI利用がずっとブロックされたままなんだよな このスレって前は3060ニキの中に4090ニキが混じってる感じで賑わってたのに今年入ってからは普通に複数or3桁万円のマシンの話がどんどん増えてて震える😨 >>12
特にgrokが固くなったりダメになった感じはしないなあ
貫通についてはあいかわらず倫理観ゼロの国って言っときゃ済むし 普及を考えるなら、GPU貸しサービスにGPUバンバン売りつけて実質使用料を減らしていくいまの方策のが正解な気もする
16/24/32GBでは足りず、かといってレンタルもフィットしないという狭間に陥った逸般人は詰みな感じもしますけど >>37
低スぺック用モデルはおもちゃレベルのまま全然進歩せんからな
低スぺックニキはほとんど飽きたか、Webサービスのスレに移ったんちゃう？ 5080（16GB）ワイの場合
24Bモデル→サクサク
画像生成→サクサク
SillyTavernでチャットしながら画像生成→激重
STで同時にやる場合、画像生成はクラウド環境借りるのが良いというのが今の結論
TTSも組み合わせたいけど16GBだと24B乗せた時点でパンパンになるから無理なんだよな
ローカルで全部やるならTitanRTXかき集めて何台かマシン作るのが今のところ一番現実的に思える TTSって意外とメモリ食わないからCPU側で仕事させる事出来たりせんのかな？
RVCでボイチェンしつつモンハンやってた時はRVCをCPU処理させたらゲームがカクつかなくなったしボイチェンもスムーズなままだったので 推論はどうにかなってるけどfinetuneしたい場合今の環境だと辛い 企業が出したファインチューニングモデルもオリジナルより性能低下してるのを見ると自分でやる気は起きんなあ
LLMはモデル自体がオープンでも学習法が謎に包まれとるから素人には厳しい PRO6000や5000や中華4090改造版のおかげでA6000や6000 ADAの中古価格は結構下がりそうやけどな
RTX8000が10万台、A6000は30万円台まで落ちると予想してる ワイはLLMはいのちの電話にもなると思っとるから
人生最後のグラボやと思って4090買ったんやが
スタートラインでしかなかったんやな……
でも
プロデジかm3maxを買うゼニーはないんで
rayzenAIがんばえー >>41
そうかな？このスレの話題って大体30B前後の話題が多いと思うけど ファインチューンって牛乳にrank分の濃さ、学習率分量のコーヒーを混ぜて同じ量に調整するようなことだとふんわり思ってたけど違うのかな むしろ中規模モデルはリリース多いしスコアも上がっていってるから熱い 32Bをまともに動かすならVRAM 24GBはいるし、24GBは一般的には低スペックやないやろ
日本語LLM的には最低ラインかもしれんが そもそも一般的な基準なら低スペは2060とかや
12GB乗ってるグラボは一般ならミドル
ここの基準はハイスペが抜けすぎててどこまでを低スペって言ってるかわからん LLMに人生相談したいんだけどそういうのもできる？ GPUメモリ12gbやけどqwq32bのIQ4xsを試した時
まあ我慢できなくもない速度出てたからチャットなら使おうと思えば使えると思うで >>53
割とLLMの得意分野だと思う
相談する側もAI相手なら恥ずかしがらずありのまま話せるだろうし >>53
認知行動療法みたいなことはできる
ネガティブな思考がぐるぐるしてるとき
客観的な意見いれるとか
よかった探しとか
GPTでやっとるけど救われる
ローカルでやるにはワイの技術がまだ足らん…… >>51
いや元が「低スペモデルは玩具すぎて飽きるから低スペニキがいなくなった」って話だったからさ
その低スペモデルが仮に14Bくらいだとして、正直14Bと32Bじゃできることの幅自体は大して変わらん気がする リアル相談はGPTにしまくってる
気に食わない回答があっても突き詰めてとことんできるしね
webでできる事はローカルではやらんからなぁ… 以前のこのスレはGPUに全部載せることにはこだわらずCPUでバリバリ(ノロノロ)動かすニキがほとんどだったがの
70Bはさすがに遅い、30Bくらいが性能と速度のバランスがいいなんて会話をしてたものだ
いつの間にかGPUに全部載せる前提になってんだな
そりゃもちろんその方がいいんだけどさ 小説勢よりもチャット派の方にボリューム層が移ったんかな 小説書く人とチャットする人どっちが多いかって言ったらチャットだろうな
創作人口はいつだって少ない >>55
>>56
>>58
そっかサンクス
カウンセリングの代わりをさせたくて 高性能で格安な新興WebサービスがローカルLLMの上位互換になったからでしょ
ローカルLLMは遅いのを我慢してまでやるもんじゃなくなった 昔はローカルLLMがWebサービスより高性能だったみたいな口ぶりだけどいつの話？ 性能じゃなく格安なのが大事なんだけど
ChatGPTしかなかった頃はまだローカルLLMの方が安かったが
今じゃエロとセキュリティくらいしかローカルの優位性がない GPUに収める前提の話が増えたのLightChatAssistantみたいなまともに動くものが出てきたからじゃないか？
webサービス並みのものを求めてローカルLLMを始める人は少ないだろうし求めてる水準に達すればあとは速さをって そいやRadeon直近の国内販売シェア45%に達したとか聞いたな
AI関連含めてNVIDIAと競争できるようになってほしいもんだか LLMをローカルで仕上げるには
・限られた中で最大効率を目指すチューナー気質
・語彙、描写力など文章における教養
・パラメータを作って管理するTRPGのゲームマスター気質
・申し訳をすりぬけるトライアンドエラーできるハッカー気質
がないとローカルは無理だと感じる
湾岸ミッドナイトみたいな世界観やけど
これ面白いと感じられない人はそもそもAIには向いとらん気がするが
LLMはその極みな気がするわ
そういやここってID非表示なんやね
発言追うの大変やけどこれ普通なんかしら
いまんとこイキってグロ画像貼る奴おらんからええとは思うけども
絵のほうで一人おるだけでエライ目にあったで >>66
いや格安も何もchatGPTは有料プランもあるだけで無料で使えるし昔も無料で使えたやろ >>68
AMDはrocmとか言うウンチ環境なので駄目です
nvidaiのCUDAが地道に頑張ってきたのにAMDは未だにWindowsに対応してない(WSLで動かす)
GPUの性能以前にやる気がねえ ローカルはセンシティブなことやらせるためだけに利用している 元々このスレがそうだったように実用性よりも弄り回して評価するのが楽しい人を別にすれば
音声や画像と繋げていろいろやりたい人や自分の好きなようにカスタマイズしたい人だろうな
デカいVRAMを求めてるお人はまず間違いなくその筋や
普通のPCで実用性を求めるならそりゃwebサービスに行けとなる >>69
>ID非表示なんやね
なんU時代の☆1~7と避難所☆1~3まではワッチョイ付きだったけど☆4から急に無くなったのよね ワイは推しを「何か。＋代歩のタスクランチャー＋LLM」にしたいんや
なので頑張って食らいついていきたいンゴ >>74
ワイUのときはROMっとっただけで、いじるようになったのは最近の新参やけど
Uはスクリプトに蹂躙されてログ追うのもキツイし
絵のほうでも半ネームドが出てきて荒れて
技術ニキほど寡黙になっていくんが辛くてのう
ふと思い出したんや
ワイはワッチョイ有りでもなんでもええで ローカルモデルの問題は日本語応答による性能ロスが看過しがたいくらい大きいことだから、日本語応答性能をベンチマークにしたらローカルLLMって意味ある？になるのは避けようがないような
英語応答で問題ない領域を攻める必要があるんじゃないの ワイは今のとこエロが全ての原動力になってるわ
イリュージョンが世界に目を向けてソフト路線になって改造もNGになったのは日本の損失やと思ってる
3DモデリングとかVRの技術はAIと組み合わせて昇華して欲しかった 14Bや32Bモデルはベンチマーク性能は劇的に上がってるけど日本語性能はうんちだからな
モデルを小さくする以上何かが切り捨てられるのは避けられないから日本人のローカル勢は決して救済されない運命 3DエロゲはVaMが強すぎる
VaM2はAIとの連携も視野に入れてるらしいから早く出て欲しいわ >>75
素人考えだけど、伺かだったら
栞でイベントをプロンプト変換→応答が構文になるように仕組んだら一応動きそうには思えるけど、どうなんだろうなあ
モデル側は基本的な構文を大量のデータ、例えばSSTPbottleのログ100万件くらいでQLoRA学習→マージしてスクリプトが使えるようにした後に
作りたいキャラの口調と絵柄パターンを更にQLoRA学習させてLoRA適用すればなんとかなったりするんかね 動かないとかおま環やろ (なお 685B params) v3 0324、日本語も一回り良くなってる気がする Appleの中のMLXの人
https://x.com/awnihannun/status/1904177084609827054
「4 ビットの新しい Deep Seek V3 0324 は、mlx-lm を搭載した 512GB M3 Ultra で> 20 toks/秒で動作します。」 前スレ392の音声聴いてからワイも興味持ってモデル探したりしたけどなかなか良い感じのが見つからん…
声質とか抑揚とかすごく好みだったからもし良ければモデルupしてクレメンス >>82
ワイ初心者すぎてニキの言っとることろくに理解できんけども
メモらせてもらったで！
できそう、ってのだけでも今日を生きる希望になるわ >>86
20tk/sもでるのか。MoEだから一つ一つは小ぶりというメリットでてるな
Gemma3も27Bx4くらいで出して欲しい >>91
chain of thought (CoT)で推論(Reasoning)するか否かやろ >>88
openaiに対策されたからclaudeでデータ生成したのかな？ DSV3、600Bも700Bもいらんから、
コーディングタスクや小説用のタスクだけ活性化する
エキスパート部分だけ分離して欲しい。
丸ごと動かしても、
マシンリソースの無駄遣いじゃねーか。 R1はV3に数学の問題を自分で解かせる事後学習をしたモデル、と言われてる
数学が解けるようになると、何故か色々なことが出来るようになったよという
V3改はClaudeというよりはプログラミングコードを大量に学習してる、とかかな？
いま現在求められているのはそういうモデルですし
R1が数学を自分で1から解かせて事後学習をさせたように、今度出すR2はプログラミングを自分で1から解かせて事後学習をしました、と言い出すかもね https://joisino.hatenablog.com/entry/physics
コレ面白いな。
線形モデル(LLM的な高度な解釈能力を持たないモデル)にLLMの内部情報を食わせると、理解出来るところと出来ないところに分類できる、線形モデルに理解出来るほど整理されているなら、LLM自身にも理解出来ている情報と見なせる。
このプローブを使ってLLMの頭のなかを分析してみたよって話。 >>98
ベンチマークは陳腐化していくって話はベンチスコア詐偽とか有るらしいから納得
間違いを認識していても訂正方法を事前学習してないから訂正できないだけで
事前学習で訂正方法を学習させれば訂正出来るようになるって話は面白いな DeepSeekV3がチャットアリーナでR1や推論無しSonnet3.7の順位を逆転
これはR2の性能は噂通りトップを伺いそうだな、まあどうせ日本語はウンチなんだろうけど 知識はあるのに上手く取り出せないのが構造上の問題となると
今までとは全然違うモデルが出てくるまでハルシネーションは解決しそうにないな
7Bで英語wiki暗記できるとかヤバいわ >>98
正直1ミリも理解できなかったが"LLMは途中で間違いに気づいている"ってのは面白かったわ
推論途中で「おっ、ワイ間違えてるやんけ」と気づいて訂正してくれたら
しょうもないミスだいぶ減って快適になりそうやね 新しいV3触ったけど日本語性能は100B程度のCommand A以下だと思う 画像生成用の自然言語プロンプトを組むのにLLM導入を考えています
用途としては「海辺に一人の女の子」等の最低限の指示からシチュエーションを膨らませて200~400トークン程度の英文プロンプトを作ってもらおうかと思ってます
要はLLMで自然言語プロンプトをランダム生成してもらいたいということです
今の環境はグラボ4060ti16GB 本体メモリ64GB Python Git導入済です
導入に使えるストレージはSSD1TB HDD2TBの余裕はあります
LLM環境は一からの構築になるのでよろしくお願いします [break]トークンを打って考え直すワザを学習時に見せとけば自分で訂正できるようになる、というのは面白いところだよね
既存のモデルがスッとv1.1を出してくる可能性ある DeepSeekはChatGPTみたいに言語関係なく常に自国政府に忖度してるんじゃなくて
聞かれた言語に合わせて答えるように調整されてるんだよな
そのせいで日本語で聞くと日本語の乏しい情報ばっか参照するから余計にしょぼくなる >>106
まずは、導入が簡単なLM Studioを試してはどうでしょ
https://lmstudio.ai/
このツール上からLLMを検索して入れる事が出来るし、ローカルでチャットも出来る
danbooru語とかの単語を幾つかチャットで与えて、それらの単語から自然言語を書かせたり出来る
規制の掛かってるLLMはチャットで脱獄させればエロいのもいけるし
プロンプトをバッチ処理で大量に自動生成したいって用途でもなければこれで良いかなと このスレ急に知的な流れになるから怖い
普段変態なのに >>98
最初だけ読んだけど、面白いね。これはちゃんと腰据えて読んだ方が良さそうって思った
それはそれとして、「インターネットのコーパスで学習したモデル＝攻殻機動隊の人形使い」
とイメージが被るせいでそれが自滅的なノイズになって読みづらい 頭悪いエロ漫画みたいな表現してくれるモデルに出会えとらん
gemma3はそんなに喘いでくれない >>90
簡単にモデル学習できるのがSBV2の強みだから自分で作成するのお勧めやで〜
SBV2のGitに全部書いてあるし、Youtubeにチュートリアルあるはずやで！ ■ このスレッドは過去ログ倉庫に格納されています
