なんJLLM部 避難所 ★7
■ このスレッドは過去ログ倉庫に格納されています
AIに色々なことをしゃべってもらうんやで >>2 以降 https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/ https://mercury.bbspink.com/test/read.cgi/onatech/1739448962/ oobabooga/text-generation-webui https://github.com/oobabooga/text-generation-webui ●Zuntanニキ謹製のツールEasyNovelAssistant https://github.com/Zuntan03/EasyNovelAssistant https://github.com/SillyTavern/SillyTavern 例としてKoboldで起動したローカルモデルとSillyTavernを接続する設定や http://localhost:5001/ ●多くのモデルには「base」と「instruct」の2種類があるで ●その他の最近話題になったモデルも挙げとくで https://huggingface.co/collections/anthracite-org/v4-671450072656036945a21348 ●高性能なPCがないけどLLMを試したい人や大きなモデルを速く動かしたい人はpaperspaceなどのクラウド環境を使うのも手やで https://aistudio.google.com/apikey ここからできるで とりあえずテンプレそのままで立てた、ミスってたらすまん grok3、nsfwの話題に関してはどんどんナーフされてってる？ サンイチやで 実際4bit(q4、iq4、4bpwとか)がコスパ的には最高で、それ以上にする特別な理由がなければパラメーター数のより多いモデルにした方が結果が良いことが多いね >>14 GPUおじゃんになったから新品買おうと思ったらVRAM12GB以上のやつまじで全然売ってなくて困った… 1、2月に中古の3090を3枚も買ったアホならここにいるが、今はグラボ最高に不足してるし手に入らんのでは。 DeepSeek-R1-Distillは日本語いまいちやん RTX 30xxが市場に余りまくりだった反動でRTX 40xxが早々に製造終了したのと 企業がAIに大規模投資して世界的に半導体不足になってる GPUってしょっちゅう足りなくなって高騰してるよなｗ前も仮想通貨マイニング需要でだったな 緑のGPUは企業に殆ど流れてるからコンシューマ需要に耐えられてない 企業向けに10倍の値段で売ってるからそもそもコンシューマ向けには供給したくないだけだよ Blackwellの96Gのやつって、エチエチのAI動画生成とかも一瞬で出来るの？ グラボ1枚に180万は出せねえなあ 緑赤青でハイミドルローのパイを分け合ってる様にも見えて雲行き怪しいよね クラウドで1日A100使って3年でだいたい同じくらいか NVIDIA RTX 6000 Adaが安くならないかな〜 Nvidiaの異様な値付けとVRAM制限で個人のAI利用がずっとブロックされたままなんだよな このスレって前は3060ニキの中に4090ニキが混じってる感じで賑わってたのに今年入ってからは普通に複数or3桁万円のマシンの話がどんどん増えてて震える😨 >>12 普及を考えるなら、GPU貸しサービスにGPUバンバン売りつけて実質使用料を減らしていくいまの方策のが正解な気もする >>37 5080（16GB）ワイの場合 TTSって意外とメモリ食わないからCPU側で仕事させる事出来たりせんのかな？ 推論はどうにかなってるけどfinetuneしたい場合今の環境だと辛い 企業が出したファインチューニングモデルもオリジナルより性能低下してるのを見ると自分でやる気は起きんなあ PRO6000や5000や中華4090改造版のおかげでA6000や6000 ADAの中古価格は結構下がりそうやけどな ワイはLLMはいのちの電話にもなると思っとるから >>41 ファインチューンって牛乳にrank分の濃さ、学習率分量のコーヒーを混ぜて同じ量に調整するようなことだとふんわり思ってたけど違うのかな むしろ中規模モデルはリリース多いしスコアも上がっていってるから熱い 32Bをまともに動かすならVRAM 24GBはいるし、24GBは一般的には低スペックやないやろ そもそも一般的な基準なら低スペは2060とかや LLMに人生相談したいんだけどそういうのもできる？ GPUメモリ12gbやけどqwq32bのIQ4xsを試した時 >>53 >>53 >>51 リアル相談はGPTにしまくってる 以前のこのスレはGPUに全部載せることにはこだわらずCPUでバリバリ(ノロノロ)動かすニキがほとんどだったがの 小説勢よりもチャット派の方にボリューム層が移ったんかな 小説書く人とチャットする人どっちが多いかって言ったらチャットだろうな >>55 >>56 >>58 高性能で格安な新興WebサービスがローカルLLMの上位互換になったからでしょ 昔はローカルLLMがWebサービスより高性能だったみたいな口ぶりだけどいつの話？ 性能じゃなく格安なのが大事なんだけど GPUに収める前提の話が増えたのLightChatAssistantみたいなまともに動くものが出てきたからじゃないか？ そいやRadeon直近の国内販売シェア45%に達したとか聞いたな LLMをローカルで仕上げるには >>66 >>68 ローカルはセンシティブなことやらせるためだけに利用している 元々このスレがそうだったように実用性よりも弄り回して評価するのが楽しい人を別にすれば >>69 ワイは推しを「何か。＋代歩のタスクランチャー＋LLM」にしたいんや >>74 ローカルモデルの問題は日本語応答による性能ロスが看過しがたいくらい大きいことだから、日本語応答性能をベンチマークにしたらローカルLLMって意味ある？になるのは避けようがないような ワイは今のとこエロが全ての原動力になってるわ 14Bや32Bモデルはベンチマーク性能は劇的に上がってるけど日本語性能はうんちだからな 3DエロゲはVaMが強すぎる >>75 動かないとかおま環やろ (なお 685B params) v3 0324、日本語も一回り良くなってる気がする Appleの中のMLXの人 https://x.com/awnihannun/status/1904177084609827054 前スレ392の音声聴いてからワイも興味持ってモデル探したりしたけどなかなか良い感じのが見つからん… >>82 >>86 >>91 >>88 DSV3、600Bも700Bもいらんから、 R1はV3に数学の問題を自分で解かせる事後学習をしたモデル、と言われてる https://joisino.hatenablog.com/entry/physics >>98 DeepSeekV3がチャットアリーナでR1や推論無しSonnet3.7の順位を逆転 ■ このスレッドは過去ログ倉庫に格納されています
