なんJLLM部 避難所 ★10
レス数が950を超えています。1000を超えると書き込みができなくなります。
>>957
Qwen3 235Bはひと昔前のGeminiやClaudeに迫る性能だが
現行バージョンほどのプロンプト追従性は無いな
GeminiやClaude向けのRPプロンプトがまともに動くこともあればダメな時もある
Qwen3 Next 235Bが待たれる 俺のVRAM40GB環境では70B〜80BならギリVRAMに乗るが
235BはVRAM128GB級でないとVRAMに乗り切らない
⚙70B〜80B…チャット、リアルタイムアプリ
⚙235B〜…バッチ処理
と用途別に使い分けるのが現実解
MoEのエキスパート配置が賢くなればVRAM32GB以下でも235Bがサクサク動きそうだが現状では夢物語 見栄張んなよ
本当は8GBとかのグラボ使ってんだろw？ >>962
しつこい奴やなぁ
s://files.catbox.moe/8qinpa.mp4 量子化のビット数小さくするのは元々パラメータ数小さいのとはまた違ったところが劣化する感覚があるんよな
パラメータ数小さいのはドジっ子なんだけど量子化で小さくしすぎると認知症みたいな
なんかうまく説明できないんだけど
コーディング用だとこの辺が結構聞いてくるんよなぁ
パラメータ数にかかわらずQ4はどのモデルもコーディングで使えない >>963
粘着質なやつに構うと調子乗るからほっといたほうがいいよ VRAM12GB＋LM Studio(RAM96GB)環境で16GBに交換したんやが
モデルのサイズはVRAMに全部入る容量を選ぶべきか、gguf版で少しVRAMの空きを残した方が良いのかどっちなんやろか
会話のやり取りがそこそこ続くようならVRAMは数GB開けた方が良いんやろか
数回限りのやりとりならギリギリ15GBぐらいのモデルとかのほうが精度優先にしたほうが良い？ >>964
パラメータ数小さいけど量子化ビット数は大きいモデルはアホの子なんだけどやってることは納得できるしガイドしてやればちゃんと仕事してくれるイメージ
QWEN3ぐらい小説書ける100B〜150BぐらいのMoEモデルがあればQ6とかでいい感じの文章をストレス無く書いてくれそうなんだけどなぁ >>967
GLM4.5Air使えば？
110BのMoEだぞ >>923
winが昔みたいに勢いあったらWin APIゴリゴリ書いてくれるようなAI出してたんだろなー >>970
よくオープンウェイトを続けられたな
745B-A40Bだって
s://huggingface.co/zai-org/GLM-5
おかげでまだしばらく激安AIコーディングが続けられそうや 単独で使うものではないんでは
アシスタントで使うかオーケストレーションで使うかでないの
Vide codingの時代から事前プランニングの時代に一気に変化しつつあるから、合否/採点が容易なタスクは全部切り出して安いコーディングLLMでループさせる形になりそう
SOTAモデルで採点カンストするまで回したカンストSkillsをGLMに使わせる、とかになるのかな コーディングは一度でもClaudeかCodexの手軽さを味わったらローカルに戻れないよ
ほんとに小さいスクリプト単位なら使用の余地はあるんだろうけど
ローカルがClaudeに追いつける日はくるのだろうか
中華LLM + openclawに期待するしかなさそう 安いので試してだめだったら高いの使う、という手間がもうめんどいので最初から高いやつ使うよね 誰か >>966にアドバイスしてクレメンス・・・
空きが無いと話がループして止まらないとかVRAMとモデル選択のバランスがようわからんのや >>977
待てるならvramいっぱいにモデルを詰めていいし、そうでないならkvキャッシュ用に空けておくべき
モデルによってkv量子化だったりオフロードしなかった時の精度や速度が違うから試しながら調節してみ レス数が950を超えています。1000を超えると書き込みができなくなります。
