なんJLLM部避難所 ★9

0987名無しさん＠ピンキー (ﾜｯﾁｮｲ b232-8/fw)

2025/11/20(木) 20:22:54.41ID:G91sWGJP0

計96GBに収めようとしたならQ1選んでるね…

0988名無しさん＠ピンキー (ﾜｯﾁｮｲ 8f32-UTns)

2025/11/20(木) 20:36:59.84ID:RAWQCfpx0

>>985
iQ1ならGLM4.6じゃなくても日本語ボロボロかなぁ

0989名無しさん＠ピンキー (ﾜｯﾁｮｲ 7e6e-40gh)

2025/11/20(木) 21:49:44.21ID:s7qdA1kk0

128GBでQ2だとまあまあちゃんとしゃべる
Air準備してるらしいからそっちも期待やな

0990名無しさん＠ピンキー (ﾜｯﾁｮｲ 5303-ZqAp)

2025/11/21(金) 01:13:48.98ID:7Mfsy/hW0

MoEってdenseより量子化に敏感って印象
無理してi1を動かすよりglm airかqwen nextあたり動かしたほうがええやろな

0991名無しさん＠ピンキー (ﾜｯﾁｮｲ 1224-XMuo)

2025/11/21(金) 01:56:09.69ID:aliT9MOD0

同感
メモリ128GB環境やがGLM4.6のIQ2XXSよりもQWEN3-235BのIQ4XSの方が目に見えて早いし頭いい
4.6Airとかllama.cppのQWEN NEXT対応が待ち遠しいわ

0992名無しさん＠ピンキー (ﾜｯﾁｮｲ 76a9-tBeq)

2025/11/21(金) 11:20:05.51ID:+PUA6WqL0

llamacppのqwen next対応時間かかっとるね
あのprは動くようにするの最優先でパフォーマンスは別prにするって言ってたけど
レビュー段階に入ってからなんだかんだパフォーマンスの部分も手つけ始めとるな

0993名無しさん＠ピンキー (ﾜｯﾁｮｲ 27a7-VoFy)

2025/11/21(金) 13:40:46.74ID:1ofWBtyS0

nemotron-nanoも計算に細かいバグがあるんじゃない？って言われてるみたいだし
ハイブリッドモデルは全体を正しく計算できるように設計するのが難しいみたいだね