なんJLLM部避難所 ★9

0985名無しさん＠ピンキー (ﾜｯﾁｮｲ 8f32-lFGm)

2025/11/20(木) 19:18:06.30ID:RAWQCfpx0

>>980
量子化どのサイズ使ってる？
winならiQ4_xsがギリと思うけど

0986名無しさん＠ピンキー (ｵｲｺﾗﾐﾈｵ MM8a-iH7c)

2025/11/20(木) 19:32:24.91ID:2QhNYoNfM

>>985
いま外にいるからモデル名までは分からんけど
俺が試してみたのはUbuntu Linuxでメモリ80GB/VRAM16GB環境だから
かなり無理して圧縮したやつ

メモリ256GBくらいあればマシになるんだろうな

0987名無しさん＠ピンキー (ﾜｯﾁｮｲ b232-8/fw)

2025/11/20(木) 20:22:54.41ID:G91sWGJP0

計96GBに収めようとしたならQ1選んでるね…

0988名無しさん＠ピンキー (ﾜｯﾁｮｲ 8f32-UTns)

2025/11/20(木) 20:36:59.84ID:RAWQCfpx0

>>985
iQ1ならGLM4.6じゃなくても日本語ボロボロかなぁ

0989名無しさん＠ピンキー (ﾜｯﾁｮｲ 7e6e-40gh)

2025/11/20(木) 21:49:44.21ID:s7qdA1kk0

128GBでQ2だとまあまあちゃんとしゃべる
Air準備してるらしいからそっちも期待やな

0990名無しさん＠ピンキー (ﾜｯﾁｮｲ 5303-ZqAp)

2025/11/21(金) 01:13:48.98ID:7Mfsy/hW0

MoEってdenseより量子化に敏感って印象
無理してi1を動かすよりglm airかqwen nextあたり動かしたほうがええやろな

0991名無しさん＠ピンキー (ﾜｯﾁｮｲ 1224-XMuo)

2025/11/21(金) 01:56:09.69ID:aliT9MOD0

同感
メモリ128GB環境やがGLM4.6のIQ2XXSよりもQWEN3-235BのIQ4XSの方が目に見えて早いし頭いい
4.6Airとかllama.cppのQWEN NEXT対応が待ち遠しいわ