GLM4.6は量子化の影響めっちゃ受けるね
Q4とQ5でも違いを感じるな
GLM4.5はQ4でもそんなことなかったのに

Q4は出力が時々変になるけどQ5はかなり抑えられる感じ
Q6でやっとオリジナル相当かな？
ただ、小説用途でサクッと読む程度ならQ4でも問題ない感じ

GLM4.6は今まで試してきたLLMの中で一番賢い
メモリ512GB積んだMac Studioくらいのスペックでサクサクと動かしてみたいもんだわ