なんJLLM部 避難所 ★9
レス数が950を超えています。1000を超えると書き込みができなくなります。
nemotron-nanoも計算に細かいバグがあるんじゃない？って言われてるみたいだし
ハイブリッドモデルは全体を正しく計算できるように設計するのが難しいみたいだね GLM4.6は量子化の影響めっちゃ受けるね
Q4とQ5でも違いを感じるな
GLM4.5はQ4でもそんなことなかったのに
Q4は出力が時々変になるけどQ5はかなり抑えられる感じ
Q6でやっとオリジナル相当かな？
ただ、小説用途でサクッと読む程度ならQ4でも問題ない感じ
GLM4.6は今まで試してきたLLMの中で一番賢い
メモリ512GB積んだMac Studioくらいのスペックでサクサクと動かしてみたいもんだわ レス数が950を超えています。1000を超えると書き込みができなくなります。
