0068名無しさん@ピンキー (ワッチョイ 3ffb-S5D2)2025/05/12(月) 08:53:36.79ID:NreAwN7e0 >>63 量子化レベルに関わらずパラメータ数の多いモデルの方が賢いと言われているけど、流石にq1とかq2に量子化されたモデルはあまり賢くないと感じる できれば8bit、最低6bitくらいで使用できるモデルが目安じゃなかろうか 個人的には4bitもちょっと性能低下が顕著かなと感じているところ