0597名無しさん@ピンキー (ワッチョイ 77ac-KW1h)2024/04/20(土) 21:27:25.31ID:???0 質問なんですけど、7Bクラスの言語モデルをCPU(Ryzen5 5600H)でiQ4_XSに量子化するのってもしかして無謀だったりしますか? モデルデータを公開した方がiMatrix量子化をやってなくて、iQ4_XSが欲しいので自分で作れないかと思い、quantkitという便利なツールを見つけたので試しているところです 既に処理が始まっているのですがこんな表示が出てきて戦慄しているところです ↓これは75時間くらいかかるという意味ですか? > compute_imatrix: 50.40 seconds per pass - ETA 75 hours 34.63 minutes