いい買い物したなぁ...
多少遅くてもQ6が普通に動くからうらやましい
LLMも特定の数個のパラメーターが超重要になる部分があって
そこを潰すとまったく動かなくなる。
この値が量子化でビットが減ると突然バカになるからQ6あたりが限界という論文があったな
(Q4,Q3でも動くは動くけど、みたいな。俺がこの状態w)
世の研究者は80GBのnVidiaを使っている人多いから
実用的なでっかいLLMってそのくらいのメモリーが必要なんよね
だから64GのM系maxだと微妙に足りぬ。128GあるとIDEとか並行で動かせるから仕事も捗りそう