>>631
メモリだけで1token/s出てるのでVRAM32GBではあまり効果ないね
ちなみにKVキャッシュだけGPUにロードさせたら1.1token/s

コンテキスト長はいずれもデフォルトの4K