Mistral Small 3.1 itをexl2にしてみた。

Text Generation WebuiのAPI→SillyTavernの環境
max_seq_len 16384で3090のメモリ消費が15GBくらい

context 7000投げてだいたい初回22〜28、継続40〜48トークン/秒くらいだね