70BくらいのdenseをQ3ぐらいで使うあたり…？
moe系はexpert部を切り出す代わりに全体サイズは性能の割にデカい感じだから、無理にvramに収めなくても