MoEで使わないエキスパートをCPU側に展開したりできるらしいし、
実質使ってるのは3つくらいらしいので、最初から使わない
エキスパートがわかってるなら、少ないGPUメモリでも快適に動くんじゃね？