MoEモデルの特徴として大規模な通信速度が無くてもパフォーマンスが出るっていうのがある
NVLinkみたいな高速な通信が必要なくなりそう