わざわざ消さなくても無効にして試してみたらいいんじゃない？
個人的にはモニターもHMDも音声出力無効にして使ってる音声デバイス一本に限定した方が切り替えのごちゃごちゃなくて便利