気分じゃないというのは十分な理由になるから正直に言えば良いと思う。
疲れてるもそうだし、その他もそう。
単に頻度とパートナーを理解して気遣っているかの問題だろ？
もちろん誘う側も同じようにパートナーを気遣うべきだし。無理強いはよくない。