同じ職場で働いていた既婚男性が、退社して他の会社へ行きました。
休みの日に、「女性の意見を聞きたいから、物件の下見に付き合ってくれないかな」と
二度ほど誘われましたが、理由をつけて断りました。
同じ会社の時から、職場は違うけど待ち合わせして二人で昼食べに行ったり、頻繁にメールのやり取りをしていました。
内容は、たわいもないことですが、ずいぶん助けられ、よき先輩です。
周りからは、００さん（私）のこと大好きだもんね、など言われます。

ただ、相手は既婚者なので、どう対処していいかわかりません。
休みの日に、遊びではないとはいえ、会うことは奥様にも悪いですよね？
この場合、私の考えすぎで、気軽に行ってもいいべきでしょうか？