浮気は読んで字のごとく気の問題。
気持ちがあるかどうか。
つまり、相手に恋愛感情があるかないかで判断されるべき。

男の場合、気持ちがなくともセックスはできる（女も場合によりそうだろうが）から、恋愛感情を持たないでセックスする相手がいる場合もある。
それがすなわちセフレであるから、セフレの場合、不倫とはいえない。

というのが俺の勝手な解釈だがどうか。