俺の勝手な解釈としては、相手に対して恋愛感情があれば浮気・不倫、恋愛感情がなく単なる性の対象であればただの遊び、てのはどうだろう。

セフレはつまり、相手に対して恋愛感情を持たずセックスの相手に過ぎないなら、不倫にはならない、と。

ま、と言って、いざ問題になったら、そんな屁理屈がまかり通るとは思ってないが。