いや正しい考え方だと思うよ
あなたとセフレの間にも、セフレと3P相手の男の間にも信頼関係が無い
後でどんな問題になるか想像がつかないし、画像とか流出するかもしれん

丁寧にお断りして、それでダメなら別の男探した方がいいよ