あまりハプりたくない男性と話してて、他の男性に話したくなったら、一言断って移動して良いのかな？

女性から話しかけられるのって単男的にはどうなの？やっぱ自分から話しかけないってことは興味ないから、話しかけて欲しくないかな？