相談させてください。

俺 既婚子持ち 
相手(女) 会社の後輩

この前後輩と居酒屋で呑んだ後に今嫁が実家に帰っていたので
下心もあり、家に誘って飲みなおしたのだが、いまいち勇気が出ず何もしないでその日は終わった。
その後も二人でご飯を食べに行ったり、相手の家に遊びに行ったりしたが話をするだけで終わるのが多く
この前勇気を出して俺のことどう思っているのか聞いたところ
「それって下衆な意味で聞いています?既婚者はまずないですよ。」ときっぱり言われたんだがこれはただ話し相手がほしかったってだけなのかな?
俺が後輩の好きな有名人に似ててかっこいいです。とかウチにご飯食べにきますか?とか
言ってるから俺に好意があるのかと思っていたけど、それは恋愛感情ではないってことだよね?
ただ俺を弄びたかっただけってことですかね?
ちなみに後輩とは一緒に仕事をする中ではないので特に会社で恨みを買うようなことはしてないです。