あ、私が書き散らかしですみません
母親はまず、息子に顔向けできない気持ちになるのではないかという意味です。

可愛がっていただろうと思ったけれども、
義父と遊んで放置していた可能性もある。
だけど矢代はどっか品のある才のある男なので
そこまでゲスい生まれ育ちとも思えないなあと。