俺は43、妻が39で第二子妊娠して今8歳。良い子に育ってます。第一子は妻が37の時。
年齢的に決して遅いわけではないので回りに惑わされないで。
ただ、若くはないので検査はしてみた方がいいかも。