質問者が想定しているような物理的被害を受けることはありません
ただし満員電車では痴漢に触られることがあるかもしれません

精神的被害としては舌打ちや暴言などの攻撃的なものはありません
特に一人で歩いている人は女装者を無視しようとする傾向があり、無害ですが
複数で連れ歩いている集団の場合、嘲笑的態度をとることがしばしばあります