欲情の対象は後天的な部分も大きいだろと思うよ
小学生の頃の初恋の相手が今でも好きで、
それっぽい見た目の人(ということは必然的にロリ)しか好きにならないとか

赤ちゃんにしか興奮しないのがどういう経緯で獲得されてるのかは分からんが