新海監督本人は、オーディオコメンタリーで、伊藤先生は昔ユキノ先生と付き合っていて、別れたあとのあたらしい彼女と言っていますが
製作の段階で多くの人が不倫も指していました。
よってどちらの解釈もとっていいと思います(というか監督自信がそう言ってます)

って書いてあった＾−＾