Texture2D.EncodeToPNGで連番出力を行っているようですが、Unity上の動画では劣化とバンディングが発生しているため、そのまま連番画像も劣化してるんですよね
1passと2passの時も同様に劣化しているし、Unity上で映し出した動画から連番を作っているのが劣化の原因だと思います
作者のJavski2様に提案ですが、連番作成作業もFFmpegを使って処理するのはどうでしょうか？これなら画質が変わらないと考えられます
自分の場合、超解像処理フェーズの後、FFmpegで作成した連番をTG/raw*に入れてからエンコードすると元素材と全く変わらない画質になるからやっぱりこれが原因だと思うんですよね……