音声とタイムシートがずれる問題は音声ファイルの形式が関係していると思う。
自分の体感ではmp3の音声でズレる。その場合はAudacityでwav形式に出力した音声で時間を計測して対処している。