そうした事象ではなく、そのときの態度や言い方に問題(というと語弊があるが)はいっさい無かったと言いきれる？
たとえば仕事なら「仕事あるので行きません」ではなく「まだやらなきゃならない仕事あるのでごめんなさい」と愛想良くしていたかとか
まあサビ残はなにもいいことない悪の習慣なのでそこを評価されるのは間違ってるし評価されたいと思っちゃいけない要素だぞ
そこだけは改めるべき
そうしないと仕事が終わらないというのならなぜほかの人たちは飲みに行けるのか
そのことでグチる前に自分の仕事が終わってないのなら力量に見合ってない仕事量だと上司に相談するべきだし、時間内に終われるように改善点がないか探すべき
サビ残だけはダメだ
会社にもあなたにも良くない