同じ貴族に仕えていた執事です。
跡継ぎと折り合いが悪く、そちら同様暇を出された…といった感じでどうでしょうか?