ここだけの話だが、彼には愛人がいる。

Between ourselves, he keeps a mistress.