さしつかえなければ遠慮していただきたいのですが。

I'd rather you didn't, if you don't mind.