それで余計に彼は不幸になった。

That added to his unhappiness.