私たちはそこへ行くよりほかなかった。

We had no choice but to go there.