Die Post Office Bay erhielt ihren Namen, weil sie von englischen Walfangschiffen als Postumschlagplatz benutzt wurde. Hier wurde eine Poststelle in Form eines Fasses eingerichtet, die noch heute von Touristen benutzt wird. Man hinterlässt einen Brief oder eine Karte und nimmt im Gegenzug eine andere Karte von dort mit, um diese dann von Zuhause aus zuzustellen.