Башня св. Олафа — общепризнанный символ города, находится в самом центре замкового острова. Сейчас в главном корпусе замка расположился Выборгский краеведческий музей, а сам он стал центром культурной жизни города: здесь проходят концерты, фестивали, рыцарские турниры.
