Макет замка. Экспонат постоянной выставки «Шведский Выборг»
Замок стал резиденцией наместника шведского короля. Кроме наместника и его свиты в замке жил фогт (управляющий), а также священнослужители, слуги, ремесленники и многочисленный воинский гарнизон. Долгие годы Выборгский замок был основной пограничной крепостью Швеции на востоке и административным центром Выборгского лена.
Наивысшего расцвета Выборгский замок достиг в середине XV века, в годы наместничества Карла Кнутссона Бунде, ставшего впоследствии королем Швеции Карлом VIII. В это время был перестроен главный корпус, где располагались покои наместника и апартаменты, в которых во время визитов в Выборг останавливались короли и высокопоставленные чиновники. Перед главным корпусом и башней Святого Олафа построили южную оборонительную стену с четырьмя башнями: Новой, Караульной, Пожарной и Тюремной. На северо-восточной стороне острова возвели башню Сапожника, на юго-востоке — Райскую башню. Главные ворота устроили в проездной арке Пожарной башни.
В 1555 году Выборгский замок посетил король Густав I Ваза, лично инспектировавший королевские замки Швеции. Недовольный состоянием укреплений и башен король приказал начать масштабную реконструкцию крепости, мало приспособленной к ведению артиллерийской обороны. Работы начались в 1559 году, в период наместничества Класа Кристерссона Хорна. Строительными работами в замке руководил немецкий мастер Иоганн де Порте; в 1570-х годах на службу в замок был принят архитектор Якоб ван Стендель (Стенгель).
На Замковом острове сооружались новые опорные стены, перестраивались башни замка и его главный корпус. Реконструкция замкового донжона началась в 1561 году и длилась четыре года. Башню Святого Олафа разобрали до уровня второго яруса, а затем надстроили кирпичом: третий и четвертый ярусы — четырехгранные, три верхних получили восьмигранную форму. Высота башни (без кровли) составила 38 метров. На межэтажных перекрытиях перестелили полы, построили каменную винтовую лестницу. У бойниц верхних этажей установили пушки крупного калибра. Крыша башни была сделана из бревен и досок и покрыта кровельным свинцом, присланным из Стокгольма шведским королем Эриком XIV.
В 1580-е годы реконструкции подверглась южная оборонительная стена. Трасса новой стены отодвинулась в глубь острова и прошла под Кузнечным двором до южного угла современных складских помещений. В 1582 году началось возведение каменной наружной стены, дугой охватившей остров с запада и с севера.
В 1606–1608 годах Пожарная башня и привратный дом при въезде на остров были перестроены и объединены в одно здание — Дом наместника, ставший позднее резиденцией выборгского губернатора.
Карл Кнутссон Бунде
Густав I Ваза
В составе России, Финляндии и СССР
В 1710 году, в период осады Выборга войсками Петра I, стены и постройки крепости ощутимо пострадали от российской артиллерии. После завоевания Выборга замок находился в ведении российских военных властей. На протяжении всего XVIII столетия замковые сооружения многократно ремонтировались и перестраивались. В этот период появились сооружения Казарменного корпуса и арсеналов.
Взятие Выборга
К середине XVIII века, когда на острове Линнансаари (Твердыш) была построена крепость Корон-Санкт-Анна, оборонное значение замка заметно снизилось. Оставаясь военным объектом, он больше не использовался в боевых действиях.
В 1834 и в 1856 годах в Выборгском замке случились два разрушительных пожара. Особенно тяжелыми были последствия второго: башня Святого Олафа выгорела изнутри, сгорел главный корпус, рухнули перекрытия, обрушились внутренние стены крепости. На несколько десятилетий эти помещения были заброшены.
В 1891–1894 годах замок был восстановлен силами Выборгского крепостного военно-инженерного управления. Руководителем Ремонтного комитета стал инженер-капитан Э. К. фон Лезедов. Работы по «исправлению Выборгского шлосса» затронули все сооружения Замкового острова. Были снесены ветхие и аварийные сводчатые перекрытия, заново отстроены разрушенные огнем стены Главного корпуса, перепланированы интерьеры, возведены новые лестницы. Над башней Святого Олафа и Райской башней появились новые шлемовидные купола. Кузнечный двор обнесли каменной опорной стеной, благоустроили территорию острова. Замок в результате этих работ получил свой современный облик.
В годы, когда Выборг входил в состав независимой Финляндии (1918–1940, 1941–1944), в крепости располагался штаб 2-й финской дивизии. 20 июня 1944 года полковник А. Кемппи приказал спустить финский флаг над Выборгским замком. Вечером того же дня советские войска вошли в замок, и над башней Святого Олафа был поднят красный флаг.
Интерьер постоянной экспозиции «Выборг в составе Великого княжества Финляндского и независимой Финляндии»
С 1944 по 1964 год Выборгский замок использовался советскими военными. В замке были размещены 71-й отдельный гвардейский батальон связи и 49-й отдельный гвардейский саперный батальон 45-й гвардейской дивизии. В помещениях замка жили семьи военнослужащих.
В замке действует постоянная экспозиция «Выборг в годы Второй мировой войны»
В 1964 году Министерство обороны СССР передало Выборгский замок Государственной инспекции по охране памятников. В 1970 году здесь открылись первые экспозиции Выборгского краеведческого музея.