Первый камень в основание крепостного Петропавловского собора торжественно заложили в 1890 году. Место под его строительство — на плацу во въездной части города, именуемой «Новый план», — выбирал сам комендант. Сооружали собор на средства военно-инженерного ведомства; руководили его возведением военные инженеры: полковник Неплюев и подполковник Лимаренко.
Работы выполнялись силами строителей Черниговской губернии, отделку поручили мастерам из Петербурга.
Как было принято в то время, финансирование осуществлялось из средств Военного министерства и на пожертвования воинских чинов, которые собирались по подписке. 17 сентября 1895 года крепостной храм освятили во имя Святых апостолов Петра и Павла.
Величественный собор, возвысившийся в самом центре старого города, отличался от обычных церквей богатой архитектурой и своими размерами. Одновременно здесь могли находиться до трех тысяч человек.
Культовое здание, построенное в традициях римско-византийского стиля, венчали пять куполов, поднятых над центральным объемом на барабанах. Высота самого большого из них — центрального — составляет 50 метров. Пространство между внутренней и внешней кладкой куполов заполнили специальными глиняными резонаторами. Купола поддерживают четыре несущих колонны, которые позволяют значительно расширить внутреннее пространство храма. Снаружи собор украшают нетипичные для этого стиля тройные коринфские колонны. Внешний декор храма насчитывает 266 колонн и пилястров. Пол выложен гранитной мозаикой.
После захвата ковенской цитадели немцами в 1915 году Петропавловский собор был ими закрыт. Чуть позже с него сняли колокола и отправили их в Германию на переплавку.
Закрытым храм простоял до 1919 года, после чего был присвоен Римско-католической церковью и превращен в костел во имя Св. Архангела Михаила. По требованию властей в 1923 году с фасада храма были удалены русские надписи.
Радикально настроенные литовские политические деятели предлагали вообще разрушить собор «как не имеющий художественной ценности», и на его месте воздвигнуть «Памятник нации».
В 1934 году в Каунасском военном костеле, как его стали тогда именовать, начались богослужения по греко-католическому обряду. В советское время в здании размещалась художественная галерея. В постсоветский период литовские власти не вернули собор православной общине, а вновь передали его Римско-католической церкви.
Источник: Прибалтийские русские: история в памятниках культуры (1710–2010). – Рига: Институт европейских исследований, 2010.