В середине XIX века Кузнецкая крепость утратила военно-оборонное значение, военные чины были «выведены на квартиры», в 1870-х годах она превратилась в Кузнецкий тюремный замок: внутренние постройки были перестроены, а проездная башня переделана в надвратную церковь. Для арестантов здесь были лазарет, библиотека, начальная школа.