El edificio fue construido a finales del siglo XVIII para su utilización como cárcel. En 1479 se encontraba a cargo de las obras el ingeniero José López Llanos y en el año 1802 el edificio ya estaba en uso.
Construido en un lugar estratégico, al final de la alameda y conectando los barrios de la Magdalena y Esterio, sigue una tipología de edificio claustral muy utilizada en las construcciones de cárceles públicas. En torno a este patio se organizaban las diferentes estancias del complejo: celdas, cuerpo de guardia, juzgados e incluso alguna dependencia y salas de uso municipal.
Hacia el año 1926 el edificio pierde su uso judicial y comienza una nueva etapa como centro de enseñanza, siendo el primer instituto que tuvo la ciudad y que llevó el nombre de Concepción Arenal.
En 1944 el entonces Instituto es transferido al ejército para su uso como Gobierno Militar. Para esta nueva etapa la edificación sufre una importante transformación que va a afectar radicalmente a su composición original, con el añadido de dos pisos sobre los ya existentes, y con la colocación de los elementos decorativos en ventanas y en la puerta principal de acceso dejando la construcción con la tipología y forma actual.
Ya año 1999 el edificio es adquirido por la Fundación Caixa Galicia, actualmente Afundación, siendo necesaria una nueva transformación, especialmente perceptible en los espacios interiores, para convertir el espacio en un centro cultural de grande importancia para la vida de la ciudad.