Restos del recinto fortificado

Pont-du-Château conserva los restos de varias murallas fortificadas dispuestas concéntricamente alrededor del actual castillo-mirador.
En el siglo XII, Pont-du-Château era la fortaleza más importante de Limagne. Suger, que acompañó al rey Luis VI el Gordo a Auvernia, habló de "Castrum peroptimum", una fortaleza de primer orden. Pont-du-Château, que pertenecía al conde de Auvernia Guillaume VI, fue entonces sometida por el rey. En 1363, fue la primera fortaleza de Auvernia tomada por los ingleses.

En la Edad Media, la ciudad se desarrolló en torno a una fortaleza con una poderosa torre del homenaje cuadrada, situada en el emplazamiento del actual ayuntamiento. La topografía de la ciudad muestra una red de calles dispuestas concéntricamente alrededor del castillo, situado en un promontorio que domina el río Allier. Pierre Mondanel, historiador de la ciudad, creyó reconocer las antiguas murallas en el trazado de las calles, que comparó con la cáscara de una cebolla. El campanario (declarado Monumento Histórico en 1982) podría ser una torre de una de estas murallas. Otra torre, conocida como la "Tour Cochon", situada en la rue des Remparts, ha sido identificada con mayor certeza como perteneciente a la muralla exterior. Esta muralla estaba protegida por fosos, que se fueron construyendo a lo largo de los siglos. En la calle del Hôtel-de-Ville, cerca de la calle des Remparts, se situaba probablemente una puerta de acceso a la ciudad.

En 1954, el ayuntamiento adquirió un notable conjunto de 37 planos de la ciudad. Encargados en 1758 por Philippe-Claude de Montboissier-Beaufort-Canillac, fueron realizados por los agrimensores Gilbert Baudusson, su hijo Côme-Damien y Jacques-Antoine Dulaure (1755-1835). Dulaure, geógrafo, historiador y futuro diputado, fue también el autor de la "Description des principaux lieux de France" (1789), cuyo quinto libro está dedicado a Auvernia.