Overblijfselen van de versterkte omheining

In Pont-du-Château zijn de overblijfselen bewaard gebleven van verschillende versterkte muren die concentrisch rond het huidige kasteel-mairie zijn geplaatst.
In de 12e eeuw was Pont-du-Château de belangrijkste vesting in Limagne. Suger, die koning Lodewijk VI de Dikke naar Auvergne vergezelde, sprak over "Castrum peroptimum", een eersteklas bolwerk. Pont-du-Château, dat toebehoorde aan de graaf van Auvergne Guillaume VI, werd toen door de koning onderworpen. In 1363 was het de eerste vesting in Auvergne die door de Engelsen werd ingenomen.

In de Middeleeuwen ontwikkelde de stad zich rond een fort met een krachtige vierkante donjon, die op de plaats stond van het huidige stadhuis. De topografie van de stad toont een netwerk van straten die concentrisch rond het kasteel zijn gerangschikt, gelegen op een voorgebergte dat uitkijkt over de rivier de Allier. Pierre Mondanel, de historicus van de stad, meende de oude stadsmuren te herkennen in het stratenpatroon, dat hij vergeleek met de schil van een ui. Het belfort (geklasseerd als Historisch Monument in 1982) zou een toren van een van deze muren kunnen zijn. Een andere toren, bekend als de "Tour Cochon", in de Rue des Remparts, is met grotere zekerheid geïdentificeerd als behorend tot de buitenste muur. Deze muur werd beschermd door grachten, die in de loop der eeuwen geleidelijk werden opgebouwd. Een toegangspoort tot de stad bevond zich waarschijnlijk in de rue de l'Hôtel-de-Ville, vlakbij de rue des Remparts.

In 1954 verwierf het stadsbestuur een opmerkelijke reeks van 37 stadsplattegronden. Ze werden in 1758 in opdracht van Philippe-Claude de Montboissier-Beaufort-Canillac gemaakt door de landmeters Gilbert Baudusson, zijn zoon Côme-Damien en Jacques-Antoine Dulaure (1755-1835). Dulaure, een geograaf, historicus en toekomstig parlementslid, was ook de auteur van "Description des principaux lieux de France" (1789), waarvan het vijfde boek gewijd is aan Auvergne.