Accolée à la porte Notre-Dame, la Tour des prisons,dont la partie la plus ancienne de l'édifice (fin XIème s. ou XIIème s.) pourrait correspondre à la tour seigneuriale. Remanié à différentes époques, l'ensemble conserve encore des cellules aux murs recouverts de graffiti anciens (noms de détenus, prières, croix...).
A l'emplacement de l'actuelle Maison de la Justice : un ancien hôtel particulier du XVIème s., de style Renaissance.