La ville s’entoure dès le 12e s. d’une première enceinte qui concentre la rue droite (axe commercial principal), le quartier religieux et marchand. C’est sur cette première enceinte que se trouve la tour Tournemire. Une deuxième enceinte vient encercler la ville au 14e s. afin de protéger les différents quartiers appelés barrys.
La tour Tournemire qui porte le nom d’une famille de bourgeois de la ville se trouve sur l’enceinte constituée de maisons formant remparts. Haute de 22 m et divisée en 4 niveaux, cette tour de guet a aussi abrité une prison. Elle possède peu d’ouvertures d’origine. La bretèche (construction en surplomb) et les mâchicoulis ont été rajoutés au début du 20e s. A l’origine on entre dans la tour par une porte aménagée à 4 m du sol par une échelle que l’on tire derrière soi. Cela rend la tour difficilement accessible.
A l’intérieur de la tour, les prisonniers dont certains étaient des bateliers, ont laissé des graffitis de bateaux.