Des fortifications et des fossés devaient entourer cette petite bourgade à l'époque médiévale puisqu'au XVIIe siècle, les ruines de ces ouvrages de défense servaient à distinguer la « Ville » de ses faubourgs. En 1484. Des prisonniers étaient détenus dans une ancienne tour ou tourelle du château "Aussi a audit lieu de La Trimouille clousture de muraille non parachevée, à l'ung des coings de laquelle a une petite tourelle ronde, en laquelle basse foulse et y avait on accoustumé de mectre anciennement les prisonniers, qui est de présent fondue et vague. »