Cette porte fut édifiée à la fin du XIVe siècle lors de l’extension de l’enceinte vers le sud. Défendue par une tour, elle comporte deux passages, la porte charretière et celle pour les piétons. On fermait les portes grâce à des ponts-levis à flèches dont on peut voir encore les traces dans les murs. Le grand bâtiment qui domine les jardins fut construit vers 1780 sur les ruines du château médiéval édifié par Jean IV, duc de Bretagne à la fin du XIVe siècle. Il n’en a gardé que le nom : le château de l’Hermine. Cette grande demeure a servi de résidence privée, de trésorerie principale, d’école de droit. Aujourd'hui, elle appartient à la ville et les salles du rez-de-chaussée abritent des expositions.