Situé à l’entrée de la cité historique mais détaché de ses remparts, le château abrite l’Hôtel de Ville et le musée municipal. Située au premier plan, la Tour Quic-en-Groigne doit son appellation à une inscription, effacée pendant la Révolution rappelant qu’elle avait été édifiée, sur ordre d’Anne de Bretagne, contre l’avis des Malouins : « Quic-en-Groigne, ainsi sera, c’est mon plaisir ». Autrement dit, quelle que soit votre humeur, cette tour sera bâtie.
Véritable vigie, le donjon (1424) s’appuie sur une portion de l’enceinte primitive (14e siècle) ; les deux plus grosses tours tournées vers la ville datent du dernier tiers du 15e siècle.