Après une probable motte castrale au XIe siècle, un château de pierre, vraisemblablement érigé sur l’île Notre-Dame (anciennement île de Saudraie), donne naissance, rive ouest, au bourg seigneurial qui se développe autour de l’église Saint-Gilles et du château. Rive est, le Bourg aux Moines s’étend autour du prieuré de La Madeleine. En 1637, la congrégation des Augustins bâtit un couvent sur les murs de l’ancien château et de sa chapelle Notre-Dame. Ces édifices ont été remplacés au XIXe siècle par une imposante minoterie. Jusqu'en 1863, avant la construction du Pont-Neuf pour accéder à la cité de Malestroit, on franchissait un vieux pont qui avait succédé au pont-levis médiéval, situé en face de l’île Notre-Dame.