Le château est mentionné dès le XIème siècle, mais la tour actuelle, appelée Tour Saint Pierre, date du XVème siècle. C’est le seul vestige du château de Chalonnes, construit pour barrer la route de la
Loire aux Normands. L’ancien château appartenait à Foulques Le Réchin ou le « Hargneux » qui le céda en 1096 à l’Évêque d’Angers, Hardouin Le Bueil.
Le château était entouré de fossés et de douves et se composait de 4 tours avec double pont-levis. A ses pieds, sur la Loire, se trouvaient les anciens moulins de l’évêque et le pont qui permettait de rejoindre l’île de l’Asnerie. Détruit en partie dans les dernières années du XVIème siècle, le château tomba en ruines durant les Guerres de Vendée.
Il est facile d’observer les pierres du château qui ont servi à la construction de certains bâtiments du quartier
environnant.