Au Moyen Âge, il est d'usage de placer les ponts que l'on construit sous la protection de la vierge Marie. C'est pour cela qu'une première chapelle est construite à proximité du pont au 12e siècle à l'initiative des barons de Mortagne.
Cette première chapelle est endommagée par des crues importantes de la Sèvre Nantaise en 1740 et 1770. Pendant la guerre de Vendée, elle est en grande partie détruite par les Vendéens qui font sauter le pont et la chapelle privant ainsi les armées républicaines d'une voie d'accès à Cholet où a lieu la bataille d'octobre 1793.
Au début des années 1800, mademoiselle Moigas entreprend la reconstruction de la chapelle en quêtant les passants pour financer son oeuvre.