Le faubourg de la Villedieu du Pont de Vau se développe au Moyen Age, proche du gué de Pairé permettant de franchir la Sèvre Niortaise. L’histoire de son aumônerie débute vers 1400 quand l’écuyer Aimery de Magné, seigneur de l'Isle et de Ste-Néomaye se fait bâtir une maison de campagne où il y séjourne le temps nécessaire pour gérer ses affaires, tandis que le reste de l'année, il demeure dans son château. Souhaitant s'assurer un au-delà confortable, il la lègue à une communauté religieuse pour y recevoir les pèlerins de St-Jacques de Compostelle empruntant le chemin secondaire Cherveux - Celles-s.-Belle. Pour la compléter, la comtesse de Crissé fait construire en 1650 une chapelle dans le quartier.
À la Révolution, vendue comme bien national, elle devient une maison d’habitation. Elle conserve de beaux éléments architecturaux et est géré aujourd’hui par l’Association ADANE.