Le château est édifié en un seul jet au début du XVIIè s. dans le style Henri IV-Louis XIII par Josué du Fay de la Taillée. Leur fils Louis se marie en 1683 avec Elisabeth Martel de Vandré, la nièce d'Eléonore Desmier d'Olbreuse qui sera surnommée « la grand-mère de l'Europe ». En effet, sa fille, Sophie-Dorothée épouse Georges-Louis de Brunswick-Lunebourg, futur roi d'Angleterre. Georges-Guillaume du Fay épouse en 1705 Françoise du Vergier de la Rochejacquelein. Par sa mère, née Elisabeth de Caumont d'Adde, elle est l'arrière petite-fille du guerrier et poète Agrippa d'Aubigné. Pendant la Révolution, la famille émigre. Le château, mis en vente comme bien national, ne trouve pas d'acquéreur permettant à leurs propriétaires légitimes de le récupérer à leur retour d'exil et de le transmettre à leurs descendants directs qui le possèdent encore aujourd'hui.