Das Gebäude gehörte der Familie der Seigneurs d'Anisy. Ein Mitglied dieser sehr alten normannischen Familie begleitete Herzog Robert während des ersten Kreuzzugs im Jahr 1096 ins Heilige Land. Die Familie von Anisy war eine der ältesten in der gesamten Normandie. Das Herrenhaus wurde auf einem der vier alten Lehen des Dorfes errichtet, von dem auch die Kirche abhängt.