L'édifice appartenait à la famille des seigneurs d'Anisy. Un des membres de cette très ancienne famille normande accompagna le duc Robert en Terre Sainte au cours de la première croisade en 1096. La famille d'Anisy était l'une des plus anciennes de toute la Normandie. Ce manoir est bâti sur un des 4 anciens fiefs du village dont dépendant aussi l'église.