C'est Pierre Houel, sieur de Valleville, qui a fait construire le manoir de 1613 à 1617 dans sa propriété du Fay. Quelques années plus tard, Pierre Corneille viendra rendre visite à son oncle, alors curé de Sainte-Marie des Champs. Le Manoir fut provisoirement un centre de détention pendant la Révolution.