Cet ancien bâtiment faisait partie de l'ancien monastère de Milly, propriété de Fulbert 1er Seigneur de Milly et officier à la Cour de Dagobert 1er au VII siècle. Détruit en 1432, l'ensemble comprenait une vaste ferme dont le colombier pourrait être l'un des vestiges. Il possédait encore, d'après un comptage de 1792, près de 1200 "boulins" ou "niches". Les seigneurs détenaient seuls le droit de bâtir ce local aménagé pour l'élevage, suivant une réglementation royale autorisant une quantité de niches directement en rapport avec le nombre d'âcres de terre cultivable sur le domaine. Les pigeonniers ou colombiers véritables sources de revenus, situés dans les cours, au regard de tous, était signe de prospérité de la propriété et grandissaient d'autant la réputation du seigneur.