
Lors du règne de Fulbert Ier sur Milly, se trouvait un monastère. Il fut en partie détruit par les incursions anglaises en 1432. Le colombier serait l’un des seuls vestiges encore debout faisant partie de la ferme du monastère.
Les colombiers étaient signe de prospérité pour les villes en possédant un. Seul le seigneur des lieux était en droit de faire construire un colombier et le nombre de niches était réglementé par décret royal. Le colombier est en restauration depuis 2021.