Des trois colombiers attestés sur Quessoy (dont la Roche-Rousse et la Houssaye) celui du Bois Glé apparaît comme le plus ancien (peut-être su 16è siècle). Le colombier faisait partie intégrante d'une propriété noble avec le château, les dépendances et le moulin à eau. L'intérieurest composé d'environ mille trous (ou boulins) dans lesquels nichent les couples de pigeons.