Présumé du XIIème siècle, il est l'un des témoins du passé prospère de Marac. Il était alors une dépendance du Château de Champagne situé sur un éperon rocheux de l'autre côté de la Suize et qui faisait pendant au Château de Bourgogne (grosse maison à tourelle dans la rue de Bourgogne).
Marac était un poste frontière et sa situation politico-historique a laissé au plan de ville actuel une empreinte indélébile. Deux rues parallèles orientées nord-ouest, sud-est : la rue de Bourgogne et la rue de Champagne, la partie la plus ancienne du village se situant sur la rive ouest de la Suize.
Le Colombier était un privilège du Seigneur de Marac pour y élever des pigeons. Il se présente comme une tour ronde de 8,50 mètres de diamètre et comprend 1500 boulins auxquels on accédait par une échelle tournante. L'édifice a été restauré en 1983.