
La puissance des barons de Montbrun se manifeste par l’imposant château qui surplombe la vallée. Symbolisé par sa tour ronde, le château est reconstruit par la famille de Cardaillac-Brengues à la fin du XVe ou au début du XVIe siècle. Du château du Moyen Âge ne subsistent que deux murs du donjon. Les ruines du château sont protégées au titre des Monuments historiques depuis 1984.
Aux mains de la prestigieuse famille des Gourdon au Moyen Âge, la baronnie est transférée aux Cardaillac par le jeu d’alliance et de dons. Au XVIe siècle, une famille protestante de Picardie, les Suzanne, devient seigneur de Montbrun. Elle fait construire le pigeonnier dit Fauconnier. Au XVIIe siècle, la famille de Laurency acquiert la seigneurie et la fait élever au rang de marquisat. On leur doit la terrasse qui surplombe la vallée.