Le château de Mirabeau n'a jamais été habité par le marquis de Mirabeau mais appartenait à son épouse, Marie-Geneviève de Vasson, descendante des seigneurs de la Mothe de Chéronnac. Il fut édifié au XVe siècle par la famille de Rousiers ; il n'en reste plus qu'une tour en ruines qui conserve cependant une remarquable série de canonnières, visibles du sentier de randonnée.