Il existait un château féodal à Prohencoux dès le XIème siècle, propriété du Vicomte de Béziers. Bâti vers 1625 par la famille de Juge sur un éperon rocheux, édifice de plan carré à allure massive, fenêtres à meneaux du XVIème siècle. Il y avait une chapelle paroissiale.