Labarthe a conservé le souvenir d'un château fort, édifié sur un ancien présidium. Détruit en 1924 lors de la croisade contre les Cathares, il fut rénové et saccagé à plusieurs reprises ces derniers siècles (1576,1662,1789).