Centre de la seigneurie et résidence des barons, la forteresse occupe l’emplacement d’un oppidum gaulois. Les romains fortifièrent ce lieu stratégique pour surveiller la voie des Salines. Divers objets gallo-romains, issus de fouilles, découverts au fil des années sur le site et la mise au jour d'une muraille du VIIe siècle dans la chapelle témoignent de sa constante occupation.
La construction d'un premier château remonte à la fin du XIIe et au début du XIIIe siècle, comme l'indique le millésime de 1 224 gravé sur une clef de voûte provenant de la tour du Nord. Assiégé à maintes reprises, les troupes de Louis XI investiront la ville et mettrons le feu au château en 1480.Transformé en maison de ferme au XIXe siècle puis abandonné, Pierre Jouffroy y consacrera tout ses soins de 1955 à 2000. Ses enfants et petit-enfants ont repris le flambeau.
La basilique Sainte Jeanne-Antide Thouret accueille deux pèlerinages le 23 mai et le dernier dimanche d'août.