Selon une affirmation invérifiable datant du XVIIe siècle, le général romain Caius Marius aurait fait élever un castrum sur le rocher dominant le village en 101 avant Jésus-Christ. Cependant, les premiers écrits ayant trait à la cité datent du XIe siècle et évoquent la présence du château abritant la famille Bermont. Il passera successivement aux Anduze, aux Roquefeuil, puis aux Armagnac, avant d’échoir à Jeanne d’Albret, reine de Navarre.