Ce château construit au XIIème siècle (env. 1270) a été détruit pendant la guerre de Cent Ans (1358), et reconstruit vers 1450 par Radulphe de Saint-Clar qui l’a habité.
C'est à cette époque que naît la légende de la Dame Blanche. Cette légende retrace la vie de Thérèse de Saint-Clar qui fut emprisonnée dans la tour nord du Château par son mari jaloux, elle y mourut et y fut emmurée. Son fantôme s'est manifesté à plusieurs personnes.