A l'origine, le château fort est bâti par la famille Loubens au XIe siècle. Au XVIe siècle, à l'âge d'or du pastel, le château est agrandi et rénové aux goûts de la Renaissance. Il est possible de visiter, sur rendez-vous uniquement, le parc classé du château ainsi que les anciens offices souterrains, les appartements meublés et les greniers à grain.