Le château a appartenu au 18e siècle au marquis Jean-Jacques Lefranc de Pompignan, poète, dramaturge et académicien français, père présumé de la femme de lettres montalbanaise et pionnière du féminisme Olympe de Gouges. Il est construit sur une terrasse dominant le village, dans un style classique, en briques roses de Toulouse et est entouré d'un parc à l'anglaise. Les façades du château et toitures et le pavillon d'entrée sont inscrits au titre des monuments historiques, ainsi que la grille d'entrée, le mur d'enceinte et la terrasse.