Le Château rouge fut édifié au XIVème siècle. Il était la propriété des seigneurs de Gourdon, vassaux du comte de Toulouse.
Il était la résidence de Philippe II de Jean, connu pour ses brigandages, qui avait épousé Françoise de Salviac, héritière des Gourdon-Salviac. La famille de Jean, seigneurs des Junies, a trahi le roi de France en donnant la ville aux Anglais puis aux Durfort jusqu'à la Révolution.
Ce nom de château rouge viendrait peut être de ses propriétaires qui auraient été des gens cruels. Il pourrait également provenir de la couleur des pierres utilisées.
Les plus beaux ouvrages Renaissance furent démantelés pierre par pierre en 1926 par son propriétaire et vendu aux Etats-unis, en particulier ses belles fenêtres.