
Construit au 13e s. par Arnaud des Prez, condamné pour hérésie vers 1232, le château devient propriété épiscopale avant d'être cédé en 1326 à Pierre de Via, neveu du Pape Jean XXII, qui le fait reconstruire. Au 15e s. il accueille le sénéchal du Quercy et est transformé en prison après la Révolution.
Demeure d'agrément et symbole de richesse, le palais n'est pas tourné vers la Grand Rue mais s'ouvre au contraire sur la vallée du Lot.
Le monument, de dimensions exceptionnelles, se compose de deux entités bien différentes. D’une part, les vestiges du palais de Via du 14e s. avec son donjon de grès et sa longue façade longeant la rue de-Via. D'autre part la prison néo-classique a été rajoutée dans la première moitié du 19e s. le long de la rue du Château-du-Roi. Le site a servi de maison d'arrêt jusqu'en 2012 : c'était l'une des plus vieilles prisons de France.