
Construit autour de 1300 pour Pierre Duèze, frère du pape cadurcien Jean XXII, cet imposant palais du quartier des Soubirous comprenait 4 corps de bâtiments dominés par une tour. Comme en Italie au même moment, la hauteur de la tour symbolisait l'importance du propriétaire.
Le plus grand palais de Cahors fut très peu habité par son propriétaire et, dès 1408, il servit de carrière de pierre aux consuls de Cahors pour réparer le pont Vieux !
Le commanditaire du palais fut comblé d'honneurs : consul de Cahors en 1313-1314, il fut anobli par le roi en 1316, puis reçut 2 ans plus tard la seigneurie de Puylagarde. Après l'accession de son frère au pontificat, il figure parmi les chevaliers du pape et meurt en 1326 à Avignon. En 1332, son fils obtient du roi de pouvoir s'en désaisir au profit de l'Eglise pour rejoindre sa seigneurie de Caraman. Le palais devient alors possession religieuse, avant son démantèlement au début du 15e s.