
L’ensemble épiscopal est sans doute construit à partir du milieu du 13e s., après l'acquisition en 1227 du château et de la seigneurie du Puy par l'évêque de Cahors. Une imposante tour à contreforts est attenante à la mairie actuelle : ce bâtiment percé de baies en plein cintre conserve quelques maigres vestiges de l’aula, la grande salle de réception.
Le donjon s’élève à plus de 23m et possède quatre étages, qui correspondent chacun à une pièce de 10m2. A l’origine l’accès se faisait depuis le premier étage : la porte d’entrée, qui donne désormais sur le vide, est toujours visible. Un escalier construit dans l’épaisseur des murs distribue les étages suivants, notamment le 3e, probablement affecté au guet et rendu habitable par quelques aménagements : la salle est dotée d’une cheminée et d’une modeste fenêtre à coussiège, un petit banc en pierre ménagé dans l’embrasure. Au cours de son histoire, la tour a également servi de prison.