
Au Moyen-âge, pour se protéger des attaques, l'éperon rocheux de Rocamadour est fermé par une muraille et des tours de guet. Le château, situé à l'extrémité de l'éperon, est construit au 19e siècle par l'abbé Caillau. Aujourd'hui, les remparts offrent une vue imprenable sur la vallée de l'Alzou.
Au Moyen-âge, laisser un ennemi approcher du surplomb rocheux était dangereux. Dès le 13e siècle, une muraille et un édifice défensif sont érigés pour protéger le Sanctuaire. La "vieille masure" du château, est vendue comme bien national en 1796 à la commune puis revendue en 1836 à l'abbé Caillau. Cet édifice devient la maison des missionnaires et des chapelains du pèlerinage en 1850, après avoir été vendu au diocèse de Cahors. En 1895, un clocher avec une horloge est ajouté. Il sonne encore tous les jours un avé Maria à chaque heure pile.