Occupé depuis la Préhistoire, ce site sauvage favorise la présence d’un ermitage dont le modeste oratoire à la Vierge abrité par la falaise est mentionné dès le 11e s. Un siècle plus tard, un pèlerinage à la Vierge prend un essor exceptionnel. Avant d’accéder aux sanctuaires, les pèlerins peuvent se reposer et être soignés dans des hôpitaux. Ces ruines sont celles de l’Hôpital Saint-Jean datant du 13e s. qui accueillait les pélerins venus du nord.
A proximité, le « champ des pauvres » était le lieu d'inhumation des pèlerins de condition modeste.
Deux autres lieux offraient aussi des soins aux pélerins : l’hôpital Notre-Dame au centre de la ville et l’Hôpital Saint-Jacques de Magès au sud.
Les hôpitaux de la ville vivaient grâce aux possessions des paroisses environnantes, à l’argent des enterrements et, plus étonnant : à une taxe sur le pain cuit dans les fours de Rocamadour !